데이터 5건으로 결론을 내리는 위험
신제품을 출시하고 첫 주에 리뷰 5개가 달렸다. 4개가 별점 5점, 1개가 별점 1점이다. 평균은 4.2점이고, 이 숫자를 보고 “좋은 반응”이라고 판단하기 쉽다. 하지만 이 평균에는 거의 아무런 통계적 의미가 없다. 표본이 5개뿐이니까 다음 리뷰 하나가 별점 1점이면 평균은 3.7점으로 떨어지고, 별점 5점이면 4.3점으로 오른다. 한 건의 데이터가 결론을 완전히 뒤집을 수 있는 상태에서 평균을 신뢰하는 것은 모래 위에 집을 짓는 것과 같다.
이 문제를 소표본 편향(Small Sample Bias)이라 부른다. 표본 수가 작을 때 관찰된 통계치가 모집단의 실제 값에서 크게 벗어날 확률이 높아지는 현상이다. 큰 수의 법칙은 표본이 커질수록 표본 평균이 모평균에 가까워진다고 말하지만, 그 수렴의 속도는 1/√n에 비례한다. 표본을 4배로 늘려야 오차가 절반으로 줄어든다는 뜻이다. 5건에서 20건으로 늘려도 오차 범위는 반밖에 줄지 않는다.
작은 표본에서 극단적 결과가 나오는 이유
미국에서 암 발생률이 가장 높은 카운티 목록을 보면, 대부분이 인구가 극히 적은 농촌 지역이다. 암 발생률이 가장 낮은 카운티 목록도 마찬가지로 인구가 적은 농촌 지역이다. 얼핏 보면 말이 안 되지만, 이유는 간단하다. 인구가 적으면 표본 크기가 작고, 표본이 작으면 극단적인 비율이 쉽게 나온다. 인구 200명인 마을에서 암 환자 3명만 나와도 발생률은 1.5%로 전국 평균을 훨씬 웃돌고, 한 명도 안 나오면 0%가 된다. 대도시에서는 이런 극단값이 나오기 어렵다.
소프트웨어에서 이 현상을 마주치는 가장 흔한 장면이 추천 시스템의 콜드 스타트 문제다. 신규 상품이나 신규 사용자에 대한 데이터가 부족할 때, 소수의 상호작용 데이터로 선호도를 추정하면 극단적으로 높거나 극단적으로 낮은 점수가 산출된다. 리뷰 2건이 모두 긍정이면 해당 상품의 추정 선호도는 천장을 찍고, 리뷰 2건이 모두 부정이면 바닥을 친다. 실제 품질과는 무관한 숫자다.
베이즈 사전 분포로 소표본을 보정하는 방법
바카라 슈 클러스터링 분석에서도 짧은 시퀀스에서 패턴을 판단하는 위험을 지적한 바 있다. 소표본에서 관찰된 편향이 실제 구조적 패턴인지, 단순한 분산의 산물인지를 구별하는 것이 핵심이다. 소프트웨어는 이 문제를 베이즈 사전 분포(Prior Distribution)로 다룬다. 데이터가 적을 때는 사전 지식(예: 전체 상품의 평균 평점)에 무게를 두고, 데이터가 쌓일수록 관찰된 데이터 쪽으로 무게를 옮기는 방식이다.
아마존, 넷플릭스, 유튜브 같은 플랫폼의 추천 알고리즘은 전부 이 원리를 적용한다. 리뷰가 3개뿐인 신규 상품의 평점을 그대로 쓰지 않고, 전체 카테고리 평균을 사전 분포로 깔아놓은 상태에서 데이터가 추가될 때마다 보정해 나간다. 브라운 대학교의 확률 시각화 프로젝트에서 이 과정을 인터랙티브하게 확인할 수 있다. 사전 분포가 데이터에 의해 점진적으로 밀려나는 과정을 눈으로 보면, 소표본에서 사전 분포가 왜 필요한지 직관적으로 이해가 된다.
데이터가 충분하다는 기준
그렇다면 데이터가 “충분하다”는 건 몇 건부터일까. 정해진 숫자는 없다. 변수의 수, 효과의 크기, 허용 가능한 오차 범위에 따라 달라진다. 다만 경험적으로 말하면, A/B 테스트에서 전환율 차이를 탐지하려면 통상적으로 그룹당 수천 건 이상의 표본이 필요하다. 전환율 차이가 작을수록 더 많은 표본이 필요하다. “3일 돌려봤는데 B안이 나은 것 같다”는 판단으로 테스트를 조기 종료하는 실수가 실무에서 반복되는 이유는, 사람이 소표본의 분산을 과소평가하기 때문이다. 소프트웨어는 검정력 분석을 사전에 수행해서 필요한 최소 표본 수를 계산하고, 그 수에 도달하기 전까지 결론을 내리지 않도록 설계할 수 있다.
숫자가 적을 때 의심하는 습관
실무에서 가장 위험한 순간은 데이터가 “조금 있을 때”다. 데이터가 아예 없으면 사람도 조심한다. 데이터가 충분히 많으면 통계적 신뢰도가 자연스럽게 올라간다. 문제는 5건, 10건, 30건처럼 숫자가 있긴 한데 충분하지 않은 구간이다. 이 구간에서 사람은 “데이터가 있으니까 결론을 내려도 되겠지”라고 생각하지만, 수학은 “아직 결론을 내릴 수 없다”고 말한다. 소표본 앞에서 판단을 보류하는 것도 판단의 일부라는 사실을 인식하는 것이 출발점이다. 소프트웨어는 신뢰구간을 계산해서 “이 추정치가 얼마나 불안정한지”를 수치로 보여줄 수 있다. 사람이 그 수치를 읽는 습관을 들이면 소표본의 함정에 빠지는 빈도가 줄어든다.