매출의 80%가 상위 20%에서 나온다는 관찰
19세기 후반 이탈리아 경제학자 빌프레도 파레토(Vilfredo Pareto)는 이탈리아 토지의 80%가 인구 20%의 손에 있다는 점을 관찰했다. 그는 이 관계가 단지 토지에만 국한되지 않는다는 사실을 곧 알아챘고 다양한 부의 분포에서 비슷한 비율을 발견했다. 후에 파레토 법칙으로 알려진 이 80 대 20 규칙은 경영학, 사회학, 컴퓨터과학으로 영역을 넓혀가며 반복적으로 관찰되었다.
흥미로운 부분은 이 비율이 우연의 일치가 아니라 정규분포가 아닌 멱법칙(Power law) 분포에서 자연스럽게 도출되는 수학적 귀결이라는 점이다. 정규분포에서는 극단치가 매우 드물지만 멱법칙 분포에서는 극단치가 분포의 형태 자체를 결정한다. 두 분포는 그래프 모양이 비슷해 보여도 산업 단위의 의사 결정에서는 완전히 다른 결과를 낸다.
멱법칙은 평균이 거의 의미가 없다
정규분포에서는 평균과 중앙값이 가깝다. 사람의 키를 평균으로 표현하는 게 의미가 있는 이유다. 그러나 멱법칙 분포에서는 평균과 중앙값이 크게 벌어진다. 미시간 대학의 마크 뉴먼(Mark Newman)은 멱법칙, 파레토 분포, 지프 법칙을 정리한 2005년 리뷰 논문에서 도시 인구, 책 판매 부수, 웹사이트 트래픽, 단어 빈도, 지진 규모, 전쟁 사상자 수 같은 12가지 서로 다른 실세계 데이터셋이 모두 멱법칙 형태로 분포한다는 사실을 보였다.
이 차이는 단순한 통계 잡학이 아니다. 멱법칙 분포에서 평균을 보고 정책을 결정하면 다수가 속한 영역을 무시하게 된다. 도시 정책, 자산 관리, 콘텐츠 추천 시스템 모두 이 함정에 노출된다. 분포가 멱법칙을 따른다고 의심되면 평균이 아니라 분포 자체를 봐야 한다.
로그 스케일에서 직선이 되는 분포
멱법칙 분포의 특징 중 하나는 로그 그래프에서 직선으로 나타난다는 점이다. 빈도와 순위를 모두 로그 변환하면 일직선이 그려진다. 언어학자 조지 지프(George Zipf)는 영어 텍스트에서 단어의 빈도와 순위가 정확히 이런 관계를 따른다는 사실을 발견했고, 이 패턴은 후에 지프의 법칙으로 정리되었다. 가장 자주 쓰이는 단어는 두 번째로 자주 쓰이는 단어보다 약 두 배 자주 등장하고, 그다음은 세 배다. 이 관계가 영어뿐 아니라 거의 모든 자연 언어에서 관찰된다는 점은 언어학의 오랜 미스터리 중 하나로 남아 있다.
왜 자연과 사회가 이 분포를 반복해서 만들어 내는가
멱법칙이 등장하는 메커니즘 중 가장 자주 인용되는 것이 선호적 연결(Preferential attachment)이다. 새로 들어오는 노드가 이미 연결이 많은 노드에 연결될 확률이 높은 시스템은 시간이 지나면서 멱법칙 분포로 수렴한다. 웹사이트의 링크 구조, SNS의 팔로워 분포, 학술 논문의 인용 분포가 모두 이 패턴을 따른다. 머신러닝 분야에서 멱법칙은 데이터 분포의 형태로도 자주 등장한다. 추천 시스템의 데이터는 거의 항상 멱법칙이다. 소수의 인기 항목이 대부분의 평가를 받고 다수의 항목은 평가가 거의 없다. 이런 분포에서는 모델이 인기 항목에 과적합되기 쉽고, 데이터를 너무 잘 맞추는 모델이 실전에서 실패하는 구조가 멱법칙 분포의 데이터에서 특히 자주 나타난다.
바라바시 모델과 누적 우위
물리학자 알베르 라슬로 바라바시(Albert-László Barabási)와 레카 알베르트(Réka Albert)는 1999년 사이언스에 발표한 논문에서 이 메커니즘을 수학적으로 정리했다. 노드가 하나씩 추가될 때 새 노드가 기존 노드와 연결될 확률을 그 노드의 기존 연결 수에 비례하게 만들면, 충분한 시간이 지난 후 분포가 정확히 멱법칙 형태로 수렴한다. 가설이 아니라 시뮬레이션으로 검증된 결과였다.
사회학자 로버트 머튼(Robert K. Merton)이 정리한 마태 효과는 같은 현상의 사회학적 표현이다. 많이 가진 사람에게 더 주어지고 없는 사람에게서는 있는 것마저 빼앗긴다는 마태복음 구절에서 따왔다. 인용 수가 많은 논문은 더 많이 읽히고 인용된다. 팔로워가 많은 계정은 추천 알고리즘에 더 자주 노출된다. 작은 초기 차이가 시간이 지나면서 큰 격차로 누적된다.
멱법칙처럼 보여도 멱법칙이 아닐 수 있다
이 분포가 너무 자주 발견되다 보니 부작용도 생겼다. 사실은 다른 분포인데 멱법칙으로 잘못 분류되는 경우가 흔하다. 산타페 연구소의 아론 클로셋(Aaron Clauset)과 동료들은 2009년 논문 “Power-law distributions in empirical data”에서 24개의 멱법칙 후보 데이터셋을 통계적으로 엄밀히 검증한 결과 약 절반이 멱법칙이라기보다 로그정규분포나 절단된 지수분포에 더 가깝다고 보고했다. 로그 그래프에서 직선처럼 보인다는 시각적 인상만으로 분포를 결정해서는 안 된다는 경고였다.
측정 방식을 분포에 맞춰야 하는 이유
실무에서 이 함정을 피하는 표준 방법은 평가 지표를 분리하는 것이다. 전체 평균 대신 인기 항목 그룹과 롱테일 그룹의 성능을 각각 측정한다. 평균값 하나로는 멱법칙 분포 위에서 모델이 어떻게 작동하는지 알 수 없다. 분포의 모양이 평균을 의미 없게 만드는 영역에서는 측정 방식 자체를 분포에 맞게 설계해야 한다는 점이 핵심이다.
한 발 더 나아가면 어떤 시스템이 멱법칙 분포를 만들어 내고 있다는 사실 자체가 그 시스템의 작동 메커니즘에 대한 정보가 된다. 작은 초기 차이가 누적되는 구조인지, 선호적 연결이 작동하는지, 곱셈 과정이 개입하는지를 거꾸로 추론할 수 있다. 분포의 형태가 데이터의 출처를 가리키는 단서가 되는 셈이다.