chikrii

1. 노이즈와 시그널, 그 경계선의 공학 모든 데이터 스트림에는 시그널(Signal)과 노이즈(Noise)가 공존합니다. 시그널은 우리가 찾고자 하는 의미 있는 패턴이고, 노이즈는 그 주위를 감싸는 무의미한 진동입니다. 문제는 이 둘이 동일한 채널을 통해 전송되며, 겉모습만으로는 구별이 거의 불가능하다는 점입니다. 데이터 정규화(Data Normalization)는 바로 이 혼재된 흐름에서 시그널만을 순도 높게 분리해내는 공학적 예술입니다. 실리콘밸리의 데이터 엔지니어들은 이 과정을 … 더 읽기

평균이라는 숫자가 현실을 가리는 순간 팀 회의에서 “평균 응답 시간 200ms”라는 보고를 받으면, 대부분은 그 서비스가 잘 돌아가고 있다고 판단한다. 그런데 상위 1% 요청의 응답 시간이 12초라면 이야기가 전혀 달라진다. 평균은 분명 200ms가 맞지만, 실제 사용자 경험의 꼬리 쪽에서는 완전히 다른 세계가 펼쳐진다. 이 간극을 무시하면 지표상으로는 건강한 시스템이 현장에서는 불만을 쏟아내는 시스템이 된다. 이런 … 더 읽기

검사 정확도 99%인데 실제 확률은 33%라는 계산 직접 겪어보면 안다. 데이터 기반으로 무언가를 판단하는 시스템을 설계할 때, 사람 머리로 “이 정도면 맞겠지”라고 넘긴 부분에서 소프트웨어가 전혀 다른 답을 내놓는 순간이 온다. 그 괴리의 대부분은 수학이 틀린 게 아니라 사람의 직관이 틀린 데서 온다. 단적인 예를 하나 들겠다. 인구 1,000명 중 5명이 걸리는 질병이 있다. 이 … 더 읽기