40판으로 정한 1등이 1,000판에서는 꼴찌였다. 적은 표본으로 고르면 반드시 틀린다.

두 가지 방식 중 어느 쪽이 나은지 정해야 할 때, 우리는 대개 몇 번 돌려 보고 정합니다.

"A가 좀 더 낫네" 하고 넘어갑니다.

저는 그 방식으로 골랐다가 정반대의 것을 골랐습니다.

적은 판수로 1등이었던 것이, 판수를 늘리니 꼴찌였습니다.

운이 좋았던 것을 실력으로 읽은 것입니다.

이 글은 그 실수와, 이후에 세운 측정 규칙에 대한 기록입니다.

통계 수업이 아니라 실제로 잘못 고른 이야기와 그걸 막는 최소한의 습관입니다.

이런 분께 도움이 됩니다.

· A안과 B안 중 하나를 실험으로 정해야 하는 분

· "몇 번 돌려 보니 이게 낫더라"로 판단해 온 분

· AI 에이전트나 모델의 성능을 비교하는 분

· 실험 결과가 돌릴 때마다 달라져서 답답한 분

이 글에 담긴 것

· 무슨 일이 있었나

· 두 번째 함정 — 한 상대에게만 강한 것

· 세 번째 함정 — 고정한다고 고정되지 않는다

· 네 번째 함정 — 점수가 나중에 바뀐다

· 그래서 어떻게 재나

· 자주 나오는 반론

· 정리