1.

『실험 설계법』에서 피셔는 뮤리엘 브리스톨 박사와 밀크티를 예로 들어 “차를 시음하는 여인(lady tasting tea)”이라고 부르는 실험을 보여주었다. 1920년대에 로담스테드 실험 연구소에서 피셔와 함께 일했던 동료인 브리스톨은 차와 우유 중 어떤 것을 먼저 컵에 따랐는지 맛을 보면 알아챌 수 있다며 공공연히 주장했다. 사무실에서 이를 검증해보려 했지만, 검증하기는 생각보다 더 복잡했다. 브리스톨에게 우유를 넣은 차를 주고 차와 우유 중 무엇을 먼저 넣었는지 맞혀보라고 물었을 때, 브리스톨은 그냥 추측해도 우연히 50%의 확률로 맞출 수 있을 것이다. 따라서 정확히 맞춘다고 해도 그 능력을 증명하지는 못한다. 이 점이 바로 통계검정에서 해결하려는 문제이다. 그래서 피셔는 브리스톨의 주장을 검증하기 위해 실험을 계획했다.

피셔는 다음과 같은 해결책을 제안했다. 먼저 여덟 개의 찻잔을 준비한다. 네 잔에는 우유를 먼저 붓고, 나머지 네 잔에는 차를 먼저 붓는다. 찻잔의 순서를 바꾸고 브리스톨에게 찻잔을 서로 비교할 수 있게 한 후, 우유를 먼저 부은 찻잔 네 개를 찾게 한다. 피셔는 맞추거나 틀릴 경우의 수에 70개의 고유한 순열(조합)이 있음을 계산했다. 따라서 우연히 모두 맞출 확률은 1/70로 약 1.4%이다. 4개 중 3개 이상을 맞히는 데에는 17개의 가능한 순열(조합)이 있어 우연히 3개 이상을 맞출 확률은 거의 25%(24.3%)이다. 이러한 확률을 고려해 보았을 때, 브리스톨이 네 개의 컵을 모두 정확히 골라낸다면 실제로 차에 무엇을 먼저 부었는지 알아내는 능력이 있다고 받아들일 수 있을 것이다. 피셔가 실험 결과를 보고하지는 않았지만, 전해 내려오는 이야기에 따르면 브리스톨은 모든 차를 정확하게 분류했다고 한다. (148-149)

2.

베이지안 방법론이 떠오르면서 나타난 혁명의 의미를 제대로 이해하려면 빈도주의의 결점부터 살펴보아야 한다. 이전 장에서 설명했듯이 과학 분야에서 빈도주의 방법론의 문제가 뚜렷하게 등장하면서 통계학자들은 나름대로 빈도주의의 이론적 토대를 비판했다. 예를 들어, 1976년 통계학자인 데니스 린들리와 로런스 필립스는 동전이 안편으로 많이 떨어지도록 편향되었는지 검증하기 위해 고안한 간단한 사고 실험을 예로 들어, 객관성에 대한 빈도주의의 주장이 지닌 문제 중 한 가지를 보여주었다. 이 사고 실험에서는 연구자가 동전을 12번 던져 ‘앞/앞/앞/뒤/앞/앞/앞/앞/뒤/앞/앞/뒤’와 같이 앞면은 9번, 뒷면은 3번 나오는 결과를 얻었다고 가정한다. 이 동전이 앞이나 뒤로 떨어질 확률이 같다고 가정할 때, 12번을 던져 뒷면이 3번 이하로 나올 가능성을 계산하면 7%가 나온다. 일반적으로 사용하는 5%의 기준치를 고려하면 관측 결과가 우연히 일어났다는 가능성을 기각할 증거가 충분하지 않다는 결론에 이른다. 즉, 여전히 동전은 공정할 수 있다(우연하다).

그러나 정확히 동일한 동전과 결과를 이용해도 실험을 다르게 설계하면 다른 확률을 얻을 수 있다. 린들리와 필립스가 제안한 대로, 이번에는 연구자가 뒷면이 3번 나올 때까지 동전을 던지기로 한다. 이때 주목할 변수는 뒷면이 나온 횟수가 아니라 총 던진 횟수가 된다. 이렇게 새로 실험을 설계하면 12번 이상 동전을 던질 확률은 3%를 조금 넘는다. 이 확률의 차이는 연구자가 동전을 11번 던지는 동안 뒷면이 2번 이하로 나올 확률을 계산한다는 사실 때문에 발생한다. 12번째에 뒷면이 나오면 뒷면이 3번 나올 때 동전 던지기를 멈춘다는 조건을 만족했기 때문에 실험을 멈추게 되고, 앞면이 나오면 총 던진 횟수가 12번 이상이 되기 때문이다.

여기서는 결과가 3%로 나오기 때문에 5% 수준에서 유의미한 것으로 보이며, 연구자는 첫 번째 실험 설계와 달리 ‘동전이 공정하지 않다’는 증거가 있다고 결론을 내릴 수 있다. 한편으로는 실험 설계가 결과에 영향을 미친다는 사실이 그럴듯해 보이지만, 다른 한편으로는 이 예시를 통해 실험을 수행하는 연구자의 마음 상태에 따라 같은 데이터 세트라도 결론이 다르게 도출될 수 있다는 사실을 알 수 있다. 따라서 객관적이라고 여겨지던 확률 이론은 전적으로 실험자의 개인적이고 주관적인 이해에 좌우된다. (182-184)