몬티 홀 문제 Part 2: 진행자의 규칙이 답을 정한다 — 몬티 폴, 몬티 크롤, 사촌 문제들

이 글은 Claude Opus 5.5 를 이용해 초안이 작성되었으며, 이후 퇴고를 거쳤습니다.

들어가며#

Part 1에서 바꾸면 3분의 2 로 이긴다는 것을 세 가지 방법과 시뮬레이션으로 보였습니다. 이번 편은 그 답이 어떤 조건에서만 맞는지를 봅니다. 1991년 진행자 몬티 홀이 거실에서 여덟 판을 내리 이긴 이유가 여기 있습니다.

1. “그날 기분에 달렸죠” — 진행자의 마지막 말#

1991년 7월 『뉴욕 타임스』의 존 티어니는 몬티 홀의 집에서 판지 문으로 게임을 해 Part 1 의 결과를 얻었습니다. 지키면 열 번에 자동차 넷, 바꾸면 열 번에 자동차 여덟. 그 뒤 몬티 홀은 다른 방식으로 해 보자고 했습니다. 기사에 따르면 그는 참가자가 처음에 틀린 문을 고르면 곧바로 그 문을 열어 염소를 줬고, 맞는 문을 고르면 바꿀 기회를 줘서 다른 염소를 가져가게 했습니다. 그렇게 여덟 판을 내리 이겼습니다.

몬티 홀은 실제 쇼에서도 바꿀 기회를 줄지 말지 고를 수 있었고, 대개는 주지 않았다고 했습니다. 문을 열어 보이는 것은 참가자를 흔드는 수단이었습니다. 문 하나가 비었다는 것을 보면 참가자들은 자기 문의 확률이 반반으로 올랐다고 믿고, 얼마를 줘도 문을 놓지 않으려 했습니다. 그는 이것을 “헨리 제임스 요법” 이라고 불렀습니다. 헨리 제임스의 소설 『나사의 회전(The Turn of the Screw)』에서 딴 말장난으로, 나사를 한 번 더 조이듯 압박을 거는 수라는 뜻입니다. 그리고 이렇게 말했습니다.

진행자가 언제나 문을 열고 언제나 바꿀 기회를 줘야 한다면, 바꾸세요. 그런데 진행자가 바꾸게 해 줄지 말지를 고를 수 있다면, 조심하세요. 사는 사람이 주의해야죠(Caveat emptor). 그건 진행자의 그날 기분에 달렸습니다.

같은 기사에서 수학 칼럼니스트 마틴 가드너는 문제가 “잘 정의되지 않았다” 고 했습니다. 진행자가 반드시 빈 문을 열고 반드시 바꿀 기회를 준다는 것을 분명히 하지 않으면, 심술궂은 진행자는 자기에게 유리할 때만 문을 열 수 있고, 그러면 바꿔서 이길 확률은 0 까지 떨어질 수 있다는 것입니다. 통계학자 퍼시 디아코니스는 엄밀히 말해 이 질문은 진행자의 동기를 모르면 답할 수 없다 고 했습니다.

2. 3분의 2 에 필요한 네 가지 가정#

정리하면, 표준 몬티 홀 문제의 답 3분의 2 는 다음 네 가정을 모두 깔고 있습니다.

1. 진행자는 언제나 참가자가 고르지 않은 문 하나를 연다.
2. 진행자는 자동차의 위치를 알고, 언제나 염소 문을 연다.
3. 진행자는 언제나 바꿀 기회를 준다.
4. 자동차는 무작위로 놓이고, 참가자가 처음에 자동차를 골라 염소 문이 둘 남으면 진행자는 그중 하나를 무작위로 고른다.

1975년 셀빈의 두 번째 편지가 바로 2번과 4번을 명시했습니다. 1990년 보스 사반트의 칼럼도 2번(“문 뒤에 무엇이 있는지 아는 진행자”)을 적었지만, 1번과 3번을 규칙으로 못 박지는 않았습니다. 보스 사반트는 이후 칼럼에서 “진행자가 언제나 일부러 꽝인 문을 연다” 는 것이 원래 답의 조건이며 “그 밖의 것은 다른 문제” 라고 썼습니다.

3. 가정을 하나씩 깨 보기#

토론토 대학의 확률론 학자 제프리 로젠솔은 2008년 『매스 호라이즌스』에 실은 글 「몬티 홀, 몬티 폴, 몬티 크롤」에서 가정을 하나씩 바꾼 변형들을 정리했습니다. 이름이 붙은 다른 변형과 함께 보겠습니다.

마지막 두 변형은 이후 문헌에서 “지옥의 몬티”, “천사 몬티” 같은 이름으로 불립니다. 몬티 홀이 거실에서 티어니를 상대로 한 것이 바로 심술궂은 몬티입니다.

3.1 시뮬레이션으로 확인하기#

Part 1 의 프로그램에서 진행자가 문을 고르는 부분만 갈아 끼우면 됩니다. 진행자를 함수로 두고, 바꿀 기회를 주지 않으면 -1 을, 열 문을 고르면 그 번호를 돌려주게 합니다.

// host decides which door to open (or -1 for "no offer") given the car and the pick.
type host func(r *rand.Rand, car, pick int) int

// randomGoat opens a goat door other than the pick, choosing at random when two are available.
func randomGoat(r *rand.Rand, car, pick int) int {
	for {
		d := r.IntN(3)
		if d != pick && d != car {
			return d
		}
	}
}

var hosts = []struct {
	name string
	open host
}{
	{"standard (knows, always opens a goat)", randomGoat},
	{"Monty Fall (opens at random)", func(r *rand.Rand, car, pick int) int {
		for {
			if d := r.IntN(3); d != pick {
				return d // may reveal the car; such games are discarded below
			}
		}
	}},
	{"Monty Hell (offers only when you are right)", func(r *rand.Rand, car, pick int) int {
		if pick != car {
			return -1
		}
		return randomGoat(r, car, pick)
	}},
	{"Angelic Monty (offers only when you are wrong)", func(r *rand.Rand, car, pick int) int {
		if pick == car {
			return -1
		}
		return randomGoat(r, car, pick)
	}},
}

각 진행자로 100만 판을 돌리되, 바꿀 기회가 없었던 판과 몬티 폴이 자동차를 드러내 버린 판은 셈에서 뺍니다. 문제의 조건이 “기회를 받았고, 열린 문은 염소였다” 이기 때문입니다. 몬티 크롤은 참가자가 늘 1번을 고른다고 놓고 따로 셌습니다. 같은 시드(1990, 9)로 Go 1.24 에서 돌린 결과입니다.

standard (knows, always opens a goat)            switch wins 0.6672 (1000000 games)
Monty Fall (opens at random)                     switch wins 0.4996 (666578 games)
Monty Hell (offers only when you are right)      switch wins 0.0000 (333106 games)
Angelic Monty (offers only when you are wrong)   switch wins 1.0000 (666920 games)
Monty Crawl, host opened #2: switch wins 0.4992
Monty Crawl, host opened #3: switch wins 1.0000

몬티 폴에서 셈에 남은 판이 약 3분의 2 라는 점도 눈여겨볼 만합니다. 나머지 3분의 1 은 진행자가 미끄러지면서 자동차를 드러내 버린 판입니다. “열린 문이 염소였다” 는 사실 자체가 그런 판을 걸러 내면서 정보를 줍니다. 다만 그 정보는 처음 고른 문과 남은 문에 똑같이 작용해서, 둘이 반반이 됩니다.

3.2 베이즈의 비로 보기#

이 차이는 베이즈 정리를 비(比) 의 형태로 쓰면 한 줄로 보입니다. 1번을 골랐고 3번이 열려 염소가 나왔다고 합시다. 자동차가 1·2·3번에 있을 처음 비는 1:1:1 입니다. 여기에 “그 자리에 자동차가 있다면, 진행자가 3번을 열어 염소를 보여 줄 확률” 을 곱합니다.

두 줄의 차이는 가운데 칸 하나입니다. 자동차가 2번에 있을 때, 아는 진행자는 반드시 3번을 엽니다(2번은 열 수 없으니까). 모르는 진행자는 2번과 3번 가운데 반반의 확률로 3번을 열 뿐입니다. 진행자가 아느냐 모르느냐가 이 칸을 1 에서 1/2 로 바꾸고, 답을 3분의 2 에서 2분의 1 로 바꿉니다.

몬티 크롤은 더 미묘합니다. 진행자가 작은 번호 문을 좋아한다는 것을 알면, 그가 굳이 3번을 열었다 는 사실은 2번을 열 수 없었다는 뜻, 곧 자동차가 2번에 있다는 뜻입니다. 같은 “문 하나가 열렸다” 도 어느 문이 열렸는지 가 정보가 됩니다.

3.3 바꾸는 것이 손해일 수는 없다#

1991년 통계학자 모건 등 네 사람은 The American Statistician 에 실은 논문에서 이 점을 일반화했습니다. 진행자가 언제나 염소 문을 열고 언제나 기회를 주되, 염소 문이 둘일 때 3번을 고르는 경향이 q 라면, 3번이 열렸을 때 바꿔서 이길 확률은 1/(1+q) 입니다. q 가 0 과 1 사이이므로 이 값은 언제나 1/2 과 1 사이 입니다.

규칙이 지켜지는 한, 바꿔서 손해 볼 일은 없다 는 뜻입니다. 정확히 3분의 2 가 되는 것은 진행자가 무작위로 고를 때(q = 1/2)뿐이지만, 어떤 경우에도 바꾸는 쪽이 지키는 쪽보다 나쁘지 않습니다. 그리고 매번 바꾸는 전략의 전체 승률은 진행자의 취향과 상관없이 3분의 2 입니다. 이 결론을 뒤집을 수 있는 것은 규칙 1~3 을 깨는 진행자, 곧 심술궂은 몬티뿐입니다.

4. 문이 많아지면#

Part 1 에서 보스 사반트는 백만 개의 문으로 직관을 도왔습니다. 그 설명이 통하는 이유는 진행자가 남은 문을 하나만 빼고 모두 열기 때문입니다. 진행자가 문을 몇 개 여느냐에 따라 이야기가 달라집니다. 셀빈의 두 번째 편지는 독자 D. L. 퍼거슨이 보낸 일반식을 소개했습니다. 문이 n 개이고 진행자가 염소 문 p 개를 열면, 바꿔서 이길 확률은 (n−1) / [n(n−p−1)] 입니다.

문 10개로 시뮬레이션해 보면 이렇습니다.

진행자가 문을 하나만 열면 바꾸는 것이 여전히 낫긴 하지만 차이는 0.1 대 0.1125 로 아주 작습니다. 백만 개의 문 설명이 극적인 것은 진행자가 그만큼 많은 정보를 내놓기 때문입니다.

5. 사촌 문제들#

몬티 홀 문제와 수학적으로 같은 뼈대를 가진 문제들이 훨씬 먼저 있었습니다.

5.1 베르트랑의 상자 (1889)#

프랑스 수학자 조제프 베르트랑이 1889년 『확률 계산』에 실은 문제입니다. 상자 셋이 있고, 하나에는 금화 둘, 하나에는 은화 둘, 하나에는 금화와 은화가 하나씩 들어 있습니다. 상자 하나를 무작위로 골라 동전 하나를 꺼냈더니 금화였습니다. 같은 상자의 다른 동전도 금화일 확률은 얼마일까요.

직관은 1/2 이라고 말합니다. 금화가 나왔으니 은화 상자는 빠지고, 남은 상자 둘 가운데 하나라는 것입니다. 답은 2/3 입니다. 금화는 모두 셋인데 그 가운데 둘이 금화 상자에서 나옵니다. 금화가 나왔다는 사실은 금화 상자 쪽을 두 배 더 지지합니다. 몬티 홀의 표에서 “진행자가 그 문을 열 확률” 이 하던 일을, 여기서는 “그 상자에서 금화가 나올 확률” 이 합니다. 1982년 바힐렐과 포크의 실험에서는 카드 세 장으로 바꾼 같은 문제에 심리학과 신입생 53명 가운데 35명이 1/2 이라 답했고, 2/3 라고 답한 사람은 3명이었습니다.

5.2 세 죄수 문제 (1959)#

마틴 가드너가 1959년 10월 『사이언티픽 아메리칸』의 「수학 게임」 칼럼에 낸 문제입니다. 죄수 A·B·C 가운데 한 명이 사면되고 둘은 처형됩니다. 누가 사면되는지 아는 간수에게 A 가 부탁합니다. “B 와 C 가운데 처형될 사람 이름을 하나만 알려 주시오. 어차피 둘 중 하나는 처형되니 나에 대해선 아무것도 알려 주는 게 아니잖소.” 간수가 “B 는 처형된다” 고 답합니다. A 는 기뻐합니다. 이제 사면될 사람은 자기 아니면 C 이니 확률이 1/3 에서 1/2 로 올랐다고 생각한 것입니다.

답은 A 의 확률은 1/3 그대로, C 의 확률은 2/3 입니다. 간수는 A 의 이름을 말할 수 없으니 A 에 대해서는 정말로 아무것도 알려 주지 않았습니다. 간수가 몬티 홀, A 가 처음 고른 문, C 가 남은 문입니다. 가드너는 확률론만큼 전문가가 쉽게 실수하는 수학 분야는 없다는 말을 남겼고, 1991년 『뉴욕 타임스』도 몬티 홀 논쟁을 다루며 이 말을 인용했습니다.

5.3 아들 딸 문제 (1959)#

가드너는 같은 해 5월에 이런 문제도 냈습니다. “존스 씨는 아이가 둘 있는데 첫째가 딸 이다. 둘 다 딸일 확률은?” 답은 1/2 입니다. “스미스 씨는 아이가 둘 있는데 적어도 하나는 아들 이다. 둘 다 아들일 확률은?” 답은 1/3 입니다(아들-아들, 아들-딸, 딸-아들 가운데 하나). 그런데 가드너는 나중에 두 번째 문제가 모호하다고 인정했습니다. “적어도 하나는 아들” 이라는 정보를 어떻게 알게 되었느냐 에 따라 답이 1/2 이 될 수도 있기 때문입니다.

이것이 몬티 홀 문제와 사촌 문제들의 공통 교훈입니다. 무엇을 알게 되었느냐가 아니라, 그것을 어떤 과정으로 알게 되었느냐 가 확률을 정합니다. 진행자가 알고 연 문과 미끄러져 연 문은 같은 염소를 보여 주지만, 다른 정보를 줍니다.

6. 분류 흐름도#

Part 4에서 게임쇼와 서바이벌, 영화의 장면을 읽을 도구를 여기서 만듭니다. 장면을 볼 때 물을 것은 진행자(또는 정보를 드러낸 사람)의 규칙입니다.

flowchart TD
    Q0{"고른 뒤에<br/>무언가가 공개되는가?"}
    Q0 -- "아니오" --> N["정보 없음형<br/>바꿔도 같다<br/>남는 것은 심리전"]
    Q0 -- "예" --> Q1{"공개한 사람이<br/>상품의 위치를 아는가?"}
    Q1 -- "아니오<br/>(무작위·우연·남의 선택)" --> F["무지형 (몬티 폴)<br/>남은 것끼리 반반"]
    Q1 -- "예" --> Q2{"꽝을 열고 기회를 주는 것이<br/>언제나 정해진 규칙인가?"}
    Q2 -- "아니오<br/>(공개 여부를 고를 수 있다)" --> M["동기형 (심술·천사)<br/>진행자의 속셈을 읽어라"]
    Q2 -- "예" --> Q3{"꽝이 둘일 때<br/>무작위로 고르는가?"}
    Q3 -- "예" --> S["표준형<br/>바꾸면 2/3"]
    Q3 -- "아니오<br/>(선호가 있다)" --> C["선호형 (몬티 크롤)<br/>어느 문인지도 정보<br/>바꿔서 손해는 없다"]
    style Q0 fill:#D3D3D3,color:#000000
    style Q1 fill:#D3D3D3,color:#000000
    style Q2 fill:#D3D3D3,color:#000000
    style Q3 fill:#D3D3D3,color:#000000
    style N fill:#E0E0E0,color:#000000
    style F fill:#87CEEB,color:#000000
    style M fill:#FF9999,color:#000000
    style S fill:#90EE90,color:#000000
    style C fill:#FFD700,color:#000000

이 흐름도는 이 시리즈가 사례를 읽으려고 만든 도구이고, 학계의 표준 분류는 아닙니다.

마치며#

이번 편을 한 문장으로 줄이면 “답은 문 뒤가 아니라 진행자의 규칙에 있다” 입니다. 같은 염소가 같은 문 뒤에서 나와도, 진행자가 알고 열었는지, 반드시 열어야 했는지, 둘 가운데 어느 쪽을 좋아하는지에 따라 바꿔서 이길 확률은 0 에서 1 까지 움직입니다. 1991년의 몬티 홀은 이 사실을 수학자들보다 먼저, 그리고 훨씬 실용적으로 알고 있었습니다.

그런데 표준 규칙이 분명할 때조차 사람들은 바꾸지 않습니다. 박사들도, 에르되시도 그랬습니다. 다음 편은 이유를 묻습니다. 처음 고른 것을 놓지 못하는 마음, 바꿨다가 지면 더 아프다는 감정, 그리고 몇 주의 훈련 끝에 거의 언제나 바꾸게 된 비둘기들의 이야기입니다.

References#

• John Tierney, “Behind Monty Hall’s Doors: Puzzle, Debate and Answer?”, The New York Times (1991-07-21) — 거실 시연, 헨리 제임스 요법, “Caveat emptor”, 가드너와 디아코니스의 논평
• Steve Selvin, “On the Monty Hall Problem”, The American Statistician 29(3): 134 (1975) — 진행자 가정, 퍼거슨의 일반식
• Marilyn vos Savant, “Game Show Problem” (보관본) — “그 밖의 것은 다른 문제”
• Jeffrey S. Rosenthal, “Monty Hall, Monty Fall, Monty Crawl”, Math Horizons (2008년 9월) 5–7
• J. P. Morgan, N. R. Chaganty, R. C. Dahiya, M. J. Doviak, “Let’s Make a Deal: The Player’s Dilemma”, The American Statistician 45(4): 284–287 (1991)
• Monty Hall problem — Wikipedia — 표준 가정, 변형별 확률
• Bertrand’s box paradox — Wikipedia — 1889, 바힐렐과 포크(1982)의 실험
• Three prisoners problem — Wikipedia — 가드너, 1959년 10월
• Boy or girl paradox — Wikipedia — 가드너, 1959년 5월