이 글은 Claude Opus 5.5 을 이용해 초안이 작성되었으며, 이후 퇴고를 거쳤습니다.

4인 대부호 게임의 첫 판, 1번 자리 봇이 첫 수를 고르는 순간에 모르는 것은 65.8비트입니다. 상대 셋이 13장씩 든 손패와 아무에게도 돌리지 않은 블라인드 두 장, 모두 41장이 어떻게 나뉘었는지의 가짓수가 2의 65.8제곱쯤 된다는 뜻입니다. Part 1 의 스무고개로 치면 예·아니오 질문 66번어치입니다. 손패가 다섯 장 이하로 줄어 탐색이 돌기 시작할 무렵이면 이 값은 20비트 안팎으로 내려옵니다.

그사이 무엇이 몇 비트씩 깎았는지, 남은 비트 가운데 수를 고르는 데 쓸모 있는 것은 얼마인지를 시뮬레이터에서 쟀습니다. 방향을 돌려, 봇이 자기 수로 상대에게 몇 비트를 내주는지도 쟀습니다. 네 자리 모두 운영 hard 봇인 4인 매치 400개, 매치마다 네 판이고, 재는 쪽은 늘 1번 자리입니다.

장부가 모르는 비트#

대부호 CPU 플레이어 Part 3 의 장부는 덱 54장 가운데 위치를 모르는 카드를 따로 모아 둡니다. 그 카드들이 상대 자리와 블라인드에 어떻게 나뉘었는지는 장부도 모릅니다. 장부와 맞는 배치가 모두 같은 확률이라고 보면, 장부가 모르는 것은 그 배치 수의 log₂ 비트입니다. 탐색이 롤아웃 표본을 뽑을 때 하는 가정도 이것입니다. 블라인드에는 조커가 갈 수 없고 조공에서 생기는 상한도 있어서 다항계수 하나로는 셀 수 없었습니다. 받을 수 있는 칸이 같은 카드끼리 묶어 정확히 셌습니다.

첫 판의 첫 결정에서는 늘 65.8비트였습니다. 두 번째 판부터는 판을 시작하기 전에 조공을 주고받습니다. 내가 준 카드는 받은 자리에 있다는 것을 알고, 위 자리로서 아래 자리의 가장 센 카드를 받았다면 그 자리에는 받은 카드보다 센 카드가 없다는 것도 압니다. 조공이 끝난 뒤 첫 결정에서 장부가 모르는 것은 평균 62.5비트로, 조공을 잊었다고 칠 때보다 3.3비트 적었습니다. 2.6비트는 내가 준 카드의 위치에서, 0.7비트는 상한에서 왔습니다. 상한이 배치를 하나라도 지운 판은 37% 였고, 그런 판에서는 상한 하나가 평균 1.9비트를 지웠습니다.

판이 진행되면 상대가 낸 카드가 장부에서 빠지면서 비트가 줄어듭니다. 1번 자리 결정을 내 손패 장수로 묶어 보면 다음과 같습니다. 같은 장수라도 상대가 얼마나 냈는지에 따라 값이 다르므로 평균입니다.

내 손패13장11장9장7장5장3장1장
장부가 모르는 비트55.043.737.630.523.819.016.3
위치를 모르는 카드35.1장28.7장25.3장21.3장17.4장14.7장13.0장

탐색이 도는 손패 다섯 장 이하의 결정만 모으면 평균 19.6비트입니다. 내 손패가 한 장 남아도 16.3비트가 남는데, 상대 손패가 아직 남아 있고 블라인드 두 장은 판이 끝날 때까지 엎어 둔 채이기 때문입니다.

카드 한 장, 패스 한 번#

상대가 카드를 내면 장부는 그 카드가 어느 자리에 있었는지를 알게 됩니다. 상대 수 하나 뒤 다음 결정까지 장부의 비트가 줄어든 양을 재면, 낸 카드 한 장마다 평균 1.70비트였습니다. 상대 셋과 블라인드에 나뉜 41장 가운데 13장을 든 자리라면 그 자리에 그 카드가 있었을 확률은 3분의 1쯤이고, 놀라움은 log₂3 = 1.58비트 언저리입니다.

패스는 장부의 비트를 하나도 줄이지 않습니다. 장부가 패스를 기록만 하고 쓰지 않기 때문입니다. 베이즈 추론 Part 2 에서 잰 대로 hard 봇이 받을 수 있는데도 패스하는 비율을 θ = 0.25 로 두면, 패스 한 번이 상대 손패에 대해 주는 정보를 계산할 수 있습니다. 장부 표본에서 그 자리가 지금 필드를 받을 수 있는 비율을 q 라고 하면 기대 정보는 다음과 같습니다.

I = h(qθ + 1 − q) − q · h(θ)

h(p) 는 Part 1 의 스무고개에서 본, 확률 p 로 “예” 가 나오는 질문의 답 하나가 주는 평균 정보입니다. 패스냐 아니냐는 두 갈래라서 이 값은 1비트를 넘을 수 없습니다. 상대가 필드를 마주한 결정 49,136번에서 평균은 0.20비트였고, 실제로 패스가 나온 뒤 믿음이 움직인 양도 0.21비트였습니다. 카드 한 장의 8분의 1쯤입니다. 마주한 결정의 22% 는 어느 표본에서도 받을 수 없는 손이라 패스가 새로 알려 주는 것이 없었고, 20% 는 어느 표본에서나 받을 수 있는 손이었습니다.

베이즈 편을 닫으며 패스 하나가 말해 주는 것은 받을 수 있었는가 하는 한 비트라고 적었습니다. 그 한 비트는 상한이고, 평균은 그 5분의 1이었습니다.

수를 바꾸는 비트#

손패가 다섯 장 이하로 줄면 hard 봇은 후보 수 두세 개를 장부 표본 16개로 굴려 봅니다. 그때 장부가 모르는 것은 평균 19.6비트입니다. 그것을 모두 안다면 봇의 수는 얼마나 달라지겠습니까.

밴딧 문제 Part 2 에서 만든 롤아웃 행렬이 이 질문에 답합니다. 1번 자리 결정 7,122개마다 후보를 모두 같은 장부 표본 768개에서 판 끝까지 굴린 순위가 들어 있습니다. 표본 하나를 진짜 배치라고 치면, 그 배치를 아는 봇은 그 표본에서 가장 좋은 후보를 고릅니다. 평균으로 가장 좋은 후보도 그 표본에서 공동 1등이면 굳이 바꾸지 않는다고 하면, 손패 다섯 장 이하에서 수가 바뀌는 표본은 6.6% 뿐이었습니다. 고른 수가 표본에 따라 갈리는 정도를 엔트로피로 재면 결정당 0.31비트입니다. 모르는 20비트 가운데 수를 바꾸는 것은 0.3비트라는 뜻입니다.

통로가 좁은 데는 까닭이 겹칩니다. 후보가 많아야 넷이라 처음부터 2비트를 넘을 수 없고, 표본의 70% 에서는 모든 후보가 같은 순위로 판을 끝냈습니다. 손패 여섯 장 이상의 결정에서도 수가 바뀌는 표본은 14.4%, 0.61비트였습니다.

그 0.3비트의 값은 평균 순위로 결정당 0.081 입니다. 롤아웃 속 상대가 easy 봇이라는 모형 안의 값이라 실제 대국보다 후하게 나온 숫자입니다. 11월 초 PR289 에서 정확한 상대 손패를 탐색에 넣고 대국을 시켰을 때, 롤아웃 상대가 easy 이면 탐색 구간의 평균 순위가 0.044 좋아졌습니다. 손패를 다 알아도 그 정도이니, 패스에서 0.2비트씩 더 짜내 봐야 봇이 거의 그대로였던 것도 무리가 아닙니다.

봇이 흘리는 비트#

방향을 바꿔 봅니다. 1번 자리 봇이 수를 하나 두면, 다음 차례 상대는 봇의 손패에 대해 무엇을 알게 됩니까. 장부만 쓰는 상대라면 낸 카드가 봇의 손에 있었다는 것만 압니다. hard 봇의 규칙을 아는 상대라면 더 압니다. hard 봇은 같은 시야에서 늘 같은 수를 두므로, 그 손패였다면 이 수를 두지 않았을 것이라며 손패 후보를 거를 수 있습니다. 베이즈 편에서 소개한 오오토 가쓰미의 wisteria 가 상대 수의 우도를 방책 함수로 계산하던 것이 이런 읽기입니다.

이것을 재려고 1번 자리 결정마다 다음 자리 상대의 장부로 봇의 손패를 512번 다시 뽑고, 같은 시야에 그 손패를 넣어 hard 봇을 돌렸습니다. 손패가 수를 정하므로, 이렇게 나온 수의 엔트로피가 곧 수와 손패 사이의 상호정보량입니다. 대부호 CPU 플레이어 Part 2 의 easy 봇과, 낼 수 있는 수 가운데 하나를 고르게 뽑는 무작위 봇도 같은 손패로 쟀습니다. 무작위 봇은 같은 손패에서도 수가 갈리므로 그 몫은 뺐습니다.

수 하나가 알려 주는 비트리드받기전체
hard3.861.542.16
easy3.541.712.20
무작위2.320.781.19

hard 와 easy 는 거의 같은 만큼 흘렸습니다. 리드에서는 hard 가 조금 더, 받기에서는 easy 가 조금 더 흘립니다. easy 는 받을 수 있으면 언제나 이기는 가장 약한 수로 받으므로, 그 수를 보면 그보다 약하게 이길 수는 없었다는 것을 알고, 패스를 보면 받을 수 없었다는 것을 압니다. hard 는 받을 수 있어도 넷에 한 번은 패스하니 패스가 덜 말합니다. 무작위 봇은 그 절반 남짓만 흘리지만 이길 생각이 없는 봇입니다.

실제로 둔 수 하나가 규칙을 아는 상대에게 준 놀라움은 평균 2.42비트였습니다. 그 가운데 낸 카드 자체가 말한 몫, 곧 장부만 쓰는 상대도 얻는 몫은 1.48비트였고, 나머지 0.95비트는 습관이 말한 몫입니다. 장부만 쓰는 상대에게는 0비트인 패스도 규칙을 아는 상대에게는 0.44비트를 말했습니다. 그렇다고 습관이 손패를 통째로 내주는 것은 아닙니다. 카드는 판이 끝날 때까지 어차피 거의 다 나옵니다. 습관이 하는 일은 나중에 카드가 말해 줄 것을 조금 일찍 말해 주는 것입니다.

섀넌은 1949년 암호 논문에서 완전 비밀을, 암호문을 가로챈 뒤에도 각 평문의 확률이 가로채기 전과 똑같은 상태로 정의했습니다. 암호문과 평문 사이의 상호정보량이 0 인 상태입니다. 포커에서 레인지를 섞는 것은 이 생각을 베팅에 옮긴 것으로 볼 수 있습니다. 같은 크기의 베팅을 강한 손과 약한 손이 고루 하면, 베팅이 손에 대해 말하는 비트가 줄어듭니다. 대가는 수의 가치입니다. 손마다 가장 좋은 베팅에서 조금씩 물러나야 하기 때문입니다.

저는 그 대가를 치를지를 맞은편이 정한다고 봅니다. 시뮬레이터의 상대인 hard 봇은 남의 습관을 읽지 않습니다. 장부가 쓰는 것은 나온 카드와 조공뿐이니, 1번 자리가 흘린 0.95비트는 받는 쪽이 없는 신호입니다. 그런 상대 앞에서 숨기려고 가치를 버리면 손해만 봅니다. wisteria 처럼 상대 수의 우도를 따지는 프로그램이나, 몇 판 지나면 버릇을 알아채는 사람 앞에서는 사정이 다릅니다. 다만 앞 절에서 본 대로 읽어 낸 비트가 상대의 수를 바꾸는 통로도 좁을 것이고, 그 값이 얼마인지는 이번에 재지 않았습니다.

손패는 판이 끝나면 어차피 다 드러납니다. 흘린다는 것은 그것을 조금 일찍 보여 준다는 뜻이고, 그 이른 1비트가 얼마짜리인지는 맞은편에 앉은 쪽이 그것을 쓸 줄 아느냐에 달렸습니다.

자료에 대해#

실험은 모두 시뮬레이터의 4인 판이고, 네 자리 모두 운영 hard 봇입니다. 시드 5001번부터 400개 매치를 매치마다 네 판씩 돌려 모든 자리의 결정 87,764개를 1번 자리의 장부로 기록했습니다. 봇 저장소 사본에 실험 파일만 붙여 돌렸고 원본은 건드리지 않았습니다. 장부의 비트는 장부와 맞는 배치가 모두 같은 확률이라는 가정 위의 값입니다. 패스의 정보는 hard 봇에게서 잰 θ 하나로 계산했고, 사람이나 다른 봇의 패스는 다를 것입니다. 봇이 흘리는 비트는 관찰자가 이번 수 전까지 나온 카드만 안다고 보고 잰 것이라, 앞선 수들을 이미 규칙으로 읽은 상대라면 수마다 새로 얻는 것은 이보다 적습니다. 다시 뽑은 손패와 맞지 않는 조공 기록은 실제 손패를 포함해 모든 손패에서 지우고 쟀으므로 운영 봇과 조금 다른 봇의 값이고, 결정마다 512번 뽑은 표본으로는 갈래가 많은 리드의 엔트로피가 조금 작게 나옵니다. 카드와 습관의 몫을 나눈 계산에서는 관찰자가 조공으로 준 카드가 봇 손에 남아 있던 결정을 뺐습니다. 수를 바꾸는 비트는 밴딧 편의 롤아웃 행렬을 다시 읽은 것이라 그 롤아웃의 모형, 곧 나는 hard-3 이고 상대는 easy 라는 가정을 그대로 물려받습니다. PR289 의 수치는 공개되지 않은 봇 저장소의 평가 문서에서 옮겼습니다.


편제목
Part 1놀라움을 세는 법
Part 2내는 패가 말하는 것 (지금 글)

References#

섀넌#

대빈민 대회#

이 블로그의 관련 글#