정보 이론 Part 1: 놀라움을 세는 법
이 글은 Claude Opus 5.5 을 이용해 초안이 작성되었으며, 이후 퇴고를 거쳤습니다.
2022년 2월 6일, 수학 유튜브 채널 3Blue1Brown 의 그랜트 샌더슨은 워들을 정보 이론으로 푸는 영상을 올렸습니다. 그의 프로그램은 매 차례 평균적으로 가장 많은 정보를 주는 단어를 골랐고, 실제 정답 목록을 쓰고 두 수 앞까지 보게 하자 첫 단어로 CRANE 을 꼽았습니다. 일주일 뒤에 그는 “사실 워들의 가장 좋은 첫 단어는 crane 이 아니다” 라는 제목의 후속 영상을 올렸습니다. 같은 글자가 두 번 들어간 추측을 색칠하는 처리에 작은 버그가 있었다는 것입니다. 버그를 고치자 한 수 앞의 정보로는 SOARE 가, 두 수 앞으로는 SLANE 이 1위가 됐습니다. 그런데 상위 후보들을 정답 2,315개 전체에 실제로 돌려 보니 평균 횟수가 가장 적은 첫 단어는 둘 다 아닌 SALET 이었습니다.
저도 워들을 즐겨 했습니다. 해 본 사람이라면 첫 칸에 무엇을 넣을지 한 번쯤은 따져 봅니다. 자주 쓰이는 글자를 겹치지 않게 넣으라는 직감은 대개 맞고, 그 직감을 숫자로 바꾼 것이 클로드 섀넌의 정보 이론입니다. 다만 샌더슨의 영상이 보여 주듯, 정보를 가장 많이 주는 단어와 가장 빨리 끝내는 단어는 같지 않았습니다. 이 글은 그 어긋남이 어디서 오는지를 따라갑니다.
스무고개는 백만 가지를 가릅니다#
스무고개를 잘하는 사람은 후보를 반으로 가르는 질문을 합니다. “살아 있는 것입니까?” 처럼 예와 아니오가 반반쯤 나올 질문이면 답 하나가 후보를 절반으로 줄입니다. 스무 번이면 2의 20제곱, 1,048,576 가지 가운데 하나를 집어낼 수 있습니다. 첫 질문으로 “고양이입니까?” 를 던지면 사정이 다릅니다. 거의 언제나 “아니오” 가 돌아오고 후보는 거의 줄지 않습니다.
예와 아니오가 반반인 질문의 답 하나가 1비트입니다. 이 이름은 클로드 섀넌이 1948년 논문 「통신의 수학적 이론」 서론에서 쓰면서 퍼졌습니다. 밑이 2인 로그로 재면 단위를 이진 숫자, 줄여서 비트라고 부를 수 있다고 쓰고, 그 낱말은 존 튜키가 제안한 것이라고 밝혔습니다. 가짓수에 로그를 씌워 정보를 재자는 생각은 그보다 20년 앞서 랠프 하틀리가 같은 학술지에 내놓았습니다. 하틀리는 1928년 논문에서 정보의 실용적인 척도로 나올 수 있는 기호열 수의 로그를 택한다고 적었습니다. 백만 가지면 log₂1,048,576 = 20비트이고, 스무고개의 스무 번과 같습니다.
질문이 반반으로 가르지 못하면 답 하나의 값이 떨어집니다. 예가 나올 확률이 p 인 질문의 답은 평균 h(p) = −p log₂p − (1−p) log₂(1−p) 비트를 줍니다. p 가 0.5 이면 1비트, 0.1 이면 0.47비트, 0.01 이면 0.08비트입니다. 백만 가지 가운데 하나를 두고 “고양이입니까?” 를 물으면 얻는 것은 0.00002비트 남짓입니다.
놀라움의 평균#
섀넌은 정보를 놀라움으로 쟀습니다. 확률이 p 인 일이 일어나면 −log₂p 비트만큼 놀랍습니다. 반드시 일어날 일은 0비트, 동전의 앞면은 1비트, 54장 덱에서 스페이드 에이스를 뽑는 일은 5.75비트입니다. 이 놀라움을 결과마다 확률로 가중해 평균한 것이 엔트로피입니다.
H = −Σ pᵢ log₂ pᵢ
주사위 한 번은 2.58비트이고, 결과가 고르지 않을수록 줄어듭니다. 엔트로피는 예·아니오 질문을 평균 몇 번 해야 답에 닿는지의 하한이기도 합니다. 질문을 아무리 잘 골라도 평균 H 번보다 적게 물을 수는 없습니다.
섀넌은 1948년 논문에서 불확실성의 척도가 갖춰야 할 조건을 먼저 적고, 그 조건을 모두 만족하는 식은 이 꼴뿐이라는 정리를 증명했습니다. 그리고 이 꼴이 통계역학의 엔트로피, 이를테면 볼츠만의 H 정리에 나오는 H 와 같다고 덧붙였습니다.
이름에는 유명한 일화가 붙어 있습니다. 마이런 트리버스가 1971년 사이언티픽 아메리칸에 쓴 글에 따르면, 1961년 그가 섀넌에게 이 척도를 확정할 때 무슨 생각을 했느냐고 묻자 섀넌은 이렇게 답했습니다. 처음에는 정보라고 부르려 했지만 너무 흔한 말이라 불확실성으로 바꿨는데, 존 폰 노이만이 엔트로피라고 부르라고 권했다는 것입니다. 같은 함수가 통계역학에서 이미 그 이름으로 쓰이고, 무엇보다 엔트로피가 정말 무엇인지 아는 사람이 없으니 논쟁에서 늘 유리하다는 이유였습니다. 그런데 섀넌은 1982년 IEEE 구술사 인터뷰에서 이 이야기를 듣고, 폰 노이만과 자기 사이에 그런 일은 없었다고 꽤 확신한다고 말했습니다. 엔트로피는 열역학에서 오래전부터 알던 말이라는 것이었습니다. 둘 다 섀넌의 말로 전해지는데 서로 어긋나니, 어느 쪽이 맞는지는 지금으로서는 가릴 수 없습니다.
영어 한 글자의 무게#
섀넌은 1951년에 영어 한 글자가 몇 비트인지를 재려고 맞히기 놀이를 했습니다. 처음 보는 글을 앞에서부터 보여 주며 다음 글자를 맞히게 하고, 틀리면 맞힐 때까지 다시 맞히게 해서 몇 번 만에 맞혔는지를 셌습니다. 글자 하나마다 스무고개를 한 판씩 하는 셈입니다. 글자는 알파벳 스물여섯 자에 띄어쓰기를 더한 27가지였습니다.
27가지가 고르게 나온다면 한 글자는 log₂27 = 4.75비트입니다. 하지만 영어에서 E 는 Z 보다 훨씬 자주 나오고, Q 뒤에는 거의 언제나 U 가 옵니다. 앞 글자를 100개까지 보여 준 실험에서 섀넌이 얻은 한 글자의 엔트로피는 위로 1.3비트, 아래로 0.6비트 사이였습니다. 논문 서두는 이것을 한 글자에 1비트 정도이고 군더더기가 대략 75% 라고 요약했습니다. 글자 넷 가운데 셋은 앞뒤만 보고도 짐작할 수 있다는 뜻입니다.
논문은 맞히는 사람을 끝까지 “피험자” 라고만 부릅니다. 감사의 말에 실험을 도운 사람으로 메리 E. 섀넌, 그러니까 섀넌의 아내 베티의 이름이 있습니다.
허프먼의 기말 과제#
엔트로피가 평균 질문 수의 하한이라면, 그 하한에 닿는 질문표는 어떻게 만듭니까. 자주 나오는 것에는 짧은 이름을, 드문 것에는 긴 이름을 주면 됩니다. 모스 부호가 가장 흔한 글자 E 를 점 하나로 둔 것과 같은 생각입니다.
1951년 MIT 에서 로버트 파노의 정보 이론 대학원 수업을 듣던 데이비드 허프먼은 기말시험 대신 학기말 보고서를 골랐습니다. 1991년 사이언티픽 아메리칸의 인물 기사에 따르면, 파노가 낸 과제는 숫자나 글자 같은 기호를 이진 부호로 가장 효율적으로 나타내는 방법을 찾는 것이었습니다. 허프먼은 몇 달 동안 여러 방법을 만들었지만 어느 것도 가장 효율적이라고 증명하지 못했습니다. 지쳐서 시험 공부를 하기로 하고 노트를 쓰레기통에 던지려던 순간 답이 떠올랐다고 합니다.
파노와 섀넌은 뿌리에서 잎으로, 위에서부터 반씩 나누며 부호를 만들었습니다. 허프먼은 거꾸로 갔습니다. 가장 드문 두 기호를 묶어 하나로 치고, 다시 가장 드문 둘을 묶는 일을 아래에서 위로 되풀이합니다. 스승들이 이 문제로 애를 먹었다는 것을 몰랐던 스물다섯 살 학생의 답을 보고 파노는 “그게 다란 말인가!” 하고 외쳤다고 합니다. 1952년 논문에서 허프먼은 섀넌과 파노의 방법이 최적은 아니고 기호열이 길어질 때 최적에 다가갈 뿐이라고 적었습니다.
확률이 1/2, 1/4, 1/8, 1/8 인 네 기호라면 허프먼 부호는 0, 10, 110, 111 이고, 평균 길이 1.75비트가 엔트로피와 정확히 같습니다. 확률이 2의 거듭제곱이 아니면 평균 길이가 엔트로피보다 조금 길어지는데, 1비트 넘게 길어지지는 않습니다. zip 파일과 PNG 이미지가 쓰는 DEFLATE 압축도 마지막 단계에서 허프먼 부호를 씁니다.
마스터마인드의 첫 수#
마스터마인드는 영국 인빅타 플라스틱스가 1971년에 내놓은 암호 맞히기 게임입니다. 회사는 이스라엘의 우체국장 모르데하이 메이로비츠가 만들었다고 소개합니다. 출제자가 여섯 색 가운데서 같은 색을 겹쳐도 되는 네 자리 암호를 정하면, 맞히는 쪽이 추측을 냅니다. 출제자는 자리와 색이 모두 맞은 수를 검은 핀으로, 색만 맞은 수를 흰 핀으로 알려 줍니다.
암호는 6⁴ = 1,296가지, 10.34비트입니다. 검은 핀과 흰 핀의 조합은 14가지가 나올 수 있으니, 추측 한 번이 줄 수 있는 정보는 많아야 log₂14 = 3.81비트입니다. 검은 핀 셋에 흰 핀 하나는 나올 수 없어서 15가 아니라 14입니다.
도널드 크누스는 1976년 논문에서 어떤 암호든 다섯 번 안에 맞힐 수 있음을 보였습니다. 그는 이 방법이 평균 횟수로 보면 최적은 아니지만 아주 가까울 것이라고 적었습니다. 1982년에는 에리히 노이비르트가 정보량을 비롯한 여러 기준을 견주었고, 2005년 바르털트 코이는 응답 가짓수가 가장 많은 추측을 고르는 더 단순한 방법을 내놓으며 여러 방법의 평균을 한 표로 정리했습니다.
크누스의 방법은 매 차례 1,296개 추측을 모두 놓고, 가장 나쁜 응답이 왔을 때 남는 후보가 가장 적은 것을 고릅니다. 정보 이론으로 고르면 응답의 엔트로피가 가장 큰 추측이 되고, 코이의 방법은 응답이 가장 여러 갈래로 갈리는 추측을 고릅니다. 세 방법을 Go 로 짜서 1,296개 암호를 모두 풀어 봤습니다. 점수가 같은 추측이 여럿이면 아직 답일 수 있는 것을, 그다음은 앞 번호를 고릅니다.
package main
import (
"fmt"
"math"
)
// 색 6가지, 자리 4개. 1111 부터 6666 까지 1,296개 암호.
const colors, pegs = 6, 4
var codes [][pegs]int
func init() {
for n := 0; n < 1296; n++ {
var c [pegs]int
for i, x := pegs-1, n; i >= 0; i, x = i-1, x/colors {
c[i] = x%colors + 1
}
codes = append(codes, c)
}
}
// feedback 은 자리와 색이 맞은 수(검은 핀)와 색만 맞은 수(흰 핀)를 한 숫자로 돌려준다.
func feedback(guess, secret [pegs]int) int {
black := 0
var g, s [colors + 1]int
for i := range pegs {
if guess[i] == secret[i] {
black++
} else {
g[guess[i]]++
s[secret[i]]++
}
}
white := 0
for c := 1; c <= colors; c++ {
white += min(g[c], s[c])
}
return black*10 + white
}
// parts 는 후보들을 추측의 응답별로 나눈 크기다(응답 = 검은 핀×10 + 흰 핀).
type parts [pegs*10 + 1]int
func partition(guess [pegs]int, cands []int) parts {
var p parts
for _, c := range cands {
p[feedback(guess, codes[c])]++
}
return p
}
func entropy(p parts, n int) float64 {
h := 0.0
for _, k := range p {
if k > 0 {
q := float64(k) / float64(n)
h -= q * math.Log2(q)
}
}
return h
}
// score 는 클수록 좋은 추측이다.
type score func(p parts, n int) float64
var strategies = []struct {
name string
score score
}{
{"최악 최소(크누스)", func(p parts, _ int) float64 {
worst := 0
for _, k := range p {
worst = max(worst, k)
}
return -float64(worst)
}},
{"엔트로피 최대", entropy},
{"응답 가짓수 최대", func(p parts, _ int) float64 {
kinds := 0
for _, k := range p {
if k > 0 {
kinds++
}
}
return float64(kinds)
}},
}
// choose 는 1,296개 전부에서 점수가 가장 높은 추측을 고른다. 같으면 아직 답일 수 있는 것, 그다음 앞 번호.
func choose(s score, cands []int) int {
if len(cands) == 1 {
return cands[0]
}
alive := map[int]bool{}
for _, c := range cands {
alive[c] = true
}
best, bestScore := -1, math.Inf(-1)
for g := range codes {
v := s(partition(codes[g], cands), len(cands))
// 엔트로피는 실수라 더하는 순서에 따라 끝자리가 달라진다. 1e-9 안이면 같은 점수로 본다.
if v > bestScore+1e-9 || (v > bestScore-1e-9 && alive[g] && !alive[best]) {
best, bestScore = g, v
}
}
return best
}
// solve 는 secret 을 맞힐 때까지 추측한 횟수다. first 는 첫 추측(모든 암호에 같으므로 한 번만 고른다).
func solve(s score, first, secret int) int {
cands := make([]int, len(codes))
for i := range cands {
cands[i] = i
}
guess := first
for turn := 1; ; turn++ {
fb := feedback(codes[guess], codes[secret])
if fb == pegs*10 {
return turn
}
var next []int
for _, c := range cands {
if feedback(codes[guess], codes[c]) == fb {
next = append(next, c)
}
}
cands = next
guess = choose(s, cands)
}
}
func main() {
all := make([]int, len(codes))
for i := range all {
all[i] = i
}
fmt.Printf("암호 %d개 = %.2f비트\n", len(codes), math.Log2(float64(len(codes))))
for _, st := range strategies {
first := choose(st.score, all)
total, worst := 0, 0
hist := map[int]int{}
for secret := range codes {
n := solve(st.score, first, secret)
total += n
worst = max(worst, n)
hist[n]++
}
h := entropy(partition(codes[first], all), len(codes))
fmt.Printf("%-12s 첫 추측 %v (%.2f비트) 평균 %.3f (%d/1296) 최악 %d 분포 %v\n",
st.name, codes[first], h, float64(total)/1296, total, worst, hist)
}
}
실행에 20초쯤 걸리고, 다음이 나옵니다.
암호 1296개 = 10.34비트
최악 최소(크누스) 첫 추측 [1 1 2 2] (2.89비트) 평균 4.476 (5801/1296) 최악 5 분포 map[1:1 2:6 3:62 4:533 5:694]
엔트로피 최대 첫 추측 [1 2 3 4] (3.06비트) 평균 4.415 (5722/1296) 최악 6 분포 map[1:1 2:4 3:71 4:612 5:596 6:12]
응답 가짓수 최대 첫 추측 [1 1 2 3] (3.04비트) 평균 4.373 (5668/1296) 최악 6 분포 map[1:1 2:12 3:72 4:635 5:569 6:7]
| 방법 | 첫 추측 | 첫 추측이 주는 정보 | 평균 추측 수 | 가장 오래 걸린 암호 |
|---|---|---|---|---|
| 최악 최소 (크누스) | 1122 | 2.89비트 | 4.476 | 5번 |
| 엔트로피 최대 | 1234 | 3.06비트 | 4.415 | 6번 (12개) |
| 응답 가짓수 최대 | 1123 | 3.04비트 | 4.373 | 6번 (7개) |
엔트로피 최대의 첫 추측 1234 는 3.06비트를 얻어 셋 가운데 가장 많이 알아냅니다. 그런데 평균은 4.415번으로, 3.04비트를 얻는 1123 의 4.373번보다 많고, 여섯 번 걸리는 암호도 12개 나옵니다. 크누스의 1122 는 2.89비트로 가장 적게 알아내지만 셋 가운데 다섯 번을 넘기지 않는 방법은 이것뿐입니다. 1993년 고야마 겐지와 토니 라이가 컴퓨터로 모든 경우를 뒤져 찾은 최적 전략은 평균 4.340번(5625/1296)이었고 첫 추측은 1123 이었습니다. 이 전략에도 여섯 번 걸리는 암호가 있어서, 다섯 번 안에 끝내도록 고치면 평균이 4.341번으로 아주 조금 늘어납니다. 위 표의 세 평균은 코이가 2005년 논문에 정리한 값과 같습니다.
차이는 엔트로피가 무엇을 재는지에서 나옵니다. 엔트로피는 지금 얼마나 모르는지를 잴 뿐, 남은 후보가 어떤 모양으로 남았는지는 보지 않습니다. 후보 여덟 개가 남았을 때, 그중 하나를 불러 보는 추측과 답일 수는 없지만 여덟을 더 잘게 나누는 추측은 정보로 보면 비슷할 수 있습니다. 게임은 마지막에 암호를 직접 불러야 끝나고, 몇 번 불렀는지로 점수를 매깁니다. 재는 양과 이기는 조건이 다르면, 한 걸음마다 가장 많이 알아내는 선택이 끝까지 가장 좋은 선택은 아닙니다. 밴딧 문제 Part 1 에서 당기면서 버는 문제와 마지막에 하나를 고르는 문제가 다른 전략을 요구했던 것과 같은 모양입니다.
그래도 엔트로피는 하한으로서 쓸모가 있습니다. 10.34비트를 한 번에 많아야 3.81비트씩 알아내므로, 어떤 방법도 첫 두 번의 응답만으로 모든 암호를 가려낼 수는 없습니다. 실제 첫 추측이 얻는 것은 3비트 남짓이라 그 여유는 더 작습니다.
워들의 첫 단어#
워들은 소프트웨어 엔지니어 조시 워들이 2021년 10월에 공개한 게임이고, 2022년 1월 31일 뉴욕 타임스가 사들였다고 발표했습니다. 값은 “낮은 일곱 자리” 달러라고만 밝혔습니다. 처음의 정답 목록은 2,315개로 11.18비트입니다. 다섯 칸이 저마다 초록·노랑·회색 가운데 하나라 색 무늬는 3⁵ = 243가지이고, 추측 한 번이 주는 정보는 많아야 7.92비트입니다. 정답 말고도 추측으로 받아 주는 단어가 10,657개 더 있었습니다.
앨릭스 셀비는 2022년 1월에 모든 경우를 뒤져, SALET 으로 시작하면 평균 3.4212번(7920/2315)에 모든 정답을 다섯 번 안에 맞힐 수 있음을 보였습니다. MIT 의 디미트리스 베르치마스와 앨릭스 파스코프도 같은 값을 얻어 2025년 Operations Research 에 실었습니다. 매번 정보가 가장 큰 단어를 고르는 방법도 크게 뒤지지는 않습니다. 로널드 그린버그가 2026년에 고친 논문에서 정답 목록 안의 단어만 추측하게 하고 비교하자, 정보 최대는 RAISE 로 시작해 평균 3.4955번이었고 응답 칸의 수가 가장 많은 단어를 고르는 쪽은 TRACE 로 시작해 3.4600번이었습니다. 마스터마인드에서 코이가 본 것과 같은 방향입니다.
켈리의 사설 전신#
1956년 벨 연구소의 존 켈리 주니어는 「정보 전송률의 새로운 해석」 이라는 논문을 냈습니다. 그 한 절의 제목이 “사설 전신을 가진 도박꾼” 입니다. 실력이 비슷한 두 팀의 야구 경기에 반반 배당으로 거는 도박꾼에게, 결과가 공개되기 전에 결과를 알려 주는 전신이 있습니다. 전신이 늘 맞다면 매번 전 재산을 걸면 됩니다. 전신에 잡음이 끼어 가끔 틀린다면, 매번 전 재산을 거는 사람은 언젠가 틀린 소식 한 번에 모든 것을 잃습니다.
켈리는 판이 거듭될 때 재산이 불어나는 지수 속도, 곧 한 판당 로그 재산의 기댓값을 가장 크게 하는 비율을 찾았습니다. 그리고 공정한 배당이라면 그 최대 속도가 전신의 정보 전송률과 정확히 같다는 것을 보였습니다. 소식이 맞을 확률이 p 이면 재산의 2p − 1 을 걸고, 재산은 한 판에 1 − h(p) 비트씩, 곧 2의 1 − h(p) 제곱 배씩 불어납니다. h 는 스무고개에서 본 그 함수입니다. p = 0.6 이면 재산의 20% 를 걸고 한 판에 0.029비트, 대략 34판마다 재산이 두 배가 됩니다. 열 번에 여섯 번 맞는 소식은 꽤 쓸 만해 보이지만, 그 소식이 한 판에 실어 나르는 정보는 0.03비트가 안 되고, 돈이 불어나는 속도도 꼭 그만큼입니다.
논문에는 퀴즈 쇼가 나오지 않습니다. 윌리엄 파운드스톤은 2005년 책 『Fortune’s Formula』 에서, 켈리가 1955년에 시작한 텔레비전 퀴즈 쇼 「$64,000 Question」 에 얽힌 신문 기사에서 착상했다고 썼습니다. 뉴욕에서 만들어 동부에 생방송하고 서부에는 세 시간 늦게 내보내던 쇼였는데, 서부의 한 도박꾼이 우승자를 전화로 먼저 알아내 서부 방송 전에 걸었다는 기사입니다. 원래 제목은 「정보 이론과 도박」 이었는데 사설 전신이라는 말을 꺼린 AT&T 쪽 압력으로 바꿨다고도 적었습니다.
켈리의 공식을 도박판에 가져간 사람은 수학자 에드워드 소프였습니다. 그는 1960년 MIT 에서 섀넌에게 이 논문을 소개받아 블랙잭의 베팅 크기를 정하는 데 썼고, 1962년 『Beat the Dealer』 첫판으로 도박계에 알렸습니다. 두 사람은 1960년 11월부터 이듬해 6월까지 룰렛 공과 회전판의 속도를 재서 공이 떨어질 자리를 점치는 담뱃갑만 한 컴퓨터도 만들었습니다. 1961년 여름 두 부부가 라스베이거스에서 10센트짜리 칩으로 시험했는데, 소프의 1998년 회고에 따르면 가장 유리한 숫자 하나에 걸 때의 기대 수익이 44% 쯤이었습니다. 이어폰 선이 자꾸 끊어져서 본격적으로 걸지는 못했다고 합니다.
포커를 치는 입장에서 켈리는 먼저 뱅크롤의 이야기로 다가옵니다. 유리한 판이라도 판돈이 가진 돈에 비해 너무 크면 오래 버티지 못한다는 것입니다. 하지만 켈리의 원래 결론은 그보다 날카롭습니다. 돈이 불어나는 속도의 상한을 정하는 것이 내가 가진 정보의 양이라는 것입니다. 남보다 아는 것이 없으면 불어날 것도 없습니다. 포커에서 상대의 베팅을 읽으려 애쓰고 내 베팅은 읽히지 않으려 애쓰는 것도 결국 그 몇 비트를 두고 다투는 일입니다.
섀넌의 비트는 무엇을 모르는지는 묻지 않고 얼마나 모르는지만 셉니다. 켈리의 도박꾼에게는 그것으로 충분했습니다. 거는 대상이 하나뿐이고, 아는 만큼 정확히 벌기 때문입니다. 마스터마인드처럼 무엇을 알아야 끝나는지가 정해진 게임에서는 같은 3비트라도 어느 3비트인지가 다시 중요해집니다.
자료에 대해#
마스터마인드의 세 평균은 위의 코드로 다시 계산했고 코이의 표와 같았습니다. 크누스의 1976년 논문에는 평균이 적혀 있지 않고, 4.476 은 코이가 계산한 값입니다. 점수가 같은 추측 가운데 무엇을 고르느냐에 따라 평균은 조금씩 달라집니다. 메이로비츠의 이름은 자료마다 철자가 다르고, 그가 통신 전문가였다는 이야기도 있지만 회사가 밝힌 것은 우체국장이었다는 것뿐입니다. 폰 노이만의 일화는 트리버스의 글과 섀넌의 구술사가 서로 어긋나고, 켈리가 퀴즈 쇼 기사에서 착상했다는 이야기와 논문 제목을 바꾼 사정은 파운드스톤의 책에만 나옵니다. 허프먼의 일화는 잡지 지면이 아니라 허프먼 가족의 사이트에 옮겨 둔 기사로 읽었습니다. 워들의 정답 목록은 뉴욕 타임스로 넘어간 뒤 여러 차례 바뀌었고, 위의 워들 숫자는 모두 처음의 2,315개를 기준으로 합니다.
| 편 | 제목 |
|---|---|
| Part 1 | 놀라움을 세는 법 (지금 글) |
| Part 2 | 내는 패가 말하는 것 |
References#
최신 (2024~2026)#
- Ronald I. Greenberg, “Effective Wordle Heuristics”, arXiv:2408.11730v2 (2026), 표 2: https://arxiv.org/abs/2408.11730
- Dimitris Bertsimas, Alex Paskov, “An Exact Solution to Wordle”, Operations Research 73(3): 1384–1394 (2025): https://doi.org/10.1287/opre.2022.0434
섀넌과 엔트로피#
- C. E. Shannon, “A Mathematical Theory of Communication”, Bell System Technical Journal 27(3): 379–423, 27(4): 623–656 (1948), p. 380 (비트), 6절 정리 2: https://doi.org/10.1002/j.1538-7305.1948.tb01338.x , https://doi.org/10.1002/j.1538-7305.1948.tb00917.x
- R. V. L. Hartley, “Transmission of Information”, Bell System Technical Journal 7(3): 535–563 (1928), p. 540: https://doi.org/10.1002/j.1538-7305.1928.tb01236.x
- C. E. Shannon, “Prediction and Entropy of Printed English”, Bell System Technical Journal 30(1): 50–64 (1951), 3절·6절: https://doi.org/10.1002/j.1538-7305.1951.tb01366.x
- Myron Tribus, Edward C. McIrvine, “Energy and Information”, Scientific American 225(3): 179–188 (1971), p. 180: https://doi.org/10.1038/scientificamerican0971-179
- Claude E. Shannon, Robert Price 와의 구술사 인터뷰 #423 (1982), IEEE History Center: https://ethw.org/Oral-History:Claude_E._Shannon
부호와 압축#
- D. A. Huffman, “A Method for the Construction of Minimum-Redundancy Codes”, Proceedings of the IRE 40(9): 1098–1101 (1952): https://doi.org/10.1109/JRPROC.1952.273898
- Gary Stix, “Profile: David A. Huffman”, Scientific American 265(3): 54–58 (1991): https://doi.org/10.1038/scientificamerican0991-54 (재수록: https://www.huffmancoding.com/my-uncle/scientific-american)
- P. Deutsch, “DEFLATE Compressed Data Format Specification version 1.3”, RFC 1951 (1996): https://www.rfc-editor.org/rfc/rfc1951
마스터마인드와 워들#
- Donald E. Knuth, “The Computer as Master Mind”, Journal of Recreational Mathematics 9(1): 1–6 (1976–77): http://www.cs.uni.edu/%7Ewallingf/teaching/cs3530/resources/knuth-mastermind.pdf
- Erich Neuwirth, “Some strategies for Mastermind”, Zeitschrift für Operations Research 26(1): B257–B278 (1982): https://doi.org/10.1007/BF01917147
- Kenji Koyama, Tony W. Lai, “An Optimal Mastermind Strategy”, Journal of Recreational Mathematics 25(4): 251–256 (1993)
- Barteld Kooi, “Yet Another Mastermind Strategy”, ICGA Journal 28(1): 13–20 (2005), 표 7: https://doi.org/10.3233/ICG-2005-28105
- Invicta Toys and Games, 회사 소개 페이지 (인터넷 아카이브 보관본): https://web.archive.org/web/20070812104420/http://dspace.dial.pipex.com/town/road/gbd76/toys.htm
- The New York Times Company, “Wordle Is Joining The New York Times Games” (2022-01-31): https://www.nytco.com/press/wordle-new-york-times-games/
- Grant Sanderson (3Blue1Brown), “Solving Wordle using information theory” (2022-02-06): https://www.youtube.com/watch?v=v68zYyaEmEA
- Grant Sanderson (3Blue1Brown), “Oh, wait, actually the best Wordle opener is not “crane”…” (2022-02-13): https://www.youtube.com/watch?v=fRed0Xmc2Wg
- Alex Selby, “The best strategies for Wordle” (2022-01-19), 2022-03-10 보관본: https://web.archive.org/web/20220310222833/http://sonorouschocolate.com/notes/index.php?title=The_best_strategies_for_Wordle
켈리와 소프#
- J. L. Kelly Jr., “A New Interpretation of Information Rate”, Bell System Technical Journal 35(4): 917–926 (1956): https://doi.org/10.1002/j.1538-7305.1956.tb03809.x
- William Poundstone, “John Kelly, Jr. and His Formula” (『Fortune’s Formula』, 2005 에서 옮김): http://home.williampoundstone.net/Kelly.htm
- Edward O. Thorp, “The Invention of the First Wearable Computer”, ISWC 1998: 4–8, 3.2절: https://doi.org/10.1109/ISWC.1998.729523
- Edward O. Thorp, “The Kelly Criterion in Blackjack Sports Betting, and the Stock Market”, Handbook of Asset and Liability Management 1, 9장 (2006), p. 387: https://doi.org/10.1016/S1872-0978%2806%2901009-X