부호공주 hard 봇은 손패가 다섯 장 이하일 때 후보 수 두세 개를 장부와 맞는 표본 16개로 굴려 봅니다. 이 롤아웃 예산을 밴딧 문제로 보고 균등 배분, UCB1, Thompson, Sequential Halving 을 7,122개 결정에서 재생했습니다. 후보가 적을 때는 방법끼리 차이가 없었고 같은 표본을 나눠 쓰는 것이 더 중요했습니다. 후보를 넓히면 Sequential Halving 이 앞서지만, 넓혀서 얻는 값은 예산이 함께 늘어야 생겼고, 시뮬레이터 대국에서는 어느 조합도 운영 봇과 구별되지 않았습니다.
Posts for: #Bandit
밴딧 문제 Part 1: 벌 것인가, 고를 것인가
확률을 모르는 슬롯머신 여러 대를 정해진 횟수만큼 당길 때 어디에 걸지 정하는 문제가 밴딧 문제입니다. 1933년 톰프슨의 치료법 배정, 전쟁 중 연합국 분석가들을 지치게 했다는 일화, 후회의 하한과 UCB1, A/B 테스트와 ECMO 임상시험, 바둑의 UCT 를 따라가고, 당기면서 버는 문제와 마지막에 하나를 고르는 문제가 서로 다르다는 것을 Go 로 확인합니다.