Q-러닝이 값을 과대평가하는 이유

Q-러닝은 노이즈가 섞인 추정치에서 max를 취하기 때문에 가치를 체계적으로 과대평가합니다. 이 편향은 행동이 비슷하거나 노이즈가 클수록 커지고, 부트스트래핑으로 이전 상태에 누적됩니다. 두 추정치를 분리하는 이중 Q-러닝과 DQN의 더블 DQN이 이를 줄이는 방법으로 소개됩니다.

⏱ 00:00Q-러닝이 실제 가치보다 값을 지나치게 높게 추정하며, 그 원인이 업데이트 식의 max 연산이라는 내용을 다룹니다. 처음에는 믿기 어렵지만 간단한 예시로 확인할 수 있습니다.

시작 상태 A에는 두 개의 문이 있습니다. 오른쪽 문은 즉시 에피소드를 끝내고 보상 0을 주며, 왼쪽 문은 평균 -0.1의 무작위 보상을 주는 선택지 10개가 있는 상태 B로 이어집니다. 기대값으로는 왼쪽이 손해인데도 Q-러닝은 학습 초기에 왼쪽을 훨씬 자주 고릅니다.

⏱ 00:47Q-러닝은 상태 S에서 행동 A를 하고 보상 R을 받아 S'에 도달하면, Q(S, A)를 R과 감마 곱하기 max Q(S', A')의 합인 목표치 쪽으로 조금 옮깁니다. 에이전트는 실제 가치를 볼 수 없고 자신의 추정치만 알 수 있다는 점이 핵심입니다.

발표자는 행동 네 개의 실제 가치가 모두 0이고 추정치에 표준 정규 분포 노이즈가 더해진 상황을 가정합니다. 각 추정치는 평균적으로 정확하지만 최댓값의 평균은 약 1.03으로 나타납니다. 최댓값은 같은 숫자로 행동을 고르고 그 가치를 매기기 때문에, 운 좋게 높게 나온 추정치가 선택되고 그 운이 그대로 가치가 됩니다.

⏱ 03:34두 행동의 실제 가치가 같을 때 최댓값은 약 0.56만큼 과대평가됩니다. 한 행동이 표준편차만큼 앞서면 편향은 약 0.20으로 줄고, 차이가 2 정도면 거의 사라집니다. 즉 행동들이 비슷해 최선을 모를 때 편향이 가장 큽니다. 동점 행동이 두 개에서 네 개로 늘면 편향이 약 0.5에서 1로 커지고, 100개가 되어도 2.5 정도로 증가 속도가 점점 느려집니다. 노이즈 범위를 두 배로 하면 편향도 두 배가 됩니다.

상태마다 편향이 다르다는 점도 중요합니다. 행동이 많거나 보상 노이즈가 큰 상태는 크게 부풀려지지만, 출구가 하나뿐인 상태는 선택 여지가 없어 편향이 생기지 않습니다.

⏱ 04:19Q-러닝은 부트스트래핑을 하므로 다음 상태에서 부풀려진 최댓값이 이전 상태의 목표치 일부가 됩니다. 이미 높게 책정된 값들 중에서 다시 최댓값을 취하게 되어 편향이 연쇄적으로 쌓입니다.

다섯 개 상태로 이루어진 체인에서 실제 가치는 모두 0이지만, 200번의 에피소드 뒤 마지막 상태의 최댓값은 0.24가 됩니다. 시작점에서 멀리 떨어진 상태일수록 물려받은 편향이 더해져 첫 상태에서는 최댓값이 1을 넘습니다. 모든 값이 같은 양만큼 부풀면 최선의 행동은 바뀌지 않지만, 이 팽창은 상태마다 균일하지 않아 문제가 됩니다.

⏱ 05:37상태 B는 노이즈가 섞인 행동 10개를 가져 최댓값이 양수가 되고, 그 양수가 왼쪽 문의 가치로 곧장 이어집니다. 오른쪽 문은 선택지가 없어 0에 머뭅니다. 서튼과 바토의 실험 설정을 만 번 재실행했을 때 Q-러닝은 약 20번째 에피소드에서 94%의 확률로 왼쪽을 골랐습니다. 탐험만으로는 약 5%가 되어야 할 300번째 에피소드 이후에도 여전히 12%의 확률로 왼쪽을 선택했습니다.

⏱ 06:17편향은 행동 선택과 점수 매기기에 같은 숫자를 쓰기 때문에 생기므로, 서로 독립된 샘플로 만든 두 추정치 Q1과 Q2를 유지하는 것이 해결책입니다. Q1이 행동을 고르고 Q2가 그 행동을 평가합니다. 이 방식은 Q1이 고른 행동의 가치에 대해서만 편향을 없애므로, Q1이 더 나쁜 행동을 고르면 오히려 낮게 나올 수도 있다는 한계를 발표자는 짚습니다.

이중 Q-러닝은 업데이트마다 동전을 던져 갱신할 테이블을 정합니다. 앞면이면 Q1을 갱신하며 다음 상태의 최선 행동은 Q1으로 고르고 점수는 Q2로 매깁니다. 뒷면이면 역할이 바뀝니다. 예시에서 일반 Q-러닝은 1.99를 목표로 하지만 이중 Q-러닝은 약 0.82를 목표로 합니다. 연산 비용은 비슷하고 메모리는 두 배가 듭니다. 두 개의 문 실험에서 이중 Q-러닝은 처음 50%에서 시작해 탐험 하한인 5%를 향해 빠르게 떨어졌습니다.

⏱ 08:22같은 문제는 신경망을 쓰는 DQN에서도 나타납니다. DQN은 일정 단계마다 갱신되는 타겟 네트워크로 목표치를 계산하는데, 반 하셀트 연구진은 테스트한 49개 아타리 게임 모두에서 정도의 차이는 있지만 가치가 과대평가된다는 사실을 발견했습니다. 이 게임들은 결정론적이므로 오류는 환경 노이즈가 아니라 네트워크 근사에서 비롯된 것입니다.

더블 DQN은 타겟 네트워크를 두 번째 추정기로 재사용해, 메인 네트워크가 행동을 고르고 타겟 네트워크가 그 점수를 매깁니다. 목표치 계산 코드 한 줄만 바꾸면 되며, 발표자는 같은 설정에서 중앙값 게임 점수가 크게 향상되었다는 결과를 소개합니다.