아카이케의 통계 모델 식별에 대한 새로운 관점

이 영상은 아카이케의 논문을 바탕으로, 모델의 복잡도를 예/아니오 검정 대신 하나의 점수로 고르는 방법을 설명합니다. 평균 로그우도의 과대평가를 매개변수 수로 보정한 AIC와, 점수가 가장 낮은 모델을 고르는 최소 AIC 규칙이 핵심입니다. 실제 시계열 기록에서의 적용 사례와 저자가 밝힌 한계도 함께 다룹니다.

⏱ 00:18이 영상은 아카이케 히로쓰구가 발표한 '통계 모델 식별에 대한 새로운 관점' 논문을 다룹니다. 데이터에 모델을 맞출 때는 모델을 얼마나 복잡하게 만들지 정해야 합니다. 조정할 수 있는 매개변수가 많을수록 과거 데이터에는 더 잘 맞지만, 결국 무작위 잡음까지 따라가게 되어 미래 예측은 나빠집니다.

⏱ 01:10당시 널리 쓰이던 방법은 예/아니오로 답하는 통계 검정을 차례로 이어 붙이는 것이었습니다. 이 방식은 검정 순서와 유의수준을 어떻게 잡느냐에 따라 최종 답이 달라질 수 있습니다. 또 모델이 참인지 묻는 검정은 모든 후보 모델이 실제와 다르다는 점을 생각하면 논리적으로 모순이라고 저자는 지적합니다.

시계열이나 회귀 분석에서도 예측 오차를 기준으로 삼는 여러 점수가 제안되었습니다. Mallows의 Cp, Davison의 점수, 1969년 아카이케가 도입한 최종 예측 오차 등이 그 예입니다. 하지만 잡음 수준을 추정하거나 최대 차수를 정하는 일에는 여전히 사람의 판단이 필요했습니다.

⏱ 04:18저자는 최대우도법을 출발점으로 삼습니다. 최대우도법은 관측된 데이터가 나올 확률을 가장 크게 만드는 매개변수 값을 고르는 방법으로, 큰 표본에서 정확도가 높다고 알려져 있습니다. 각 관측값에 모델이 그 값을 얼마나 그럴듯하게 여기는지를 로그로 매긴 점수를 붙이고, 이를 평균한 값이 평균 로그우도입니다.

데이터가 쌓이면 이 평균은 일정한 값에 수렴합니다. 이 값은 참인 데이터 생성원에 대해 평균한 점수와 같고, 모델이 참에 가까울수록 커집니다. 참과의 차이를 나타내는 쿨백-라이블러 정보는 두 분포가 일치할 때만 0이 됩니다. 따라서 모델이 참인지 묻는 문제가 이 차이를 재는 문제로 바뀝니다. 예를 들어 공정한 동전의 앞면 확률을 50%라고 주장하는 모델은 차이가 없지만, 70%라고 주장하면 약 0.09만큼 모자랍니다.

⏱ 05:39같은 데이터로 매개변수를 맞추고 다시 그 데이터로 점수를 매기면 모델은 실제보다 좋아 보입니다. 최대우도 추정은 그 표본에 우연히 나타난 무작위 특성까지 따라가기 때문입니다. 시험 문제를 미리 본 학생의 모의고사 점수가 실력보다 부풀려지는 것과 비슷합니다.

아카이케는 큰 표본과 참 매개변수 근처에서 이 과대평가의 크기를 계산합니다. 조정된 매개변수 하나마다 대략 1단위의 무작위 오차가 더해지고, 매개변수가 k개면 약 k만큼 더해집니다. 그래서 두 가지 오차를 모두 보정하려면 매개변수 하나당 로그우도 1단위, 즉 2k만큼의 벌점이 필요하다는 결론이 나옵니다. 참 분포와 관련된 항은 모든 후보에 공통이라 비교에서 사라집니다.

⏱ 07:09보정된 점수가 아카이케 정보 기준, 즉 AIC입니다. AIC는 최대우도에 로그를 취한 값에 -2를 곱하고, 여기에 조정된 매개변수 수의 2배를 더한 값입니다. 적합도가 좋아질수록 첫 항이 작아지고, 매개변수 하나마다 2점의 벌점이 붙습니다.

예를 들어 매개변수 3개, 로그우도 -100인 모델은 점수가 206이고, 매개변수 5개로 로그우도를 -99까지만 올린 모델은 점수가 208입니다. 점수가 낮은 작은 모델이 선택됩니다. 이처럼 점수가 가장 낮은 모델을 고르는 규칙을 최소 AIC 규칙이라 부릅니다. 최대우도가 같으면 매개변수가 적은 모델을 고르게 되어, 단순한 모델을 선호하는 간결성 원칙을 정확한 형태로 담고 있습니다.

⏱ 08:25규칙의 신뢰도는 이미 알려진 답을 제대로 찾아내는지로 확인합니다. 아카이케는 앤더슨의 교재에 실린 기록을 대상으로 최소 AIC를 적용했습니다. 세 개의 시계열은 Wold가 정해진 공식으로 만든 모의 데이터이며, 각 값이 앞의 두 값에 의존하도록 되어 있습니다. 두 개에서는 최저 점수가 정확히 두 단계 모델을 가리켰고, 나머지 하나에서는 한 단계만 보는 더 단순한 모델이 선택되었습니다. 그 세 번째 데이터의 둘째 계수는 추정 불확실성보다도 작았기 때문에, 단순한 모델이 다음 값을 더 정확히 예측했습니다.

실제 기록인 흑점 수와 밀 가격 지수에서는 여덟 단계 전까지 보는 모델이 최저 점수를 받았고, 둘째 단계에서도 작은 골짜기가 있었습니다. 밀 가격에 대해 앞선 분석가 Sargon은 두 단계를 택했지만, 앤더슨의 논의에 따르면 여덟 단계도 합리적으로 보입니다. 긴 기록에서 거의 같은 선택을 하는 관련 규칙은 젠킨스와 왓츠가 신중한 분석 끝에 고른 모델과 일치했습니다.

⏱ 10:05저자는 이 결과가 항상 최선이라고 증명한 것은 아니라고 분명히 밝힙니다. 혼합 모델 비교와 뇌파 기록 실험도 알려진 답이나 전문가의 답과 맞아떨어진다는 수준의 근거입니다. 또 분석은 후보 중 최소한 하나가 참에 충분히 가깝다는 가정에 기대고 있습니다. 모든 후보가 참과 크게 다르다면 어떤 모델이 더 가까운지 재는 기준 자체가 판단의 문제가 됩니다.

반면 이 규칙은 사람의 주관 없이 적용할 수 있다는 장점이 있습니다. 후보 모델이 단순한 것부터 점점 복잡해지는 사슬을 이루면 최소 AIC는 일련의 검정처럼 작동하지만, 유의수준을 손으로 정하는 대신 매개변수당 벌점 2가 기준을 자동으로 정합니다. 한편 벌점을 2 대신 1로 준 Bansali의 이전 연구는 실망스러운 결과를 얻었다고 합니다. 저자는 이 규칙이 예측, 신호 탐지, 패턴 인식, 적응 등에 넓게 쓰일 수 있다고 봅니다.