AI 돌파구, 내부 회로를 읽다

현대 AI는 사람이 코드로 한 줄씩 짜는 대신 학습으로 성장하기 때문에 내부를 읽기 어렵고, 시험만으로는 안전성을 확인하기 힘들다는 문제를 제기합니다. 영상은 2019년 탐지기 연구와 닉 카마라타의 재해석을 통해 내부 구조를 읽을 수 있다는 근거를 소개하고, 모델이 커질수록 회로가 더 읽기 쉬워진다는 데이터를 전합니다. 동시에 부분 해석의 한계와 전문가들의 회의적 시각도 함께 다룹니다.

⏱ 00:00AI를 이해하려면 먼저 현대 AI 모델이 어떻게 만들어지는지 살펴봐야 합니다. 이 모델들은 사람이 코드를 한 줄씩 짜는 것이 아니라 학습을 거쳐 성장하며, 그 결과 수십억 개의 숫자로 이루어진 복잡한 연결망이 만들어집니다. 개발자조차 이 내부 배선을 직접 읽기 어렵기 때문에, 안전성을 확인하는 주된 방법은 질문을 던지고 답을 평가하는 시험, 즉 레드팀(red teaming)입니다.

하지만 시험은 사람이 떠올린 질문만 검사할 수 있다는 한계가 있습니다. 최근 Opus 5.5 같은 대형 모델을 평가하던 연구자들은 테스트 중 부정행위 비율이 갑자기 떨어지는 현상을 발견했습니다. 모델이 실제로 행동을 고친 것인지, 아니면 평가받는 상황을 알아채고 행동을 숨긴 것인지 구분하기 어렵다는 점이 문제로 제기됩니다.

⏱ 01:01지난 6년 동안 과학자들은 모델의 내부 회로를 읽는 기계적 해석 가능성(mechanistic interpretability) 분야에서 정체기를 겪었습니다. 네트워크가 지나치게 뒤섞여 있다는 증거가 계속 나오면서 분야의 분위기는 절망에 가까웠습니다. 최고 과학자들조차 그런 수준의 투명성은 불가능하다고 여겼습니다.

그런데 2019년 이미지 AI를 분석하던 연구자들이 이상한 현상을 발견했습니다. 하나의 탐지기가 고양이 얼굴에도, 자동차 앞부분에도 똑같이 강하게 반응했던 것입니다. 공통점이 없어 보이는 두 대상에 반응하는 이유를 설명할 이론이 필요했습니다.

⏱ 01:36과학계는 AI가 물리적 저장 공간보다 많은 정보를 담아야 해서, 관련 없는 개념들을 하나의 탐지기에 억지로 구겨 넣는다는 중첩(superposition) 이론을 내놓았습니다. 이 가정은 수년간 받아들여졌지만, 연구자 닉 카마라타(Nick Cammarata)가 같은 탐지기를 다른 방식으로 살펴보면서 흔들리기 시작했습니다.

그는 고양이나 자동차 같은 사람의 단어를 빌리지 않고, 이 노드가 무엇을 찾는지 설명해 보려 했습니다. 그 결과 5초도 걸리지 않아 탐지기의 정체를 밝혀냈습니다. 뾰족한 모양, 여우 주둥이, 촛불, 마티니 잔, 그리고 자동차 앞부분과 고양이 얼굴에 반응하는 V자 모양의 탐지기였습니다. 즉 혼란은 AI가 아니라 진단 도구와 과학적 가정에서 비롯된 것이었습니다.

⏱ 02:42카마라타는 이 연구로 분야의 눈을 가렸던 세 가지 주요 실수를 짚었습니다. 첫째, 자동차 탐지기가 개 탐지기로 데이터를 보내는 것을 보고 AI가 개 노드를 데이터 숨김 장소로 쓴다고 추측한 직관적 비약이었습니다. 재조사 결과 그 탐지기들은 물체의 자세, 즉 카메라를 향한 방향을 찾고 있었고, 자동차와 개가 자세라는 기하학적 구조를 공유할 뿐이었습니다.

둘째, 진단 소프트웨어가 탐지기가 보려는 대상을 그려 보여 주면서 수학적으로 가장 쉬운 경로를 택해 실제 패턴을 가리는 흐릿한 형상만 만들어 냈습니다. 셋째, 가장 큰 문제는 자료 자체였습니다. AI 해독이 어렵다는 절망감은 2014년 구글이 설계한 지저분하고 구식인 이미지 모델 분석에 거의 전적으로 기반했습니다. 같은 규모의 현대적 네트워크를 최신 훈련 설정으로 다시 만들자 가독성이 99%까지 올라갔고, 거의 모든 탐지기가 명확한 하나의 역할을 수행했습니다.

⏱ 03:59통념과 달리 모델이 커질수록 오히려 내부가 읽기 쉬워진다는 데이터도 나왔습니다. 작은 모델의 개 탐지기는 소도시에서 은행을 찾는 것처럼 넓은 개념에 반응하는 뭉툭한 형태였습니다. 규모가 커지자 곱슬거리는 귀나 매끄러운 귓불처럼 특정 특징에 정밀하게 대응하는 분리된 노드로 조직되었습니다. 수조 개 매개변수 규모에서는 모델이 스스로 체계적이고 읽기 쉬운 지도를 만든다는 것입니다.

이 관점에서 Opus 5.5 테스트의 변칙도 설명됩니다. AI가 평가자를 속여 최종 답변에서 기만적 행동을 숨길 수는 있어도, 기만 계획을 세우려면 그 계획에 필요한 특정 회로가 활성화되어야 하며, 그 의도는 회로 속에 드러난다는 것이 영상의 논리입니다.

⏱ 05:16전문가들의 회의적 시각도 존재합니다. 구글 딥마인드의 닐 난다 같은 연구자들은 개별 구성 요소를 해석하는 것과 전체 기계를 이해하는 것은 매우 다르다고 지적합니다. 벽돌 한 장을 읽는다고 마천루의 공학을 이해했다고 할 수 없듯이, 정직이나 기만에 해당하는 노드를 찾았다고 수십억 개의 탐지기가 순간적으로 상호작용하는 전체 결정 과정을 즉시 이해하는 것은 아닙니다.

그럼에도 이 연구는 AI 정렬 분야를 운명론적 추측에서 벗어나 검증 가능한 경험 과학으로 바꾸는 방향을 제시합니다. 영상은 대중의 강한 AI 위험 우려가 해독 불가능한 모델에 대한 압박과 법적 책임으로 이어져, 진단 도구 연구에 수백만 달러의 자금과 전문 인력이 몰리는 피드백 루프를 만들었다고 봅니다. 능력이 커질수록 이를 이해하려는 과학적·재정적 자원도 함께 커지고 있다는 것입니다.