GPT-6 Astra, 다른 AI의 가중치를 직접 고치다

MIT 연구진의 실험에서 GPT-6 Astra는 다른 AI 모델의 가중치 숫자만 보고 게임이나 언어의 종류, 그리고 결함을 찾아냈습니다. 일부는 직접 고쳐 성능을 높였고, 다른 연구자들도 재현했습니다. 그러나 일부 전문가는 시행착오 효과와 작은 모델 규모를 근거로 과대평가라고 지적합니다.

⏱ 00:00MIT CSAIL 연구진이 OpenAI의 GPT-6 Astra에게 다른 AI 모델의 내부 가중치 숫자만 건네는 실험을 했습니다. 코드나 학습 데이터 없이 숫자만 받은 Astra는 문제가 되는 부분을 찾아 일부를 직접 수정했고, 어려운 수학 시험 점수가 8% 미만에서 48% 이상으로 올랐습니다. 이 방식은 하루 만에 다른 연구자들에게 재현되었고, Anthropic의 Claude Opus 5.5도 같은 작업을 수행한 것으로 알려졌습니다. 연구진은 이를 '웨이트 스페이스 프로그래밍'이라고 부릅니다.

⏱ 01:16AI 모델은 수십억 개의 가중치, 즉 아주 작은 숫자 다이얼로 이루어져 있습니다. 학습 과정에서 경사 하강법이 이 다이얼들을 조금씩 돌려 작업을 잘하게 만들고, 모델의 지식과 기술은 결국 그 숫자들 안에 저장됩니다. 문제는 사람이 코드처럼 한 줄씩 읽어 의미를 알아내기 어렵다는 점입니다. 그래서 연구자들은 신경망을 설계한다기보다 키운다고 표현하기도 합니다.

⏱ 03:04해석 가능성 연구자들의 설명에 따르면, 신경망 안의 회로는 촘촘하게 얽혀 있어 어떻게 형성되는지는 알아도 각 회로가 무엇을 하는지는 알기 어렵습니다. 이 때문에 기계적 해석 가능성 분야는 모델 내부를 하나씩 분리해 이해하려는 느리고 힘든 작업을 이어 왔습니다. 과거에는 특정 뉴런이 개 이미지에 반응하니 개 뉴런이라고 사람이 수작업으로 추정하는 방식이 주로 쓰였습니다.

⏱ 06:42연구진은 브레이크아웃, 퐁, 팩맨, 프리웨이 네 게임을 학습한 작은 모델들의 가중치를 텍스트로 Astra에게 주고 어떤 게임인지 맞히게 했습니다. 겉보기에는 같은 크기의 네트워크였지만 Astra는 모든 게임을 맞혔고, 도형을 그리는 생성 모델에서도 어떤 도형을 학습했는지 알아냈습니다. 중간 계층만 보고 언어를 식별하고 패턴 복사를 담당하는 부분을 찾아낸 사례도 있습니다. 다만 정직한 모델과 아첨하는 모델을 가중치만으로 구별하지는 못했고, 주의 집중을 보여 주는 도구를 주었을 때에야 정확히 골라냈습니다.

⏱ 09:09두 번째 단계는 가중치를 읽는 것을 넘어 직접 작성하는 실험입니다. 경사로를 넘지 못하던 자동차 제어 AI에 대해 Astra는 한 번의 답변으로 가중치의 약 3.5%를 바꾸는 패치를 만들었고, 성공률이 0%에서 100%로 올랐습니다. 또 브레이크아웃 네트워크를 학습 없이 한 번의 응답으로 작성했는데, 평균 점수가 일반 강화 학습 결과보다 훨씬 높았습니다. 다만 모든 게임에서 우위를 보인 것은 아니었고, 시퀘스트에서는 충분히 학습된 네트워크의 점수가 더 높았습니다.

⏱ 11:21가장 화제가 된 실험은 알리바바의 소형 모델 Qwen 3.5 0.8B의 수학 능력을 높인 것입니다. 모델이 추론 중 같은 패턴에 갇혀 길이 한계까지 맴도는 문제를 찾아, 전체의 약 0.016%에 해당하는 가중치만 바꾸었습니다. 그 결과 MATH 500 점수는 7.9%에서 48.1%로 올랐습니다. 이후 알렉스 크렌셀 등 여러 연구자가 재현했고, 최신 모델군에서만 이 능력이 뚜렷하게 나타난다는 차트가 공유되었습니다. 또 다른 사용자는 Opus 5.5로 한 레이어의 두 숫자 열만 고쳐 루프를 없앴고, 약 27분과 1달러 남짓의 비용이 들었다고 보고했습니다.

⏱ 16:20일부 전문가는 이를 과대평가로 봅니다. 이반 스코로호도프는 연구진이 경사 하강법 대신 실행 결과를 보고 가중치를 반복 조정하는 경사 없는 시행착오 방식을 썼다고 지적했습니다. 일부 수학 결과는 최대 50회 시도 후에야 나타났고, 새로 해결된 문제 상당수는 새 수학을 배운 것이 아니라 루프에서 빠져나온 것이었습니다. 편집 대상 모델도 수만 개 파라미터 규모로 최신 모델과 차이가 큽니다. 연구는 아직 동료 검토 전이며 대부분 한 모델 중심이고, 연구진 스스로 이 기능이 초기 단계라고 밝혔습니다. 사이먼 윌리슨은 같은 답을 종이와 연필로도 찾을 수 있다며, 소스 코드 시대가 끝났다고 선언하기는 이르다고 말했습니다.