AI 코딩 어시스턴트 핵심 개념 12분 정리

AI 코딩 어시스턴트가 로그인 버그를 고치는 과정을 따라가며 핵심 개념을 정리합니다. 인공지능에서 LLM, 신경망, 사전학습과 파인튜닝, 토큰과 컨텍스트 창, 트랜스포머의 어텐션, RAG와 도구 호출, MCP, 에이전트와 하네스, 환각과 검증까지 계층적으로 짚습니다. 모델만이 아니라 컨텍스트, 도구, 권한, 테스트를 묶은 시스템 전체를 보고 결과를 검증해야 한다는 것이 핵심 메시지입니다.

⏱ 00:00강연은 신입 개발자가 로그인 API의 500 에러를 고치라는 티켓을 받는 상황에서 시작합니다. AI 코딩 어시스턴트에 요청하면 코드 검색, 파일 수정, 테스트 실행이 이어지는데, 이 과정에서 AI가 요청을 어떻게 이해하고 파일을 어떻게 찾으며 수정이 실제로 작동하는지 어떻게 아는지를 질문으로 던집니다. 이후 이 한 가지 버그를 따라가며 등장하는 개념을 차례로 설명합니다.

⏱ 01:04인공지능은 지능이 필요한 작업을 수행하는 시스템을 만드는 넓은 분야입니다. 그 안에 규칙을 직접 적지 않고 데이터에서 패턴을 배우는 머신러닝이 있고, 여러 층으로 쌓인 신경망을 쓰는 것이 딥러닝입니다. 방대한 텍스트로 학습해 언어를 이해하고 생성하는 모델이 대규모 언어 모델(LLM)이며, 신경망은 입력을 출력으로 바꾸는 수학 연산들의 연결입니다. 학습이 끝난 신경망을 모델이라 부르고, 그 안의 매개변수 값이 처리 방식을 결정합니다. 따라서 버그 패턴에 대한 지식도 규칙 목록이 아니라 매개변수 전체에 퍼진 학습 결과로 봐야 하며, 그럴듯한 제안이 항상 정답은 아니라는 점도 짚습니다.

⏱ 02:34사전학습 단계에서 모델은 다음 토큰을 예측하는 과제로 텍스트와 코드를 읽으며 넓은 패턴을 익힙니다. 예측이 틀리면 역전파가 각 매개변수가 오차에 얼마나 기여했는지 계산하고, 최적화 도구가 값을 조정합니다. 학습이 끝난 뒤 응답을 만드는 과정은 추론이라고 구분합니다. 다음 토큰 예측만으로는 문장을 이어 쓸 뿐이므로, 지시와 좋은 응답 쌍으로 가르치는 지시 튜닝과 특정 데이터로 추가 학습하는 파인튜닝이 필요합니다. LoRA는 전체 대신 작은 추가 매개변수만 학습해 비용을 줄이는 방법입니다. 강화학습은 사람의 선호나 테스트 통과 여부 같은 피드백으로 행동을 개선하고, 양자화는 새 지식을 주지 않고 수치 정밀도를 낮춰 메모리를 줄이는 기법입니다.

⏱ 04:41사용자의 프롬프트와 애플리케이션이 붙이는 시스템 프롬프트가 합쳐져 토크나이저에 의해 토큰으로 나뉘고, 각각 숫자 ID로 바뀝니다. 모델은 확률 분포에서 토큰을 하나씩 골라 답을 만들며, 온도 값이 낮으면 가장 가능성 높은 선택에, 높으면 다양한 선택에 치우칩니다. 입력과 출력은 컨텍스트 창이라는 한 번에 다룰 수 있는 토큰 한도 안에 들어가야 하므로, 파일과 로그가 많으면 관련 정보를 골라야 합니다. 멀티모달 모델은 스크린샷 같은 텍스트 아닌 입력도 함께 처리합니다. 트랜스포머의 핵심인 어텐션은 토큰들 사이의 관계에 가중치를 주어 로그의 null 결과와 코드의 조회 쿼리를 연결하도록 돕습니다. 다만 올바른 해석을 보장하지는 않으며, 표준 어텐션은 계산량이 토큰 수의 제곱에 가깝게 늘어 긴 컨텍스트가 비싸집니다.

⏱ 06:45모델은 학습 시점 이후의 정보나 비공개 코드를 알지 못하므로 외부 정보를 가져와야 합니다. 임베딩은 문서를 숫자 벡터로 바꾼 표현이어서 표현은 달라도 의미가 비슷하면 가까운 벡터가 되고, 벡터 데이터베이스는 이런 벡터를 저장하고 비슷한 항목을 찾아줍니다. RAG는 검색한 자료를 컨텍스트에 넣어 답변을 보강하는 방식입니다. 다만 많은 코딩 도구는 벡터 데이터베이스 없이 저장소를 직접 검색하는 도구를 씁니다. 도구 호출은 모델이 파일 검색, 코드 읽기, 테스트 실행을 요청하면 애플리케이션이 실행하고 결과를 돌려주는 구조입니다. MCP는 AI 앱과 외부 도구, 데이터 소스를 잇는 공통 규격으로, 필수 조건은 아니지만 인터페이스를 통일합니다. 에이전트는 판단하고 행동하고 결과를 관찰하는 루프를 반복하며, 이 루프를 실행하는 주변 소프트웨어를 하네스라 부릅니다. 메모리는 세션을 넘어 정보를 보관했다가 필요할 때 컨텍스트에 불러오는 장치입니다.

⏱ 09:20모델은 근거 없이 그럴듯한 내용을 만들어내는 환각을 일으킬 수 있습니다. 발표 속 어시스턴트는 누락된 데이터베이스 인덱스를 원인으로 지목했지만, 로그와 코드에는 근거가 없었습니다. 실제 원인은 존재하지 않는 이메일 조회 결과가 null인데도 그 객체의 속성을 읽어 예외가 발생하고 500 에러로 이어진 것이었습니다. 에이전트가 인증 테스트로 실패를 재현하고 null 검사를 넣어 401 응답을 반환하도록 고치자 테스트가 통과했습니다. 그래서 AI의 말을 믿기보다 검증해야 하며, 평가(evals)는 수많은 작업에서 버그 발견, 올바른 수정, 불필요한 변경 회피를 측정합니다. 가드레일은 파일 삭제나 배포처럼 위험한 행동에 승인을 요구하고, 프롬프트 인젝션은 읽은 문서 속 숨은 지시로 에이전트를 조종하려는 공격이라 이를 제한합니다. 구조화 출력은 결과 형식을 고정해 검증을 쉽게 하지만, 형식이 맞다고 정답이 보장되지는 않아 수동 검증이 여전히 필요합니다.