AI 에이전트 만들기: 체인·라우팅·병렬화·관리자와 평가자 패턴

⏱ 00:51에이전트는 LLM 호출에 단계적인 문제 해결과 자율적인 판단을 더하는 방식이다. 큰 요청을 순차 단계로 나누는 체인, 상황별 프롬프트를 선택하는 라우팅, 여러 관점을 동시에 처리하는 병렬화가 기본 패턴이다. 해야 할 일을 모르면 관리자 AI가 작업을 정하고 작업자 AI가 수행하게 할 수 있다. 명확한 평가 기준이 있으면 평가자의 피드백으로 결과를 반복 개선할 수 있다. 직접 코드를 만들거나 프레임워크의 가상 직원·검색 기능을 이용할 수 있지만, 컴퓨터 사용의 안정성과 웹페이지의 프롬프트 인젝션 위험도 고려해야 한다.

⏱ 00:00아직도 LLM의 결과에 실망하는 분들이 많습니다. 하지만 요즘은 LLM을 다루는 방법이 많이 발전했기 때문에 그런 방법을 적용해 보지 않아서 생기는 문제일 수도 있습니다. 최근 결과가 괜찮은 방법 중 하나는 체인 오브 소트(Chain of Thought)입니다. GPT에 문제를 주고 답을 바로 내게 하는 대신, 사람처럼 단계적인 생각을 거쳐 최종 답변을 하도록 시키는 방법입니다.

⏱ 00:20이런 방식을 쓰는 최신 모델의 벤치마크를 보면 코딩 테스트 문제를 풀 때 높은 점수를 냈다고 합니다. 화면에서 비교하는 사람의 점수보다도 높다는 설명입니다. o3 모델이 AGI와 관련된 데이터셋에서 고득점을 했다는 결과도 보입니다. 다만 미리 튜닝한 모델의 점수만 공개했기 때문에 다소 호들갑처럼 느껴지기도 합니다. 강연자는 OpenAI가 GPT-5가 나오기 전까지 이런 기술로 간격을 메우는 듯하다고 말하며, 다음 해에는 에이전트를 내놓으려 한다는 소식도 전합니다. 여기서 말하는 시점은 영상이 제작된 당시의 전망입니다.

⏱ 00:51에이전트도 문제를 단계적으로 분석해 풉니다. 여기에 AI가 직접 자율적으로 판단할 수 있도록 만드는 방식을 더합니다. 강연자는 이를 의지나 자아 같은 것을 넣는다고 비유합니다. 핵심은 일반적인 LLM 호출보다 어렵고 복잡한 문제를 해결할 수 있게 하려는 것입니다. 실제 업무에 쓸 만한 인간 같은 AI를 만들고 싶다면 에이전트 기술을 살펴볼 만합니다.

⏱ 01:12어떻게 만들고 써야 할지 모르겠다면 Anthropic에서 나온 에이전트 제작 가이드를 참고할 수 있습니다. 꼭 복잡한 프레임워크부터 쓸 필요는 없습니다. 프로그래밍의 기본 문법을 알면 직접 만들 수 있다는 것이 강연자의 설명입니다. 이후에는 체인, 라우팅, 병렬화, 관리자와 작업자, 평가자와 개선자라는 여러 방법을 순서대로 소개합니다.

⏱ 01:23에이전트를 만들기 위한 가장 기본적인 기술은 체인입니다. AI에 한 번에 보내던 요청을 잘게 쪼개 여러 개의 순차적인 요청으로 만듭니다. 한 번에 많은 것을 요구하면 결과의 질이 떨어지고 요구사항 일부가 빠질 수 있으므로, 나누어 요청해 정확도를 높이려는 것입니다. 강연자는 데이터를 수집할 때 상세 페이지 링크가 깨진 경우가 많아서 데이터를 정제하는 알고리즘을 작성해야 했던 경험을 예로 듭니다.

⏱ 01:56이런 정제 작업을 AI에 맡길 수도 있지만 요구사항이 많으면 중간에 뭔가를 빼먹습니다. 그럴 때는 요청을 한 번만 보내지 말고 차례로 여러 번 보내면 됩니다. 코드로 보면 먼저 GPT에 첫 번째 과정을 수행하라고 요청하고 결과를 받습니다. 이어 그 결과를 다음 입력으로 사용해 두 번째 과정을 수행하라고 다시 요청합니다. 이런 식으로 단계와 결과를 연결하면 한 번에 모든 것을 요구할 때보다 더 높은 정확도를 기대할 수 있습니다.

⏱ 02:26라우팅은 여러 종류의 프롬프트를 준비하고 어떤 프롬프트를 실행하는 것이 좋을지 AI가 판단하게 하는 방법입니다. 예를 들어 고객 상담을 처리할 때 고객의 문의 종류에 맞는 부서의 방식으로 답변해야 한다고 합시다. 부서별 답변 가이드를 긴 프롬프트 하나에 모두 넣어 답하게 할 수도 있지만, 가이드가 길면 AI가 어려워할 수 있습니다. 따라서 프롬프트를 부서별로 나누어 둡니다.

⏱ 02:59문의가 들어오면 먼저 AI에 어느 부서의 답변이 필요한지 구분하도록 요청합니다. 답변은 부서 이름 한 단어처럼 짧게 내도록 할 수 있습니다. 결과가 운영팀이라면 운영팀용 프롬프트를 선택해 다시 API 요청을 보냅니다. 이처럼 분기할 길을 준비하고 AI의 판단으로 적절한 길을 택하게 하는 것이 라우팅입니다.

⏱ 03:20병렬화(Parallelization)를 이용하면 요청을 동시에 보낼 수도 있습니다. 다양한 시각에서 글을 작성해야 한다면, 여러 관점의 글을 한 번의 요청으로 모두 쓰라고 하는 것보다 각각 별도의 요청을 보내 받아 온 다음 결과를 합치는 편이 더 좋은 결과를 낼 수 있다는 설명입니다. 코드를 작성할 때도 각 요청을 독립적으로 실행하고 나중에 모으는 구조로 만들 수 있습니다.

체인이 앞 단계의 결과를 받아 다음 단계로 넘어가는 순차적인 방식이라면, 이 경우에는 각 관점을 따로 요청하고 결과를 결합합니다. 강연자는 이를 여러 결과를 가져와 짜깁기하는 방식으로 설명합니다. 중요한 것은 큰 요청 하나에 모든 역할을 몰아넣는 대신 작업의 성격에 맞게 여러 요청을 조직하는 것입니다.

⏱ 03:38어떤 문제는 무엇을 해야 답이 나오는지 처음부터 명확하지 않습니다. 이럴 때는 관리자 역할의 AI와 실제 글을 작성하는 작업자 역할의 AI를 각각 만들 수 있습니다. 강연에서는 작업자를 노예 역할이라고 부르기도 합니다. 게임 캐릭터 하나를 기획해야 하는데 처음이라 어떤 내용을 적어야 할지 모르는 상황을 생각해 봅시다. 필요한 항목을 모르니 AI에게 구체적인 작성 지시를 주기도 어렵습니다.

⏱ 04:05먼저 관리자 AI에 어떤 내용을 적으면 좋을지 정해 달라고 요청합니다. 그러면 캐릭터의 성격, 외모, 능력, 배경 같은 항목을 제안할 수 있습니다. 그 결과를 받아 실제 작성 담당 AI에게 해당 내용대로 글을 쓰라고 시킵니다. 관리자와 작업자를 따로 두면 AI가 문제를 분석하고 해결 과정을 구성하도록 만들 수 있습니다. 코딩에서도 어떤 일을 해야 버그가 해결될지 미리 알기 어려운 경우에 이런 구조가 유용할 수 있습니다.

⏱ 04:39AI가 다른 AI에 피드백을 주어 품질을 높이는 방법도 있습니다. 예를 들어 영어를 한국어로 번역해야 하는데 그냥 번역하라고 했더니 결과가 만족스럽지 않다면, 먼저 명확한 평가 기준을 정합니다. 다음으로 그 기준을 잘 지키는지 판단하는 평가자 AI를 만듭니다. 기준에 맞으면 다음으로 진행하고, 맞지 않으면 다시 작업하도록 구성합니다.

⏱ 05:04번역 결과를 평가자에게 보낸 뒤 통과할 때까지 계속 번역을 수정하게 하는 것입니다. 이런 방식으로 스스로 판단하고 생각하는 것처럼 작동하는 AI를 만들 수 있습니다. 다만 강연자는 성공 기준이 명확한 문제에서 쓰는 편이 좋겠다고 덧붙입니다. 무엇이 좋은 결과인지 정할 수 있어야 피드백의 방향도 정할 수 있기 때문입니다.

⏱ 05:18앞서 소개한 기능을 하나씩 넣으면 사람처럼 여러 작업을 수행하는 에이전트를 구성할 수 있습니다. AI가 컴퓨터 자원을 직접 사용하도록 만드는 방법도 있습니다. 다만 안정성이 떨어질 수 있고 보안 문제도 생길 수 있다고 설명합니다. 대표적인 예가 프롬프트 인젝션입니다. 누군가 웹페이지에 몰래 지시문을 적어 두면 인터넷을 돌아다니던 에이전트가 그것을 읽고 실행해 버리는 경우가 있다는 것입니다.

따라서 AI가 자료를 읽고 도구를 쓰도록 할 때는 단순히 기능만 늘리는 것으로 끝나지 않습니다. 강연자가 소개한 보안상의 문제 역시 함께 살펴볼 필요가 있습니다. 이 부분은 에이전트가 더 다양한 환경에서 움직일 수 있게 되는 대신, 웹페이지의 악의적인 지시에도 노출될 수 있다는 한계를 설명하는 대목입니다.

⏱ 05:43직접 구조를 모두 만들기 번거롭다면 프레임워크에서 출발해도 됩니다. 강연에서는 크루라는 가상의 직원들을 쉽게 만들고 역할을 부여하는 예를 보여 줍니다. 크루마다 역할을 정한 다음 필요할 때 호출하도록 코드를 작성하면 직원을 부리는 듯한 느낌으로 사용할 수 있습니다. 프레임워크를 쓰면 여러 편의 기능도 쉽게 사용할 수 있습니다. 외부 검색 같은 기능을 연결하는 것이 그 예입니다.

⏱ 06:06실행해 보면 에이전트가 여러 태스크를 수행해 옵니다. 강연자는 평소 GPT만 사용하던 사람도 에이전트 기술이 발전했으니 시도해 볼 만하다고 권합니다. 코딩 지식이 아주 많이 필요한 것도 아니라는 설명입니다. 마지막에는 이런 것을 만들고 AGI를 만들었다고 하면서 투자를 받아도 되겠다는 농담으로 강연을 마칩니다.