실시간 비전 에이전트: 스냅샷, 스트림, Gemini Live API

이 영상은 Gemini 라이브 에이전트에 시각 입력을 더하는 방법을 다룹니다. 이미지는 블롭이라는 데이터 패키지로 전달되며, 한 장을 보내는 스냅샷과 연속 프레임을 보내는 스트림 중 목적에 맞게 고르는 것이 핵심입니다. 기본은 스냅샷이고, 음성과 비전은 한 세션에서 함께 동작하며 프레임은 선택적으로 보내야 한다고 정리합니다.

⏱ 00:00Gemini 라이브 에이전트는 음성만 쓰는 것이 아니라 이미지도 함께 받을 수 있습니다. 발표자는 강아지 인형과 Google 로고가 달린 야구 모자를 카메라에 보여 주며 에이전트가 무엇을 보는지 확인하는 장면으로 시작합니다.

이 영상은 이미지가 모델에 입력되는 방식, 단일 프레임을 보내는 경우와 연속 프레임을 보내는 경우, 그리고 비전이 라이브 오디오와 어떻게 함께 동작하는지를 다루겠다고 예고합니다.

⏱ 00:37에이전트에게 이미지는 사람이 보는 사진이 아니라 몇 바이트의 데이터와 MIME 타입으로 이루어진 작은 패키지입니다. 이 패키지를 블롭(blob)이라 부르며, JPEG 이미지도 이 형태로 전달됩니다. 같은 라이브 세션에서 오디오 청크와 이미지 블롭이 함께 오갈 수 있어, 모델은 같은 대화 안에서 서로 다른 종류의 입력을 받는 구조로 이해하면 됩니다.

프레임 하나가 전달되는 과정은 카메라로 사진을 찍고, 캔버스에 그린 뒤, JPEG로 변환하고, 백엔드가 이를 블롭으로 감싸 모델에 보내는 순서입니다. 여기서 말하는 라이브 비디오는 MP4 같은 영화 파일이 아니라 시간에 따라 도착하는 정지 이미지, 즉 프레임의 연속이라는 점이 핵심입니다.

⏱ 02:12발표자는 먼저 흔한 오해를 바로잡습니다. 하나는 라이브 비디오가 영상 파일이라는 생각이고, 다른 하나는 Gemini API용 SDK가 오디오 전용이라는 생각입니다. 실제로 SDK는 기본 Gemini API 위에서 동작하므로, 라이브 세션이 이미지 블롭을 받을 수 있다면 SDK로 만든 에이전트도 같은 경로를 쓸 수 있습니다.

1부의 핵심은 에이전트가 이미지 블롭을 받아 보고, 라이브 비디오는 파일이 아니라 프레임이라는 것입니다.

⏱ 02:21프레임을 보내는 방법은 두 가지입니다. 첫째는 스냅샷으로, 사용자가 '이거 봐'라고 말하며 의도적으로 이미지 한 장을 보내는 방식입니다. 모델은 이 이미지를 이후 대화의 일부로 활용합니다. 옷차림, 문서, 특정 동작 뒤의 브라우저 화면처럼 장면이 대체로 정지해 있을 때 적절한 기본값이라고 설명합니다.

둘째는 스트림으로, 카메라가 대화 중에 계속 이미지를 전송하는 방식입니다. 누군가 방을 가로질러 움직이는 것처럼 세상이 스스로 변할 때 유용하며, 에이전트가 한 번 보는 것이 아니라 지속적으로 인식해야 할 때 쓰입니다. 발표자는 규칙을 이렇게 정리합니다. 살펴볼 순간에는 스냅샷을 찍고, 계속 지켜봐야 할 때만 스트리밍하라는 것입니다.

⏱ 03:37브라우저 에이전트가 페이지를 계속 스트리밍해야 한다고 생각하기 쉽지만, 발표자는 그렇지 않다고 말합니다. 앞선 브라우저 에피소드의 데모도 스냅샷 방식을 썼습니다. 에이전트가 클릭하거나 입력한 뒤 스크린샷 한 장을 모델에 보내는 것으로 충분했습니다. 브라우저 화면을 계속 흘려보내면 실시간 오디오 세션이 끊길 수 있으므로, 기본값은 스냅샷이고 장면이 실제로 바뀌어 지켜볼 필요가 있을 때만 스트리밍하라는 것입니다.

프레임마다 문맥과 토큰이 사용된다는 점도 같은 맥락에서 강조됩니다. 불필요한 프레임은 음성 대화를 방해할 수 있으므로, 2부의 요점은 스냅샷이 의도적 확인이고 스트림은 시간에 따른 프레임 전송이며, 대부분의 에이전트는 스냅샷으로 시작해야 한다는 것입니다.

⏱ 04:07음성과 비전은 둘 중 하나를 고를 필요가 없습니다. 같은 실시간 세션에서 사용자의 목소리를 듣고 이미지를 함께 받을 수 있습니다. '이게 뭐야?'라고 물으며 물건을 들어 올리거나, 카메라를 라벨에 비추고 '이게 뭐라고 쓰여 있어?'라고 묻는 식입니다. 말만으로는 '이것'과 '저것'이 무엇을 가리키는지 모호하지만, 이미지가 그 대상을 분명히 해 줍니다. 모델은 말한 내용과 본 내용을 결합해 두 신호를 함께 처리합니다.

스냅샷은 의도적인 순간이라 음성 순서를 기다리면 되고 음성을 방해하지 않습니다. 스트림은 백그라운드에서 이미지가 계속 도착하므로 강력하지만 신중히 써야 합니다. 한 번만 확인하면 된다면 스트리밍하지 말고, 지속적 인식이 필요하면 천천히 스트리밍하며 프레임 속도를 적절히 유지하라고 권합니다.

⏱ 05:27더 큰 규모에서는 대화용 모델과 감시용 비전 모델을 분리하는 패턴도 소개됩니다. 감시 모델이 위험, 제스처, 상태 변화 같은 특정 항목을 프레임에서 스캔하는 동안, 메인 에이전트는 모든 프레임을 처리하지 않고도 대화를 이어갈 수 있습니다. 에이전트가 항상 모든 것을 볼 필요는 없고, 적절한 순간에 올바른 시각 신호가 있으면 충분하다는 것이 3부의 요점입니다.

발표자는 시리즈를 정리하며 에이전트가 이미지 블롭으로 보고, 스냅샷과 스트림 중 목적에 맞는 방식을 고르며, 시각과 음성이 함께 의미를 이해한다고 요약합니다. 실용 규칙은 보기만 하면 스냅샷, 상황 변화를 지켜봐야 하면 스트림입니다. 음성 세션이 불안정하다면 프레임을 너무 많이 보내고 있을 가능성이 크다고 덧붙입니다. 시리즈 전체는 GenAI SDK 기반 라이브 음성 에이전트에서 시작해 ADK, 도구와 브라우저 제어, 기억, 그리고 비전까지 확장된 과정으로 소개되며, 다음 편에서는 전체 시리즈를 요약한다고 예고합니다.