생성형 AI 입문

⏱ 10:55생성형 AI는 기존 콘텐츠의 구조와 패턴을 학습해 텍스트·이미지·오디오·동영상·코드 등 새로운 콘텐츠를 만드는 기술이다. AI 안에 머신러닝과 딥러닝이 위치하며, 지도 학습은 레이블로 예측을 배우고 비지도 학습은 데이터의 집단을 발견한다. 음식점 계산액과 주문 방식으로 팁을 예측하거나, 근속 기간과 소득으로 직원을 군집화하는 사례가 이를 보여 준다. 준지도 학습은 소량의 레이블 데이터와 대량의 비레이블 데이터를 함께 쓴다.

⏱ 06:06판별 모델은 특징과 레이블의 관계를 학습해 개와 고양이를 구분하고, 생성 모델은 데이터의 확률분포를 학습해 새 개 그림을 만들 수 있다. 언어 모델은 문맥에서 다음 내용을 예측하며, 땅콩버터 샌드위치 문장 완성이나 Bard의 질의응답이 예시다. 트랜스포머의 인코더·디코더가 소개되며, 부족하거나 오염된 훈련 데이터, 문맥·제약 부족은 환각을 일으켜 잘못된 정보를 생성할 수 있다. 원하는 출력을 얻으려면 프롬프트 설계가 중요하다.

⏱ 15:32모델은 텍스트를 텍스트·이미지·동영상·3차원 물체·작업으로 바꾼다. 기반 모델은 대규모 사전 훈련 후 감성 분석·이미지 설명·객체 인식 등에 맞춰 조정한다. 실습에서는 Bard로 파일 이름과 생성 시간 열을 가진 pandas DataFrame을 JSON으로 변환하고 코드를 Colab으로 내보낸다. 코드 디버깅·설명·SQL 작성·언어 변환·문서화도 가능하다. Google Cloud의 Generative AI Studio, App Builder, PaLM API와 MakerSuite는 모델 탐색·조정·배포, 코드 없는 앱 제작, 실험과 성능 모니터링을 지원한다.

⏱ 00:00안녕하세요. 「생성형 AI 입문」에 오신 것을 환영합니다. 저는 Google Cloud에서 인공지능 기술 교육과정을 개발하는 그웬돌린 스트리플링 박사입니다. 이 과정에서는 생성형 AI를 정의하고, 생성형 AI의 작동 방식을 설명하며, 생성형 AI 모델의 종류와 활용 분야를 알아봅니다. 생성형 AI는 텍스트, 이미지, 오디오, 합성 데이터 등 여러 종류의 콘텐츠를 만들어 낼 수 있는 인공지능 기술입니다.

⏱ 00:39그렇다면 인공지능이란 무엇일까요? 생성형 인공지능을 살펴보기에 앞서 배경부터 정리하겠습니다. 자주 나오는 두 질문은 ‘인공지능이란 무엇인가?’와 ‘AI와 머신러닝은 어떻게 다른가?’입니다. AI를 물리학과 같은 하나의 학문 분야라고 생각하면 이해하기 쉽습니다. AI는 추론하고 학습하며 자율적으로 행동할 수 있는 시스템, 즉 지능형 에이전트를 만드는 컴퓨터과학의 한 분야입니다. 본질적으로 사람이 생각하고 행동하는 것처럼 작동하는 기계를 만드는 이론과 방법을 다룹니다.

⏱ 01:30이 학문 안에는 AI의 하위 분야인 머신러닝이 있습니다. 머신러닝은 입력 데이터로 모델을 훈련하는 프로그램이나 시스템입니다. 훈련된 모델은 훈련에 사용한 것과 같은 종류의 데이터에서 나온 새 데이터나 한 번도 보지 못한 데이터에 대해서도 유용한 예측을 할 수 있습니다. 컴퓨터가 명시적으로 프로그래밍되지 않고도 학습할 수 있게 하는 것입니다. 대표적인 머신러닝 모델의 두 부류는 지도 학습과 비지도 학습입니다. 핵심 차이는 지도 학습에는 레이블이 있다는 점입니다. 레이블이 있는 데이터에는 이름, 종류, 숫자 같은 표지가 붙어 있고, 레이블이 없는 데이터에는 이런 표지가 없습니다.

⏱ 02:19화면의 그래프는 지도 학습 모델이 해결할 수 있는 문제의 예입니다. 여러분이 음식점 주인이라고 가정해 보겠습니다. 과거의 계산서 금액과 손님별 팁 금액이 있고, 주문을 직접 찾아갔는지 배달받았는지도 기록되어 있습니다. 지도 학습에서는 과거 사례를 학습해 미래의 값을 예측합니다. 이 사례에서 예측할 값은 팁입니다. 모델은 총 계산 금액을 사용하고, 주문이 포장 수령인지 배달인지에 따라 앞으로 받을 팁 금액을 예측합니다.

⏱ 02:55다음은 비지도 학습 모델이 해결하려는 문제의 예입니다. 직원들의 근속 기간과 소득을 살펴본 다음, 직원들을 집단으로 묶거나 군집화해 누가 빠른 승진 경로에 있는지 알아보려 합니다. 비지도 학습 문제의 핵심은 발견입니다. 원시 데이터를 살펴보고 그 데이터가 자연스럽게 몇 개의 집단으로 나뉘는지를 찾는 것입니다. 앞서 정답이 붙은 과거 사례로 팁을 예측했던 문제와 함께, 이러한 개념을 이해하는 것이 생성형 AI를 이해하는 토대가 됩니다.

⏱ 03:20조금 더 깊이 들어가 그림으로 살펴보겠습니다. 지도 학습에서는 테스트 데이터의 값, 즉 X를 모델에 입력합니다. 모델은 예측을 출력하고, 그 예측을 모델 훈련에 사용한 훈련 데이터와 비교합니다. 예측한 테스트 데이터의 값과 실제 훈련 데이터의 값이 크게 다르면 이를 오차라고 합니다. 모델은 예측값과 실제 값이 서로 가까워질 때까지 이 오차를 줄이려고 합니다. 이것이 전형적인 최적화 문제입니다. 지금까지 AI와 머신러닝의 차이, 지도 학습과 비지도 학습의 차이를 살펴봤으니, 이제 머신러닝 방법의 하위 집합으로서 딥러닝이 어디에 들어가는지 간단히 보겠습니다.

⏱ 04:19머신러닝은 다양한 기법을 포함하는 넓은 분야인 반면, 딥러닝은 인공 신경망을 사용하는 머신러닝의 한 종류입니다. 인공 신경망 덕분에 전통적인 머신러닝보다 더 복잡한 패턴을 처리할 수 있습니다. 인공 신경망은 인간의 뇌에서 영감을 받았습니다. 서로 연결된 수많은 노드, 즉 뉴런으로 이루어져 있으며, 데이터를 처리하고 예측하면서 과제를 수행하는 법을 학습합니다. 딥러닝 모델은 보통 뉴런 층이 여러 개이므로 전통적인 머신러닝 모델보다 더 복잡한 패턴을 배울 수 있습니다.

⏱ 04:55신경망은 레이블이 있는 데이터와 없는 데이터를 함께 사용할 수도 있습니다. 이를 준지도 학습이라고 합니다. 준지도 학습에서는 소량의 레이블 데이터와 대량의 비레이블 데이터로 신경망을 훈련합니다. 레이블 데이터는 과제의 기본 개념을 배우도록 돕고, 비레이블 데이터는 새로운 사례에 일반화하도록 돕습니다. 이제 AI라는 학문 안에서 생성형 AI가 어디에 속하는지에 도달했습니다. 생성형 AI는 딥러닝의 하위 집합이므로 인공 신경망을 사용하며, 지도·비지도·준지도 학습 방법을 통해 레이블 데이터와 비레이블 데이터를 모두 처리할 수 있습니다. 대규모 언어 모델 역시 딥러닝의 하위 집합입니다.

⏱ 05:50딥러닝 모델, 더 넓게는 머신러닝 모델 전반을 생성 모델과 판별 모델이라는 두 종류로 나눌 수 있습니다. 판별 모델은 데이터 포인트의 레이블을 분류하거나 예측하는 모델입니다. 보통 레이블이 있는 데이터 포인트의 집합으로 훈련하며, 각 데이터 포인트의 특징과 레이블 사이의 관계를 학습합니다. 훈련을 마친 판별 모델은 새로운 데이터 포인트의 레이블을 예측할 수 있습니다. 생성 모델은 기존 데이터에서 학습한 확률분포를 바탕으로 새로운 데이터 사례를 만듭니다. 따라서 생성 모델은 새로운 콘텐츠를 생성합니다.

⏱ 06:37여기 있는 예를 보겠습니다. 판별 모델은 입력 X가 주어졌을 때 출력 Y의 확률, 즉 조건부 확률분포를 학습합니다. 이를 통해 이것이 개일 확률을 배우고, 고양이가 아니라 개로 분류합니다. 생성 모델은 X와 Y의 확률인 결합확률분포를 학습하고, 이것이 개라는 조건부 확률을 예측한 뒤 개 그림을 생성할 수도 있습니다. 정리하면 생성 모델은 새로운 데이터 사례를 만들 수 있고, 판별 모델은 서로 다른 종류의 데이터 사례를 구별합니다.

⏱ 07:20위쪽 그림의 전통적인 머신러닝 모델은 데이터와 레이블, 즉 예측하려는 대상 사이의 관계를 학습하려 합니다. 아래쪽 그림의 생성형 AI 모델은 새로운 콘텐츠를 생성하기 위해 콘텐츠의 패턴을 학습하려 합니다. 이 그림을 보면 무엇이 생성형 AI인지 구분하기 쉽습니다. 출력, 즉 Y 또는 레이블이 숫자이거나 ‘스팸/스팸 아님’ 같은 클래스이거나 확률이라면 생성형 AI가 아닙니다. 반면 출력이 말이나 글 같은 자연어, 이미지 또는 오디오라면 생성형 AI에 해당합니다.

⏱ 08:07이를 수학으로 나타내면 `Y = f(X)`입니다. 오랜만에 보는 분을 위해 설명하면, 이 식은 서로 다른 입력이 주어졌을 때 그 과정에 종속되는 출력을 계산합니다. Y는 모델의 출력이고, f는 계산에 쓰이는 함수이며, X는 식에 사용되는 하나 이상의 입력입니다. 따라서 모델 출력은 모든 입력의 함수입니다. Y가 예상 매출액 같은 숫자라면 생성형 AI가 아닙니다. ‘매출을 정의해 줘’라는 요청처럼 Y가 문장이라면 생성형입니다. 질문이 텍스트 답변을 이끌어 내기 때문입니다. 이 답변은 모델이 이미 훈련받은 방대한 데이터를 바탕으로 만들어집니다.

⏱ 08:58전체적으로 정리해 보겠습니다. 전통적인 지도·비지도 학습 과정에서는 훈련 코드와 레이블 데이터를 받아 모델을 만듭니다. 모델은 활용 사례나 문제에 따라 값을 예측하거나, 무언가를 분류하거나, 군집화할 수 있습니다. 이 예를 통해 생성형 AI의 과정이 얼마나 더 폭넓은 일을 할 수 있는지 보여 드리려 합니다. 생성형 AI 과정은 훈련 코드와 함께 모든 데이터 유형의 레이블 데이터 및 비레이블 데이터를 받아 기반 모델을 만들 수 있습니다. 기반 모델은 이후 텍스트, 코드, 이미지, 오디오, 동영상 같은 새로운 콘텐츠를 생성할 수 있습니다.

⏱ 09:42전통적인 프로그래밍에서 신경망을 거쳐 생성 모델에 이르기까지 우리는 먼 길을 왔습니다. 전통적인 프로그래밍에서는 고양이를 구별하기 위한 규칙을 직접 코드에 넣어야 했습니다. 종류는 동물, 다리는 네 개, 귀는 두 개, 털이 있고, 털실과 캣닙을 좋아한다는 식입니다. 신경망의 시대에는 고양이와 개 사진을 신경망에 주고 ‘이것이 고양이인가?’라고 물으면 고양이라고 예측하게 할 수 있었습니다. 생성형 기술의 시대에는 사용자 스스로 텍스트, 이미지, 오디오, 동영상 등 원하는 콘텐츠를 만들 수 있습니다.

⏱ 10:18예를 들어 PaLM(Pathways Language Model)이나 LaMDA(Language Model for Dialogue Applications) 같은 모델은 인터넷의 여러 출처에서 매우 방대한 데이터를 받아 기반 언어 모델을 구축합니다. 우리는 질문하기만 하면 이런 모델을 사용할 수 있습니다. 프롬프트에 질문을 타이핑해도 되고 음성으로 말해도 됩니다. 따라서 ‘고양이가 뭐야?’라고 물으면 모델은 고양이에 관해 학습한 모든 것을 답변으로 제공할 수 있습니다.

⏱ 10:52이제 생성형 AI를 정식으로 정의해 보겠습니다. 생성형 AI란 기존 콘텐츠에서 학습한 내용을 바탕으로 새로운 콘텐츠를 만드는 인공지능의 한 종류입니다. 기존 콘텐츠에서 배우는 과정을 훈련이라고 하며, 그 결과 통계 모델이 만들어집니다. 프롬프트가 주어지면 생성형 AI는 이 모델로 예상되는 응답이 무엇일지 예측하고, 이를 통해 새로운 콘텐츠를 생성합니다. 본질적으로 데이터의 밑바탕에 있는 구조를 배운 다음 훈련 데이터와 유사한 새로운 표본을 만들어 내는 것입니다.

⏱ 11:29앞서 말했듯 생성형 언어 모델은 제시된 예시에서 학습한 것을 가져와 그 정보를 바탕으로 완전히 새로운 것을 만들 수 있습니다. 대규모 언어 모델은 자연스럽게 들리는 언어 형태로 새로운 텍스트 조합을 생성하므로 생성형 AI의 한 종류입니다. 생성형 이미지 모델은 이미지를 입력받아 텍스트, 다른 이미지 또는 동영상을 출력할 수 있습니다. 예를 들어 텍스트 출력으로는 시각적 질의응답을 할 수 있고, 이미지 출력으로는 이미지의 빠진 부분을 완성하며, 동영상 출력으로는 애니메이션을 생성합니다.

⏱ 12:16생성형 언어 모델은 텍스트를 입력받아 더 많은 텍스트, 이미지, 오디오 또는 의사결정을 출력할 수 있습니다. 예를 들어 텍스트 출력에서는 질의응답이 생성되고, 이미지 출력 항목에서는 동영상이 생성된다고 설명합니다. 생성형 언어 모델은 훈련 데이터를 통해 언어의 패턴을 배운 뒤, 어떤 텍스트가 주어지면 다음에 무엇이 올지 예측합니다. 따라서 생성형 언어 모델은 패턴을 맞추는 시스템이라고 할 수 있습니다. 제공된 데이터를 바탕으로 패턴을 학습하는 것입니다.

⏱ 12:54예를 하나 보겠습니다. 모델은 훈련 데이터에서 배운 내용을 바탕으로 ‘나는 땅콩버터와 …를 넣어 샌드위치를 만들고 있어’라는 문장을 어떻게 완성할지 예측하며, 그 뒤에 ‘젤리’가 이어집니다. 같은 예시를 Bard에서도 보여 줍니다. Bard는 방대한 텍스트 데이터로 훈련되어 다양한 프롬프트와 질문에 응답하면서 사람처럼 의사소통하고 텍스트를 생성할 수 있습니다. 또 다른 예시는 ‘삶의 의미는 …’입니다. Bard는 문맥에 맞는 답을 제시한 다음, 확률이 가장 높은 응답을 보여 줍니다.

⏱ 13:34생성형 AI의 힘은 트랜스포머(Transformer)의 사용에서 나옵니다. 트랜스포머는 2018년 자연어 처리의 혁명을 일으켰습니다. 개괄적으로 트랜스포머 모델은 인코더와 디코더로 이루어집니다. 인코더는 입력 시퀀스를 인코딩하여 디코더로 전달합니다. 디코더는 해당 과제에 맞게 그 표현을 어떻게 디코딩할지 학습합니다.

⏱ 13:57트랜스포머에서 환각(hallucination)이란 모델이 생성한 단어나 구절 중 종종 의미가 없거나 문법적으로 잘못된 것을 말합니다. 환각에는 여러 원인이 있을 수 있습니다. 모델이 충분한 데이터로 훈련되지 않았거나, 잡음이 많고 정제되지 않은 데이터로 훈련되었거나, 충분한 문맥을 제공받지 못했거나, 충분한 제약을 받지 못했을 수 있습니다. 환각은 출력 텍스트를 이해하기 어렵게 만들기 때문에 트랜스포머에서 문제가 될 수 있습니다. 또한 모델이 틀리거나 오해를 부르는 정보를 생성할 가능성을 높일 수도 있습니다.

⏱ 14:45프롬프트는 대규모 언어 모델에 입력으로 주는 짧은 텍스트이며, 여러 방식으로 모델의 출력을 조절하는 데 사용할 수 있습니다. 프롬프트 설계란 대규모 언어 모델에서 원하는 출력을 얻을 프롬프트를 만드는 과정입니다. 앞서 말했듯 생성형 AI는 입력한 훈련 데이터에 크게 의존하며, 입력 데이터의 패턴과 구조를 분석하면서 학습합니다. 하지만 브라우저에서 프롬프트를 입력할 수 있다면 사용자도 직접 자신의 콘텐츠를 생성할 수 있습니다.

⏱ 15:26지금까지 데이터에 따른 입력의 종류를 그림으로 살펴봤으니, 이제 그에 대응하는 모델의 종류를 보겠습니다. 텍스트를 텍스트로 바꾸는 모델(text-to-text)은 자연어를 입력받아 텍스트를 출력합니다. 이런 모델은 한 쌍의 텍스트 사이의 대응 관계를 학습하도록 훈련됩니다. 예를 들어 한 언어에서 다른 언어로 번역하는 경우가 여기에 해당합니다.

⏱ 15:47텍스트를 이미지로 바꾸는 모델(text-to-image)은 각 이미지에 짧은 설명문이 붙어 있는 대규모 이미지 집합으로 훈련됩니다. 이를 구현하는 방법 중 하나가 확산(diffusion)입니다. 텍스트를 동영상으로 바꾸는 모델(text-to-video)은 텍스트 입력을 영상으로 표현하는 것이 목표입니다. 입력은 한 문장에서 전체 대본에 이르기까지 다양하며, 출력은 그 입력에 해당하는 동영상입니다. 마찬가지로 텍스트를 3차원으로 바꾸는 모델(text-to-3D)은 사용자의 설명에 해당하는 3차원 물체를 생성합니다. 게임이나 다른 3차원 세계에서 활용할 수 있습니다.

⏱ 16:33텍스트를 작업으로 바꾸는 모델(text-to-task)은 텍스트 입력에 따라 정해진 과제나 행동을 수행하도록 훈련됩니다. 질문에 답하기, 검색하기, 예측하기, 특정 행동을 실행하기 등 매우 다양한 일이 포함될 수 있습니다. 예를 들어 웹 사용자 인터페이스를 탐색하거나 그래픽 사용자 인터페이스(GUI)를 통해 문서를 수정하도록 모델을 훈련할 수 있습니다.

⏱ 17:03기반 모델(foundation model)은 방대한 양의 데이터로 사전 훈련한 대규모 AI 모델입니다. 감성 분석, 이미지 캡션 작성, 객체 인식과 같은 폭넓은 후속 과제에 맞춰 조정하거나 미세 조정할 수 있도록 설계됩니다. 기반 모델은 의료, 금융, 고객 서비스 등 여러 산업에 혁신을 가져올 잠재력이 있습니다. 사기를 탐지하거나 개인화된 고객 지원을 제공하는 데 사용할 수 있습니다. Vertex AI는 이런 기반 모델들을 포함하는 Model Garden을 제공합니다. 언어 기반 모델에는 채팅과 텍스트를 위한 PaLM API가 포함됩니다. 시각 기반 모델에는 텍스트 설명에서 고품질 이미지를 생성하는 데 효과가 있는 것으로 알려진 Stable Diffusion이 포함됩니다. 이제 여러분에게 어떤 활용 사례가 있다고 가정해 보겠습니다.

⏱ 18:01고객이 여러분의 제품이나 서비스를 어떻게 느끼는지 감정을 수집해야 한다면, 바로 그 목적에 맞는 분류 과제인 감성 분석용 과제 모델을 사용할 수 있습니다. 공간의 점유 현황을 분석해야 한다면 어떨까요? 이 활용 사례에도 맞는 과제 모델이 있습니다. 화면에는 생성형 AI의 활용 분야가 나와 있습니다. 위쪽의 ‘코드’ 항목 아래 두 번째 블록에 있는 코드 생성 예시를 살펴보겠습니다.

⏱ 18:31이 예시에서는 Python에서 JSON으로 변환하는 코드 파일 변환 문제를 입력했습니다. Bard의 프롬프트 상자에 이렇게 적습니다. ‘pandas DataFrame에 두 개의 열이 있습니다. 하나는 파일 이름이고, 다른 하나는 해당 파일이 생성된 시간입니다. 이것을 화면에 표시된 형식의 JSON 파일로 변환하려고 합니다.’ Bard는 필요한 단계와 코드 조각을 돌려줍니다. 그 결과 JSON 형식의 출력을 얻습니다. 여기서 더 편리해집니다. 저는 Google이 무료로 제공하는 브라우저 기반 Jupyter 노트북인 Colab을 사용하고 있으므로 Python 코드를 Google Colab으로 내보내기만 하면 됩니다.

⏱ 19:21정리하면 Bard의 코드 생성 기능은 소스 코드의 오류를 찾아 수정하는 일을 도울 수 있습니다. 코드를 한 줄씩 설명하거나, 데이터베이스에 사용할 SQL 쿼리를 작성하거나, 코드를 한 언어에서 다른 언어로 변환하는 데도 도움이 됩니다. 소스 코드를 위한 문서와 튜토리얼도 생성할 수 있습니다.

⏱ 19:42Generative AI Studio를 사용하면 Google Cloud의 애플리케이션에서 활용할 생성형 모델을 빠르게 탐색하고 맞춤 설정할 수 있습니다. 이 도구는 개발자가 생성형 AI 모델을 만들고 배포하도록 돕고, 쉽게 시작할 수 있는 다양한 도구와 자료를 제공합니다. 예를 들어 사전 훈련된 모델의 라이브러리, 모델 미세 조정 도구, 모델을 실제 운영 환경에 배포하는 도구가 있습니다. 개발자가 아이디어를 공유하고 협업할 수 있는 커뮤니티 포럼도 있습니다.

⏱ 20:20Generative AI App Builder를 사용하면 코드를 작성하지 않고도 생성형 AI 앱을 만들 수 있습니다. 드래그 앤 드롭 인터페이스로 앱을 쉽게 설계하고 구축하며, 시각적 편집기로 앱 콘텐츠를 만들고 수정할 수 있습니다. 내장 검색 엔진은 사용자가 앱 안의 정보를 찾게 해 주고, 대화형 AI 엔진은 자연어로 앱과 상호작용하도록 돕습니다. 이를 통해 자신만의 디지털 비서, 맞춤 검색 엔진, 지식 베이스, 교육용 애플리케이션 등 다양한 것을 만들 수 있습니다.

⏱ 21:01PaLM API는 Google의 대규모 언어 모델과 생성형 AI 도구를 시험하고 실험하게 해 주므로, 프로토타입을 더 빠르고 쉽게 만들 수 있습니다. 개발자는 PaLM API를 MakerSuite와 통합하고 그래픽 사용자 인터페이스로 API에 접근할 수 있습니다. 이 도구 모음에는 모델 훈련, 모델 배포, 모델 모니터링 등 여러 도구가 포함됩니다. 훈련 도구는 다양한 알고리즘으로 개발자의 데이터를 사용해 머신러닝 모델을 훈련하도록 돕습니다. 배포 도구는 여러 배포 옵션을 통해 머신러닝 모델을 운영 환경에 배포하도록 돕습니다. 모니터링 도구는 대시보드와 다양한 지표로 운영 중인 머신러닝 모델의 성능을 살펴보도록 돕습니다. 「생성형 AI 입문」 과정을 시청해 주셔서 감사합니다.