AI 뒤의 수학, 쉽게 설명하기 (AI 엔지니어 제로부터 #2)

AI 계산은 마법이 아니라 곱셈과 덧셈을 반복하는 수학이며, 텍스트와 이미지 같은 데이터는 모두 숫자로 바뀌어 다뤄진다. 강의는 벡터와 내적으로 의미와 유사도를 재고, 행렬로 신경망 계산을 한 번에 처리하며, 확률과 소프트맥스로 다음 토큰을 고른다고 설명한다. 마지막으로 기울기와 역전파로 가중치를 조정해 학습하는 과정을 작은 예제로 보여 준다.

⏱ 00:00ChatGPT가 답변할 때 벌어지는 수많은 계산은 마법이 아니라 수학이다. 곱셈과 덧셈을 빠르게 반복해 가장 그럴듯한 선택지를 고르는 것이며, 이 원리는 네 가지 핵심 아이디어로 정리된다.

컴퓨터는 세상을 직접 보고 읽고 듣지 못하므로 AI는 먼저 모든 것을 숫자로 바꿔야 한다. 이미지는 픽셀마다 숫자가 든 격자이고, 텍스트는 토큰마다 ID 번호가 붙으며, 소리는 측정값의 나열이다. AI 모델은 입력을 받아 출력을 내는 거대한 함수로 볼 수 있고, 학습이란 그 함수 안의 숫자를 찾아 출력이 현실과 맞도록 만드는 일이다.

⏱ 03:22벡터는 숫자를 줄 세운 목록이다. 사람을 나이, 키, 커피 소비량 같은 숫자로 나타내면 벡터가 되고, 차원이 수천 개라도 수식은 같다. 두 벡터가 같은 방향을 가리키면 비슷한 것을 뜻한다.

AI는 단어를 벡터로 바꾸는데 이를 임베딩이라 한다. 개와 강아지는 가까이, 자동차는 멀리 놓인다. 두 벡터를 비교하는 가장 단순한 계산은 내적으로, 대응하는 숫자끼리 곱해 모두 더하면 된다. 영화 추천 예에서 취향 벡터와 액션 코미디 영화의 내적은 1.46, 로맨스 영화는 0.26이 나와 액션 코미디를 추천하게 된다. 이 내적 계산은 트랜스포머에서 어떤 단어에 주목할지 정할 때도 쓰이며, AI에서 가장 흔한 연산이다.

⏱ 06:54행렬은 벡터를 행과 열로 늘어놓은 숫자 격자로, 스프레드시트와 비슷하다. 행렬에는 모양이 있어 곱셈은 모양이 맞아야 가능하며, 이 모양 불일치가 AI 코드에서 가장 흔한 오류 중 하나다.

내적을 하나씩 계산하면 느리므로 벡터들을 행렬로 쌓아 한 번의 곱셈으로 여러 점수를 동시에 얻는다. 신경망의 각 층은 가중치라는 숫자 행렬이며, 이를 여러 층 쌓은 것이 딥러닝이다. 행렬 곱셈은 수천 번의 곱셈을 동시에 처리하는 GPU에 잘 맞아서 AI가 GPU 위에서 돌아간다.

⏱ 08:22확률은 0과 1 사이 숫자로 일이 일어날 가능성을 나타낸다. AI는 대개 확실하게 말하기보다 확률로 답한다. 스팸 필터는 97% 확신이라고 말하고, 언어 모델은 가능한 다음 토큰마다 확률을 준다.

모델 내부 점수는 합이 1이 아니므로 소프트맥스 함수로 확률로 바꾼다. 2, 1, 0.1 같은 점수는 약 66%, 24%, 10%가 된다. 모델은 높은 확률의 토큰을 고르되 약간의 무작위성을 섞으며, 이 정도를 정하는 설정이 온도다. 온도가 낮으면 정확하고, 높으면 창의적이지만 무작위성이 커진다.

통계에서는 평균과 표준편차로 데이터의 중심과 퍼짐을 본다. 학습 전에는 연봉처럼 큰 값이 작은 값을 묻지 않도록 데이터를 정규화한다.

⏱ 11:12네 번째 아이디어는 기울기로, 기계가 배우는 핵심이다. 안개 속 언덕에서 발밑 경사를 느끼며 내리막으로 조금씩 걸어 내려가는 것과 같다. AI는 먼저 틀린 정도를 손실로 재고, 모델 숫자의 설정마다 손실을 지형으로 본다.

기울기가 가리키는 방향으로 한 걸음씩 가는 방법이 경사하강법이다. 한 걸음의 크기인 학습률이 너무 작으면 느리고, 너무 크면 6.6, -1.3, 8.2처럼 튕겨 나가며 발산한다. 여러 층의 신경망에서는 각 가중치가 오차에 얼마나 기여했는지 출력에서 거슬러 계산하는 역전파가 필요하다. 케이크가 탔을 때 오븐, 믹서, 계량 중 누구 잘못인지 뒤에서부터 따지는 것과 비슷하다. 경사하강법은 내려갈 방향을, 역전파는 기울기를 효율적으로 계산하며, 둘이 합쳐져 현대 AI가 학습된다.

⏱ 14:07네 가지 아이디어를 묶어 아주 작은 모델이 학습하는 과정을 본다. 데이터는 X가 1일 때 Y가 3, 2일 때 5, 3일 때 7, 4일 때 9다. 모델은 Y = W × X + B 형태이고, 학습할 숫자는 W와 B 두 개뿐이다.

둘 다 0에서 시작해 처음에는 모든 입력에 0을 예측하며 손실은 41로 크다. 경사하강법을 반복하면 손실이 점점 줄고, 500번 뒤에는 W가 2, B가 1이 된다. 모델은 Y = 2X + 1 규칙을 스스로 찾았고, 본 적 없는 X = 10에 대해 21이라고 답한다. ChatGPT도 같은 원리이지만 가중치가 수십억 개이고 학습 데이터가 수조 개의 단어라는 점이 다르다.

⏱ 15:39이 아이디어들은 이후 강의에서 계속 나온다. 데이터 다루기에서는 통계와 정규화로 실제 데이터를 정리하고, 머신러닝에서는 확률로 예측을 평가한다. 딥러닝에서는 행렬 곱셈과 경사하강법, 역전파가 핵심 역할을 맡는다. LLM과 에이전트를 다루는 편에서는 벡터가 중심에 놓이게 된다.