대규모 언어 모델의 쉬운 이해: 영어 학습 노트

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant. 구동사

어떤 사람과 그들의 AI 어시스턴트 사이의 장면을 묘사한 짧은 영화 대본을 우연히 발견했다고 상상해 보세요.

The script has what the person asks the AI,

대본에는 사람이 AI에게 묻는 내용이 적혀 있지만,

but the AI's response has been torn off. 구동사

AI의 답변 부분은 찢겨져 나갔습니다.

Suppose you also have this powerful magical machine

그런데 여러분에게 어떤 텍스트든 입력받아 합리적인 예측을 제공하는

that can take any text and provide a sensible prediction

강력한 마법의 기계가 있다고 가정해 보겠습니다.

of what word comes next.

바로 다음에 어떤 단어가 올지를 예측하는 기계입니다.

You could then finish the script by feeding in what you have to the machine, 구동사

그렇다면 여러분이 가진 내용을 기계에 입력하여 대본을 완성할 수 있을 것입니다.

seeing what it would predict to start the AI's answer,

AI의 답변을 시작할 때 기계가 어떤 단어를 예측하는지 확인하고,

and then repeating this over and over 표현 묶음

그 과정을 계속해서 반복하며

with a growing script completing the dialogue.

대본을 늘려가며 대화를 완성해 나가는 것이죠.

When you interact with a chatbot,

여러분들이 챗봇과 상호작용할 때,

this is exactly what's happening.

이것이 정확히 일어나고 있는 일입니다.

A large language model is a sophisticated mathematical function

대규모 언어 모델은 정교한 수학적 함수입니다.

that predicts what word comes next for any piece of text.

어떤 텍스트 조각에 대해서든 다음에 올 단어를 예측하는 함수죠.

Instead of predicting one word with certainty, though,

하지만 하나의 단어를 확실하게 예측하는 대신,

what it does is assign a probability 문법

이 모델이 하는 일은 확률을 할당하는 것입니다.

to all possible next words.

다음에 올 수 있는 모든 단어들에 대해서 말이죠.

To build a chatbot,

챗봇을 만들기 위해,

what you do is lay out some text 구동사

여러분이 해야 할 일은 사용자와 가상의 AI 어시스턴트 사이의

that describes an interaction between a user and a hypothetical AI assistant.

상호작용을 묘사하는 텍스트를 배치하는 것입니다.

You add on whatever the user types in 구동사

사용자가 입력하는 모든 내용을

as the first part of that interaction,

그 상호작용의 첫 부분으로 추가합니다.

and then you have the model repeatedly predict the next word

그리고 나서 가상의 AI 어시스턴트가 답변으로 말할

that such a hypothetical AI assistant would say in response,

다음 단어를 모델이 반복적으로 예측하게 만들고,

and that's what's presented to the user.

그것이 바로 사용자에게 제시되는 내용입니다.

In doing this,

이 과정을 수행할 때,

the output tends to look a lot more natural 문법

결과물은 훨씬 더 자연스러워 보이는 경향이 있습니다.

if you allow it to select less likely words

만약 도중에 가능성이 낮은 단어들을

along the way at random. 표현 묶음

무작위로 선택하도록 허용한다면 말이죠.

So what this means is even though the model itself is deterministic, 문법

이것이 의미하는 바는 모델 자체는 결정론적일지라도,

a given prompt typically gives a different answer each time it's run. 어휘 쓰임

주어진 프롬프트는 일반적으로 실행될 때마다 매번 다른 답변을 내놓는다는 것입니다.

Models learn how to make these predictions

모델은 이러한 예측을 하는 방법을 학습합니다.

by processing an enormous amount of text,

엄청난 양의 텍스트를 처리함으로써 말이죠.

typically pulled from the internet.

보통 인터넷에서 가져온 텍스트입니다.

For a standard human to read the amount of text that was used to train GPT-3,

보통 사람이 GPT-3를 훈련시키는 데 사용된 양의 텍스트를 읽는다면,

for example,

예를 들어,

if they read non-stop 24/7,

연중무휴로 쉬지 않고 읽는다고 가정해도,

it would take over 2600 years.

2600년 이상이 걸릴 것입니다.

Larger models since then train on much, much more.

그 이후의 더 큰 모델들은 훨씬 더 많은 데이터로 훈련됩니다.

You can think of training a little bit like tuning the dials on a big machine. 문법

훈련을 거대한 기계의 다이얼을 조정하는 것과 비슷하다고 생각할 수 있습니다.

The way that a language model behaves

언어 모델이 행동하는 방식은

is entirely determined by these many different continuous values,

수많은 다양한 연속적인 값들에 의해 전적으로 결정됩니다.

usually called parameters or weights.

보통 매개변수나 가중치라고 불리죠.

Changing those parameters will change the probabilities

이 매개변수들을 변경하면 확률이 바뀝니다.

that the model gives for the next word on a given input.

주어진 입력에 대해 모델이 다음 단어로 제시하는 확률 말입니다.

What puts the large in large language model 관용구

대규모 언어 모델에서 '대규모'가 의미하는 것은

is how they can have hundreds of billions of these parameters.

이러한 매개변수들을 수천억 개나 가질 수 있다는 점입니다.

No human ever deliberately sets those parameters.

어떤 사람도 의도적으로 그 매개변수들을 설정하지 않습니다.

Instead, they begin at random,

대신, 그것들은 무작위로 시작하며,

meaning the model just outputs gibberish,

이는 모델이 처음에는 그저 아무 의미 없는 말만 출력한다는 것을 의미하지만,

but they're repeatedly refined based on many example pieces of text.

수많은 텍스트 예시들을 바탕으로 반복적으로 개선됩니다.

One of these training examples could be just a handful of words, 표현 묶음

이러한 훈련 예시들 중 하나는 단어 몇 개에 불과할 수도 있고,

or it could be thousands,

수천 개일 수도 있지만,

but in either case,

어느 경우든,

the way this works is to pass in all but the last word from that example 문법

이 방식은 그 예시의 마지막 단어를 제외한 모든 단어를

into the model and compare the prediction

모델에 통과시키고 그 모델이 만든 예측을

that it makes with the true last word from the example.

예시의 실제 마지막 단어와 비교하는 것입니다.

An algorithm called backpropagation is used to tweak all of the parameters

역전파라는 알고리즘이 모든 매개변수를 조정하는 데 사용됩니다.

in such a way that it makes the model 문법

모델이

a little more likely to choose the true last word

실제 마지막 단어를 선택할 가능성을 조금 더 높이고

and a little less likely to choose all the others.

다른 모든 단어들을 선택할 가능성을 조금 더 낮추는 방식으로 말이죠.

When you do this for many, many trillions of examples,

이 작업을 수조 개의 예시에 대해 반복하면,

not only does the model start to give more accurate predictions on the training data, 문법

모델은 훈련 데이터에서 더 정확한 예측을 하기 시작할 뿐만 아니라,

but it also starts to make more reasonable predictions

이전에 본 적 없는 텍스트에 대해서도

on text that it's never seen before.

더 합리적인 예측을 하기 시작합니다.

Given the huge number of parameters

매개변수의 거대한 숫자와

and the enormous amount of training data,

엄청난 양의 훈련 데이터를 고려할 때,

the scale of computation involved in training a large language model

대규모 언어 모델을 훈련하는 데 관련된 계산의 규모는

is mind-boggling. 어휘 쓰임

입이 떡 벌어질 정도입니다.

To illustrate, 전개 흐름

설명하자면,

imagine that you could perform 1 billion additions and multiplications

여러분이 10억 번의 덧셈과 곱셈을

every single second.

매초마다 수행할 수 있다고 상상해 보세요.

How long do you think that it would take

가장 큰 언어 모델들을 훈련하는 데 관련된

for you to do all of the operations

모든 연산을 여러분이 수행한다면

involved in training the largest language models?

시간이 얼마나 걸릴 것이라고 생각하시나요?

Do you think it would take a year?

1년 정도 걸릴 것 같나요?

Maybe something like 10,000 years?

아니면 만 년 정도?

The answer is actually much more than that.

정답은 실제로는 그보다 훨씬 깁니다.

It's well over 100 million years. 표현 묶음

1억 년이 훌쩍 넘게 걸리죠.

This is only part of the story, though. 관용구

하지만 이것은 이야기의 일부일 뿐입니다.

This whole process is called pretraining.

이 전체 과정을 사전 훈련(pretraining)이라고 부릅니다.

The goal of autocompleting a random passage of text from the internet

인터넷의 무작위 텍스트 구절을 자동 완성하는 목표는

is very different from the goal of being a good AI assistant.

훌륭한 AI 어시스턴트가 되는 목표와는 매우 다릅니다.

To address this, 전개 흐름

이를 해결하기 위해,

chatbots undergo another type of training, 표현 묶음

챗봇은 또 다른 유형의 훈련을 거칩니다.

just as important, called reinforcement learning with human feedback.

마찬가지로 중요한 이 과정은 인간 피드백 기반 강화 학습이라고 불립니다.

Workers flag unhelpful or problematic predictions, 어휘 쓰임

작업자들은 도움이 되지 않거나 문제 있는 예측에 표시를 하고,

and their corrections further change the model's parameters,

그들의 수정 사항은 모델의 매개변수를 추가로 변경하여,

making them more likely to give predictions

사용자가 선호하는 예측을

that users prefer.

제공할 가능성을 더 높게 만듭니다.

Looking back at the pretraining, though, 전개 흐름

그러나 다시 사전 훈련으로 돌아가서 보면,

this staggering amount of computation

이 엄청난 양의 계산은

is only made possible by using special computer chips 문법

특수한 컴퓨터 칩을 사용해야만 가능해집니다.

that are optimized for running many, many operations in parallel, 표현 묶음

아주 많은 연산을 병렬로 실행하는 데 최적화된 칩들로,

known as GPUs.

GPU라고 알려져 있죠.

However,

그러나,

not all language models can be easily parallelized.

모든 언어 모델이 쉽게 병렬화될 수 있는 것은 아닙니다.

Prior to 2017, 어휘 쓰임

2017년 이전에는,

most language models would process text one word at a time. 표현 묶음

대부분의 언어 모델은 텍스트를 한 번에 한 단어씩 처리했습니다.

But then,

하지만 그 무렵,

a team of researchers at Google

구글의 연구팀이

introduced a new model known as the Transformer.

트랜스포머(Transformer)로 알려진 새로운 모델을 도입했습니다.

Transformers don't read text from the start to the finish.

트랜스포머는 텍스트를 처음부터 끝까지 순서대로 읽지 않습니다.

They soak it all in at once, 구동사

그것들은 모든 것을 한 번에 흡수합니다.

in parallel.

병렬적으로요.

The very first step inside a Transformer,

트랜스포머 내부의 가장 첫 번째 단계는,

and most other language models for that matter, 전개 흐름

다른 대부분의 언어 모델에서도 마찬가지지만,

is to associate each word with a long list of numbers.

각 단어를 긴 숫자 목록과 연결하는 것입니다.

The reason for this is that the training process only works with continuous values, 문법

그 이유는 훈련 과정이 연속적인 값으로만 작동하기 때문입니다.

so you have to somehow encode language using numbers,

그래서 숫자를 사용하여 어떻게든 언어를 인코딩해야 하며,

and each of these lists of numbers

이 각각의 숫자 목록은

may somehow encode the meaning of the corresponding word.

해당 단어의 의미를 어떤 식으로든 인코딩할 수 있습니다.

What makes Transformers unique 문법

트랜스포머를 독특하게 만드는 것은

is their reliance on a special operation known as attention. 표현 묶음

어텐션(attention)으로 알려진 특별한 연산에 의존한다는 점입니다.

This operation gives all of these lists of numbers

이 연산은 이 모든 숫자 목록들에게

a chance to talk to one another 관용구

서로 대화할 수 있는 기회를 주고

and refine the meanings that they encode

주변 문맥을 기반으로

based on the context around,

그들이 인코딩하는 의미를 세분화합니다.

all done in parallel.

이 모든 과정은 병렬로 이루어집니다.

For example,

예를 들어,

the numbers encoding the word bank

'bank(은행/강둑)'라는 단어를 인코딩하는 숫자는

might be changed based on the context surrounding it

주변 문맥에 따라 변경되어

to somehow encode the more specific notion of a river bank.

'river bank(강둑)'라는 더 구체적인 개념을 어떤 식으로든 인코딩할 수 있습니다.

Transformers typically also include a second type of operation

트랜스포머는 일반적으로 두 번째 유형의 연산도 포함합니다.

known as a feed-forward neural network,

피드포워드 신경망으로 알려져 있으며,

and this gives the model extra capacity

이는 모델에게 훈련 중에 학습한 언어에 대한 더 많은 패턴을

to store more patterns about language learned during training.

저장할 수 있는 추가적인 용량을 제공합니다.

All of this data repeatedly flows through many different iterations

이 모든 데이터는 이 두 가지 기본적인 연산의

of these two fundamental operations,

많은 다양한 반복을 거쳐 반복적으로 흐르게 됩니다.

and as it does so, 전개 흐름

그리고 그 과정을 거치면서,

the hope is that each list of numbers

각 숫자 목록에 바라는 것은,

is enriched to encode whatever information might be needed 문법

필요할 수 있는 모든 정보를 인코딩하도록 풍부해지는 것입니다,

to make an accurate prediction

정확한 예측을 하기 위해,

of what word follows in the passage.

구절에서 다음에 어떤 단어가 올지에 대해 말이죠.

At the end,

마지막에,

one final function is performed on the last vector in this sequence,

이 시퀀스의 마지막 벡터에 대해 하나의 최종 함수가 수행됩니다.

which now has had a chance to be influenced by all the other context 문법

이 벡터는 이제 입력 텍스트의 다른 모든 문맥뿐만 아니라,

from the input text,

모델이 훈련 중에 학습한 모든 것으로부터

as well as everything the model learned during training,

영향을 받을 기회를 가졌으며,

to produce a prediction of the next word.

이를 바탕으로 다음 단어에 대한 예측을 생성합니다.

Again,

다시 한번 말하지만,

the model's prediction looks like a probability for every possible next word.

모델의 예측은 가능한 모든 다음 단어에 대한 확률의 형태를 띱니다.

Although researchers design the framework for how each of these steps work, 전개 흐름

연구자들이 이 각 단계가 어떻게 작동하는지에 대한 프레임워크를 설계하긴 하지만,

it's important to understand that the specific behavior is an emergent phenomenon 어휘 쓰임

구체적인 동작은 창발적 현상임을 이해하는 것이 중요합니다.

based on how those hundreds of billions of parameters

수천억 개의 매개변수가

are tuned during training.

훈련 중에 어떻게 조정되는지에 기반한 현상이죠.

This makes it incredibly challenging to determine 문법

이는 모델이 왜 정확히 그런 예측을 하는지 결정하는 것을

why the model makes the exact predictions that it does.

믿을 수 없을 정도로 어렵게 만듭니다.

What you can see is that when you use large language model predictions to autocomplete a prompt, 전개 흐름

여러분이 볼 수 있는 것은, 대규모 언어 모델의 예측을 사용하여 프롬프트를 자동 완성할 때,

the words that it generates

모델이 생성하는 단어들이

are uncannily fluent, 어휘 쓰임

소름 돋을 정도로 유창하고,

fascinating,

매력적이며,

and even useful.

심지어 유용하다는 사실입니다.

If you're a new viewer

만약 여러분이 처음 오신 시청자이고

and you're curious about more details on how Transformers and attention work,

트랜스포머와 어텐션이 작동하는 방식에 대한 자세한 내용이 궁금하시다면,

boy do I have some material for you. 문법

정말 좋은 자료가 준비되어 있습니다.

One option is to jump into a series I made about deep learning 구동사

하나의 선택지는 제가 딥러닝에 대해 만든 시리즈로 넘어가는 것입니다.

where we visualize and motivate the details of attention 어휘 쓰임

거기서 우리는 어텐션의 세부 사항과

and all the other steps in a Transformer.

트랜스포머의 다른 모든 단계들을 시각화하고 그 이유를 설명합니다.

But also, on my second channel,

또한, 제 두 번째 채널에는,

I just posted a talk that I gave a couple months ago 어휘 쓰임

몇 달 전 뮌헨의 TNG라는 회사를 위해 이 주제에 대해

about this topic for the company TNG in Munich.

제가 발표했던 강연을 방금 게시했습니다.

Sometimes I actually prefer the content that I make as a casual talk

때로는 제가 잘 만들어진 영상보다는

rather than a produced video, 문법

캐주얼한 강연 형식으로 만든 콘텐츠를 더 선호하기도 하지만,

but I leave it up to you which one of these feels like the better follow-on. 관용구

이 둘 중 어떤 것이 후속 내용으로 더 나을지는 여러분의 선택에 맡기겠습니다.