大規模言語モデルをわかりやすく解説：英語学習ノート

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant. 句動詞

ある人とそのAIアシスタントの間のシーンを描いた短い映画の脚本を偶然見つけたと想像してみてください。

The script has what the person asks the AI,

脚本にはその人がAIに尋ねる内容はありますが、

but the AI's response has been torn off. 句動詞

AIの返答部分は破り取られています。

Suppose you also have this powerful magical machine

ここで、あなたには強力で魔法のような機械もあるとしましょう。

that can take any text and provide a sensible prediction

どんなテキストでも受け取り、次にどの言葉が来るのか、

of what word comes next.

理にかなった予測を提供できる機械です。

You could then finish the script by feeding in what you have to the machine, 句動詞

手元にある内容をその機械に入力すれば、脚本を完成させることができるでしょう。

seeing what it would predict to start the AI's answer,

AIの答えの冒頭として何を予測するのかを確認し、

and then repeating this over and over フレーズ

その後、これを何度も何度も繰り返して、

with a growing script completing the dialogue.

脚本を長くしながら対話を完成させていくのです。

When you interact with a chatbot,

あなたがチャットボットとやり取りするとき、

this is exactly what's happening.

まさにこれが起きていることです。

A large language model is a sophisticated mathematical function

大規模言語モデルは高度な数学的関数であり、

that predicts what word comes next for any piece of text.

どんなテキストに対しても、次にどの言葉が来るのかを予測します。

Instead of predicting one word with certainty, though,

ただし、一つの言葉を確実なものとして予測するのではなく、

what it does is assign a probability 文法

それが行うのは、確率を割り当てることです、

to all possible next words.

次に来る可能性のあるすべての言葉に対して。

To build a chatbot,

チャットボットを構築するには、

what you do is lay out some text 句動詞

ユーザーと架空のAIアシスタントのやり取りを描写した

that describes an interaction between a user and a hypothetical AI assistant.

テキストをいくつか提示します。

You add on whatever the user types in 句動詞

ユーザーが打ち込んだものは何でも追加して、

as the first part of that interaction,

そのやり取りの最初の部分とします。

and then you have the model repeatedly predict the next word

その後、架空のAIアシスタントが返答として言うであろう次の言葉を

that such a hypothetical AI assistant would say in response,

モデルに繰り返し予測させます、

and that's what's presented to the user.

そしてそれがユーザーに提示されるのです。

In doing this,

この過程で、

the output tends to look a lot more natural 文法

出力ははるかに自然に見えるようになります、

if you allow it to select less likely words

もしランダムに、可能性が少し低い言葉を

along the way at random. フレーズ

選ぶことを許可すれば。

So what this means is even though the model itself is deterministic, 文法

つまり、モデル自体は決定論的であるにもかかわらず、

a given prompt typically gives a different answer each time it's run. 語彙

特定のプロンプトに対しては、実行するたびに通常異なる答えが返ってくるということです。

Models learn how to make these predictions

モデルはこのような予測を行う方法を学習します、

by processing an enormous amount of text,

膨大な量のテキストを処理することによって。

typically pulled from the internet.

これらは通常、インターネットから抽出されたものです。

For a standard human to read the amount of text that was used to train GPT-3,

標準的な人間が、GPT-3のトレーニングに使用された量のテキストを読むとしたら、

for example,

例えば、

if they read non-stop 24/7,

休むことなく24時間365日読み続けたとしても、

it would take over 2600 years.

2600年以上かかるでしょう。

Larger models since then train on much, much more.

それ以降の大規模モデルは、はるかに、はるかに多くのデータでトレーニングされています。

You can think of training a little bit like tuning the dials on a big machine. 文法

トレーニングは、巨大な機械のダイヤルを調整するようなものだと考えることができます。

The way that a language model behaves

言語モデルの振る舞い方は、

is entirely determined by these many different continuous values,

これらの多数の異なる連続した値によって完全に決定されます、

usually called parameters or weights.

これらは通常、パラメータや重みと呼ばれます。

Changing those parameters will change the probabilities

これらのパラメータを変更すると、確率が変わります、

that the model gives for the next word on a given input.

特定の入力に対する次の言葉としてモデルが提示する確率が。

What puts the large in large language model 慣用句

大規模言語モデルの「大規模」たるゆえんは、

is how they can have hundreds of billions of these parameters.

これらが数千億ものパラメータを持ち得る点にあります。

No human ever deliberately sets those parameters.

人間が意図的にそれらのパラメータを設定することは決してありません。

Instead, they begin at random,

代わりに、それらはランダムな値から始まります、

meaning the model just outputs gibberish,

つまり、モデルは最初はちんぷんかんぷんな言葉を出力しますが、

but they're repeatedly refined based on many example pieces of text.

多くのテキストの例に基づいて繰り返し洗練されていきます。

One of these training examples could be just a handful of words, フレーズ

これらのトレーニングの例の一つは、ほんの数語のこともあれば、

or it could be thousands,

数千語に及ぶこともありますが、

but in either case,

いずれの場合でも、

the way this works is to pass in all but the last word from that example 文法

この仕組みは、その例の最後の単語以外のすべてをモデルに渡し、

into the model and compare the prediction

モデルが行った予測を、

that it makes with the true last word from the example.

例の実際の最後の単語と比較することです。

An algorithm called backpropagation is used to tweak all of the parameters

誤差逆伝播法（バックプロパゲーション）と呼ばれるアルゴリズムを使用して、すべてのパラメータを微調整します、

in such a way that it makes the model 文法

モデルが

a little more likely to choose the true last word

実際の最後の単語を選ぶ可能性を少し高くし、

and a little less likely to choose all the others.

それ以外のすべての単語を選ぶ可能性を少し低くするように。

When you do this for many, many trillions of examples,

これを何兆回も繰り返すと、

not only does the model start to give more accurate predictions on the training data, 文法

モデルはトレーニングデータに対してより正確な予測をし始めるだけでなく、

but it also starts to make more reasonable predictions

これまで見たことのないテキストに対しても、

on text that it's never seen before.

より妥当な予測をし始めます。

Given the huge number of parameters

膨大な数のパラメータと、

and the enormous amount of training data,

莫大な量のトレーニングデータを考慮すると、

the scale of computation involved in training a large language model

大規模言語モデルのトレーニングに関わる計算の規模は

is mind-boggling. 語彙

気が遠くなるほどです。

To illustrate, 話の流れ

例を挙げると、

imagine that you could perform 1 billion additions and multiplications

あなたが毎秒10億回の足し算と掛け算を

every single second.

実行できると想像してみてください。

How long do you think that it would take

最大規模の言語モデルのトレーニングに関わる

for you to do all of the operations

すべての演算をこなすのに、

involved in training the largest language models?

どれくらいの時間がかかると思いますか？

Do you think it would take a year?

1年かかると思いますか？

Maybe something like 10,000 years?

もしかして1万年くらいでしょうか？

The answer is actually much more than that.

答えは実際にはもっとずっと長いです。

It's well over 100 million years. フレーズ

優に1億年以上かかります。

This is only part of the story, though. 慣用句

しかし、これは話のほんの一部に過ぎません。

This whole process is called pretraining.

この全プロセスは事前学習（プレトレーニング）と呼ばれます。

The goal of autocompleting a random passage of text from the internet

インターネット上のランダムなテキストを自動補完する目標は、

is very different from the goal of being a good AI assistant.

優れたAIアシスタントになるという目標とは大きく異なります。

To address this, 話の流れ

この問題に対処するため、

chatbots undergo another type of training, フレーズ

チャットボットは別の種類のトレーニングを受けます、

just as important, called reinforcement learning with human feedback.

これは同様に重要で、人間のフィードバックからの強化学習と呼ばれます。

Workers flag unhelpful or problematic predictions, 語彙

作業者が役に立たない、または問題のある予測にフラグを立て、

and their corrections further change the model's parameters,

その修正によってモデルのパラメータがさらに変更され、

making them more likely to give predictions

ユーザーが好む予測を

that users prefer.

提供する可能性が高くなります。

Looking back at the pretraining, though, 話の流れ

しかし、事前学習を振り返ると、

this staggering amount of computation

この驚異的な計算量は、

is only made possible by using special computer chips 文法

特殊なコンピュータチップを使用することによってのみ可能になります。

that are optimized for running many, many operations in parallel, フレーズ

多くの演算を並列で実行することに最適化されたチップで、

known as GPUs.

GPUと呼ばれます。

However,

とはいえ、

not all language models can be easily parallelized.

すべての言語モデルが簡単に並列化できるわけではありません。

Prior to 2017, 語彙

2017年以前は、

most language models would process text one word at a time. フレーズ

ほとんどの言語モデルはテキストを1単語ずつ処理していました。

But then,

しかしその後、

a team of researchers at Google

Googleの研究者チームが、

introduced a new model known as the Transformer.

Transformerとして知られる新しいモデルを導入しました。

Transformers don't read text from the start to the finish.

Transformerはテキストを最初から最後まで順番に読むことはしません。

They soak it all in at once, 句動詞

それらはすべてを一度に吸収します、

in parallel.

並列に。

The very first step inside a Transformer,

Transformer内部での最初のステップ、

and most other language models for that matter, 話の流れ

そして他のほとんどの言語モデルでも同様ですが、

is to associate each word with a long list of numbers.

それは各単語を長い数字のリストに関連付けることです。

The reason for this is that the training process only works with continuous values, 文法

その理由は、トレーニングプロセスは連続した値でしか機能しないため、

so you have to somehow encode language using numbers,

数字を使って何らかの形で言語をエンコードしなければならないからです。

and each of these lists of numbers

そして、これらの数字のリストの一つ一つが、

may somehow encode the meaning of the corresponding word.

対応する単語の意味を何らかの形でエンコードしている可能性があります。

What makes Transformers unique 文法

Transformerをユニークにしているのは、

is their reliance on a special operation known as attention. フレーズ

アテンションとして知られる特別な操作への依存です。

This operation gives all of these lists of numbers

この操作は、これらのすべての数字のリストに

a chance to talk to one another 慣用句

互いに対話する機会を与え、

and refine the meanings that they encode

周囲のコンテキストに基づいて、

based on the context around,

それらがエンコードする意味を洗練させます、

all done in parallel.

これらはすべて並列で行われます。

For example,

例えば、

the numbers encoding the word bank

「bank（銀行/土手）」という単語をエンコードする数字は、

might be changed based on the context surrounding it

それを囲むコンテキストに基づいて変更され、

to somehow encode the more specific notion of a river bank.

川の土手（river bank）というより具体的な概念を何らかの形でエンコードするかもしれません。

Transformers typically also include a second type of operation

通常、Transformerには第二の種類の操作も含まれており、

known as a feed-forward neural network,

順伝播型ニューラルネットワークとして知られています、

and this gives the model extra capacity

これにより、モデルはトレーニング中に学習した言語に関するより多くのパターンを

to store more patterns about language learned during training.

保存するための追加の容量を得ます。

All of this data repeatedly flows through many different iterations

これらすべてのデータは、これら二つの基本的な操作の

of these two fundamental operations,

多くの異なる反復を繰り返し流れ、

and as it does so, 話の流れ

そうする過程で、

the hope is that each list of numbers

各数字のリストが

is enriched to encode whatever information might be needed 文法

必要となる可能性のあるあらゆる情報をエンコードするよう豊かになり、

to make an accurate prediction

正確に予測できるようになることが期待されます、

of what word follows in the passage.

文章の次に来る単語を。

At the end,

最終的に、

one final function is performed on the last vector in this sequence,

このシーケンスの最後のベクトルに対して、一つの最終的な関数が実行されます。

which now has had a chance to be influenced by all the other context 文法

このベクトルは今や、入力テキストからの他のすべてのコンテキストや、

from the input text,

モデルがトレーニング中に学習したすべての情報から

as well as everything the model learned during training,

影響を受ける機会を得ており、

to produce a prediction of the next word.

それによって次の単語の予測を生成します。

Again,

繰り返しになりますが、

the model's prediction looks like a probability for every possible next word.

モデルの予測は、可能性のあるすべての次の単語に対する確率のように見えます。

Although researchers design the framework for how each of these steps work, 話の流れ

これらの各ステップがどのように機能するかの枠組みは研究者が設計していますが、

it's important to understand that the specific behavior is an emergent phenomenon 語彙

特定の振る舞いは創発的な現象であることを理解することが重要です、

based on how those hundreds of billions of parameters

トレーニング中にこれら数千億のパラメータが

are tuned during training.

どのように調整されるかに基づいた。

This makes it incredibly challenging to determine 文法

このため、モデルがなぜそのような特定の予測をするのかを特定することは

why the model makes the exact predictions that it does.

信じられないほど困難になっています。

What you can see is that when you use large language model predictions to autocomplete a prompt, 話の流れ

あなたが見てわかるのは、プロンプトを自動補完するために大規模言語モデルの予測を使用すると、

the words that it generates

それが生成する言葉は

are uncannily fluent, 語彙

不気味なほど流暢で、

fascinating,

魅力的で、

and even useful.

そして有用でさえあるということです。

If you're a new viewer

もしあなたが新しい視聴者で、

and you're curious about more details on how Transformers and attention work,

Transformerとアテンションがどのように機能するかの詳細についてもっと知りたいなら、

boy do I have some material for you. 文法

そんなあなたにぴったりの資料があります。

One option is to jump into a series I made about deep learning 句動詞

一つの選択肢は、私がディープラーニングについて作ったシリーズを見ることです、

where we visualize and motivate the details of attention 語彙

そこではアテンションの細部や、

and all the other steps in a Transformer.

Transformerにおける他のすべてのステップを視覚化し、その理由を説明しています。

But also, on my second channel,

また、私のセカンドチャンネルでは、

I just posted a talk that I gave a couple months ago 語彙

ミュンヘンのTNG社向けに数ヶ月前に行った

about this topic for the company TNG in Munich.

このテーマに関する講演をアップロードしたばかりです。

Sometimes I actually prefer the content that I make as a casual talk

私は時折、制作されたビデオよりも、

rather than a produced video, 文法

カジュアルな講演として作るコンテンツの方を実際に好むことがありますが、

but I leave it up to you which one of these feels like the better follow-on. 慣用句

これらの中でどちらが次のステップとしてより良く感じるかは、あなたにお任せします。