Penjelasan Singkat Model Bahasa Besar (LLM): catatan belajar bahasa Inggris

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant. Phrasal verb

Bayangkan Anda kebetulan menemukan naskah film pendek yang menggambarkan adegan antara seseorang dan asisten AI mereka.

The script has what the person asks the AI,

Naskah itu berisi apa yang ditanyakan orang tersebut kepada AI,

but the AI's response has been torn off. Phrasal verb

tetapi bagian respons AI-nya telah robek.

Suppose you also have this powerful magical machine

Misalkan Anda juga memiliki mesin ajaib yang kuat ini

that can take any text and provide a sensible prediction

yang dapat mengambil teks apa pun dan memberikan prediksi yang masuk akal

of what word comes next.

tentang kata apa yang muncul berikutnya.

You could then finish the script by feeding in what you have to the machine, Phrasal verb

Anda kemudian dapat menyelesaikan naskah tersebut dengan memasukkan apa yang Anda miliki ke dalam mesin,

seeing what it would predict to start the AI's answer,

melihat apa yang diprediksi untuk memulai jawaban AI,

and then repeating this over and over Frasa

dan kemudian mengulanginya berulang kali

with a growing script completing the dialogue.

dengan naskah yang semakin panjang melengkapi dialog tersebut.

When you interact with a chatbot,

Saat Anda berinteraksi dengan chatbot,

this is exactly what's happening.

inilah tepatnya yang terjadi.

A large language model is a sophisticated mathematical function

Model bahasa besar adalah fungsi matematika yang canggih

that predicts what word comes next for any piece of text.

yang memprediksi kata apa yang muncul berikutnya untuk potongan teks apa pun.

Instead of predicting one word with certainty, though,

Namun, alih-alih memprediksi satu kata dengan pasti,

what it does is assign a probability Tata bahasa

apa yang dilakukannya adalah menetapkan probabilitas

to all possible next words.

untuk semua kemungkinan kata berikutnya.

To build a chatbot,

Untuk membuat chatbot,

what you do is lay out some text Phrasal verb

yang Anda lakukan adalah menyusun beberapa teks

that describes an interaction between a user and a hypothetical AI assistant.

yang menggambarkan interaksi antara pengguna dan hipotesis asisten AI.

You add on whatever the user types in Phrasal verb

Anda menambahkan apa pun yang diketik pengguna

as the first part of that interaction,

sebagai bagian pertama dari interaksi tersebut,

and then you have the model repeatedly predict the next word

dan kemudian Anda membuat model berulang kali memprediksi kata berikutnya

that such a hypothetical AI assistant would say in response,

yang akan diucapkan oleh hipotesis asisten AI tersebut sebagai tanggapan,

and that's what's presented to the user.

dan itulah yang disajikan kepada pengguna.

In doing this,

Dalam melakukan hal ini,

the output tends to look a lot more natural Tata bahasa

keluarannya cenderung terlihat jauh lebih natural

if you allow it to select less likely words

jika Anda mengizinkannya memilih kata-kata yang kemungkinannya lebih kecil

along the way at random. Frasa

secara acak di sepanjang jalan.

So what this means is even though the model itself is deterministic, Tata bahasa

Jadi artinya adalah meskipun model itu sendiri bersifat deterministik,

a given prompt typically gives a different answer each time it's run. Pilihan kata

prompt tertentu biasanya memberikan jawaban yang berbeda setiap kali dijalankan.

Models learn how to make these predictions

Model belajar bagaimana membuat prediksi ini

by processing an enormous amount of text,

dengan memproses sejumlah besar teks,

typically pulled from the internet.

biasanya diambil dari internet.

For a standard human to read the amount of text that was used to train GPT-3,

Agar manusia biasa dapat membaca jumlah teks yang digunakan untuk melatih GPT-3,

for example,

sebagai contoh,

if they read non-stop 24/7,

jika mereka membaca nonstop 24/7,

it would take over 2600 years.

itu akan memakan waktu lebih dari 2600 tahun.

Larger models since then train on much, much more.

Model-model yang lebih besar sejak saat itu berlatih pada jumlah yang jauh, jauh lebih banyak.

You can think of training a little bit like tuning the dials on a big machine. Tata bahasa

Anda dapat menganggap pelatihan sedikit seperti memutar tombol pada mesin besar.

The way that a language model behaves

Cara model bahasa berperilaku

is entirely determined by these many different continuous values,

sepenuhnya ditentukan oleh banyak nilai kontinu yang berbeda-beda ini,

usually called parameters or weights.

biasanya disebut parameter atau bobot.

Changing those parameters will change the probabilities

Mengubah parameter tersebut akan mengubah probabilitas

that the model gives for the next word on a given input.

yang diberikan model untuk kata berikutnya pada input yang diberikan.

What puts the large in large language model Idiom

Apa yang membuat kata "besar" dalam model bahasa besar

is how they can have hundreds of billions of these parameters.

adalah bagaimana mereka dapat memiliki ratusan miliar parameter ini.

No human ever deliberately sets those parameters.

Tidak ada manusia yang pernah dengan sengaja mengatur parameter tersebut.

Instead, they begin at random,

Sebaliknya, mereka memulai secara acak,

meaning the model just outputs gibberish,

yang berarti model tersebut hanya mengeluarkan omong kosong,

but they're repeatedly refined based on many example pieces of text.

tetapi mereka berulang kali disempurnakan berdasarkan banyak contoh teks.

One of these training examples could be just a handful of words, Frasa

Salah satu dari contoh pelatihan ini mungkin hanya segelintir kata,

or it could be thousands,

atau bisa juga ribuan,

but in either case,

tetapi dalam kedua kasus tersebut,

the way this works is to pass in all but the last word from that example Tata bahasa

cara kerjanya adalah memasukkan semua kecuali kata terakhir dari contoh itu

into the model and compare the prediction

ke dalam model dan membandingkan prediksi

that it makes with the true last word from the example.

yang dibuatnya dengan kata terakhir yang sebenarnya dari contoh tersebut.

An algorithm called backpropagation is used to tweak all of the parameters

Algoritma yang disebut propagasi balik (backpropagation) digunakan untuk menyesuaikan semua parameter

in such a way that it makes the model Tata bahasa

sedemikian rupa sehingga membuat model

a little more likely to choose the true last word

sedikit lebih mungkin untuk memilih kata terakhir yang sebenarnya

and a little less likely to choose all the others.

dan sedikit lebih kecil kemungkinannya untuk memilih semua kata yang lain.

When you do this for many, many trillions of examples,

Bila Anda melakukan ini pada triliunan contoh,

not only does the model start to give more accurate predictions on the training data, Tata bahasa

model tidak hanya mulai memberikan prediksi yang lebih akurat pada data pelatihan,

but it also starts to make more reasonable predictions

tetapi juga mulai membuat prediksi yang lebih masuk akal

on text that it's never seen before.

pada teks yang belum pernah dilihatnya sebelumnya.

Given the huge number of parameters

Mengingat jumlah parameter yang sangat besar

and the enormous amount of training data,

dan jumlah data pelatihan yang sangat banyak,

the scale of computation involved in training a large language model

skala komputasi yang terlibat dalam melatih model bahasa besar

is mind-boggling. Pilihan kata

sangatlah mencengangkan.

To illustrate, Alur pesan

Sebagai ilustrasi,

imagine that you could perform 1 billion additions and multiplications

bayangkan Anda dapat melakukan 1 miliar penambahan dan perkalian

every single second.

setiap detiknya.

How long do you think that it would take

Menurut Anda, berapa lama waktu yang dibutuhkan

for you to do all of the operations

bagi Anda untuk melakukan semua operasi

involved in training the largest language models?

yang terlibat dalam melatih model bahasa terbesar?

Do you think it would take a year?

Apakah Anda pikir itu akan memakan waktu satu tahun?

Maybe something like 10,000 years?

Mungkin sekitar 10.000 tahun?

The answer is actually much more than that.

Jawabannya sebenarnya jauh lebih dari itu.

It's well over 100 million years. Frasa

Lebih dari 100 juta tahun.

This is only part of the story, though. Idiom

Namun, ini hanya sebagian dari ceritanya.

This whole process is called pretraining.

Seluruh proses ini disebut prapelatihan (pretraining).

The goal of autocompleting a random passage of text from the internet

Tujuan melengkapi bagian teks acak dari internet secara otomatis

is very different from the goal of being a good AI assistant.

sangat berbeda dengan tujuan menjadi asisten AI yang baik.

To address this, Alur pesan

Untuk mengatasi hal ini,

chatbots undergo another type of training, Frasa

chatbot menjalani jenis pelatihan lain,

just as important, called reinforcement learning with human feedback.

yang sama pentingnya, yang disebut pembelajaran penguatan dengan umpan balik manusia (RLHF).

Workers flag unhelpful or problematic predictions, Pilihan kata

Pekerja menandai prediksi yang tidak membantu atau bermasalah,

and their corrections further change the model's parameters,

dan koreksi mereka lebih lanjut mengubah parameter model,

making them more likely to give predictions

membuatnya lebih mungkin untuk memberikan prediksi

that users prefer.

yang disukai pengguna.

Looking back at the pretraining, though, Alur pesan

Melihat kembali prapelatihan, bagaimanapun,

this staggering amount of computation

jumlah komputasi yang mengejutkan ini

is only made possible by using special computer chips Tata bahasa

hanya dimungkinkan dengan menggunakan chip komputer khusus

that are optimized for running many, many operations in parallel, Frasa

yang dioptimalkan untuk menjalankan banyak, banyak operasi secara paralel,

known as GPUs.

yang dikenal sebagai GPU.

However,

Namun,

not all language models can be easily parallelized.

tidak semua model bahasa dapat diparalelkan dengan mudah.

Prior to 2017, Pilihan kata

Sebelum tahun 2017,

most language models would process text one word at a time. Frasa

sebagian besar model bahasa akan memproses teks satu kata dalam satu waktu.

But then,

Tapi kemudian,

a team of researchers at Google

sebuah tim peneliti di Google

introduced a new model known as the Transformer.

memperkenalkan model baru yang dikenal sebagai Transformer.

Transformers don't read text from the start to the finish.

Transformer tidak membaca teks dari awal hingga akhir.

They soak it all in at once, Phrasal verb

Mereka menyerap semuanya sekaligus,

in parallel.

secara paralel.

The very first step inside a Transformer,

Langkah pertama di dalam Transformer,

and most other language models for that matter, Alur pesan

dan sebagian besar model bahasa lainnya dalam hal ini,

is to associate each word with a long list of numbers.

adalah mengaitkan setiap kata dengan daftar angka yang panjang.

The reason for this is that the training process only works with continuous values, Tata bahasa

Alasannya adalah proses pelatihan hanya berfungsi dengan nilai kontinu,

so you have to somehow encode language using numbers,

jadi Anda harus menyandikan bahasa menggunakan angka,

and each of these lists of numbers

dan masing-masing dari daftar angka ini

may somehow encode the meaning of the corresponding word.

mungkin entah bagaimana menyandikan arti dari kata yang sesuai.

What makes Transformers unique Tata bahasa

Apa yang membuat Transformer unik

is their reliance on a special operation known as attention. Frasa

adalah ketergantungan mereka pada operasi khusus yang dikenal sebagai perhatian (attention).

This operation gives all of these lists of numbers

Operasi ini memberikan semua daftar angka ini

a chance to talk to one another Idiom

kesempatan untuk berbicara satu sama lain

and refine the meanings that they encode

dan menyempurnakan makna yang disandikannya

based on the context around,

berdasarkan konteks di sekitarnya,

all done in parallel.

semuanya dilakukan secara paralel.

For example,

Sebagai contoh,

the numbers encoding the word bank

angka yang menyandikan kata "bank" (bank/tepi sungai)

might be changed based on the context surrounding it

mungkin diubah berdasarkan konteks di sekitarnya

to somehow encode the more specific notion of a river bank.

untuk entah bagaimana menyandikan gagasan yang lebih spesifik tentang tepi sungai (river bank).

Transformers typically also include a second type of operation

Transformer biasanya juga mencakup operasi jenis kedua

known as a feed-forward neural network,

yang dikenal sebagai jaringan saraf feed-forward,

and this gives the model extra capacity

dan ini memberi model kapasitas ekstra

to store more patterns about language learned during training.

untuk menyimpan lebih banyak pola tentang bahasa yang dipelajari selama pelatihan.

All of this data repeatedly flows through many different iterations

Semua data ini berulang kali mengalir melalui banyak iterasi yang berbeda

of these two fundamental operations,

dari dua operasi mendasar ini,

and as it does so, Alur pesan

dan saat melakukannya,

the hope is that each list of numbers

harapannya adalah setiap daftar angka

is enriched to encode whatever information might be needed Tata bahasa

diperkaya untuk menyandikan informasi apa pun yang mungkin diperlukan

to make an accurate prediction

untuk membuat prediksi yang akurat

of what word follows in the passage.

tentang kata apa yang mengikuti di bagian tersebut.

At the end,

Pada akhirnya,

one final function is performed on the last vector in this sequence,

satu fungsi terakhir dilakukan pada vektor terakhir dalam urutan ini,

which now has had a chance to be influenced by all the other context Tata bahasa

yang kini telah memiliki kesempatan untuk dipengaruhi oleh semua konteks lain

from the input text,

dari teks masukan,

as well as everything the model learned during training,

serta segala hal yang dipelajari model selama pelatihan,

to produce a prediction of the next word.

untuk menghasilkan prediksi dari kata berikutnya.

Again,

Sekali lagi,

the model's prediction looks like a probability for every possible next word.

prediksi model terlihat seperti probabilitas untuk setiap kemungkinan kata berikutnya.

Although researchers design the framework for how each of these steps work, Alur pesan

Meskipun peneliti merancang kerangka kerja tentang cara setiap langkah ini bekerja,

it's important to understand that the specific behavior is an emergent phenomenon Pilihan kata

penting untuk dipahami bahwa perilaku spesifik tersebut merupakan fenomena yang muncul

based on how those hundreds of billions of parameters

berdasarkan bagaimana ratusan miliar parameter tersebut

are tuned during training.

disetel selama pelatihan.

This makes it incredibly challenging to determine Tata bahasa

Hal ini membuatnya sangat menantang untuk menentukan

why the model makes the exact predictions that it does.

mengapa model membuat prediksi yang persis seperti yang dilakukannya.

What you can see is that when you use large language model predictions to autocomplete a prompt, Alur pesan

Apa yang dapat Anda lihat adalah ketika Anda menggunakan prediksi model bahasa besar untuk melengkapi prompt secara otomatis,

the words that it generates

kata-kata yang dihasilkannya

are uncannily fluent, Pilihan kata

sangat lancar dan fasih,

fascinating,

menarik,

and even useful.

dan bahkan berguna.

If you're a new viewer

Jika Anda pemirsa baru

and you're curious about more details on how Transformers and attention work,

dan Anda ingin tahu detail lebih lanjut tentang cara kerja Transformer dan perhatian,

boy do I have some material for you. Tata bahasa

saya punya banyak materi untuk Anda.

One option is to jump into a series I made about deep learning Phrasal verb

Salah satu pilihan adalah melompat ke seri yang saya buat tentang pembelajaran mendalam

where we visualize and motivate the details of attention Pilihan kata

di mana kita memvisualisasikan dan memotivasi rincian dari perhatian

and all the other steps in a Transformer.

dan semua langkah lain dalam Transformer.

But also, on my second channel,

Tetapi juga, di saluran kedua saya,

I just posted a talk that I gave a couple months ago Pilihan kata

saya baru saja memposting ceramah yang saya sampaikan beberapa bulan lalu

about this topic for the company TNG in Munich.

tentang topik ini untuk perusahaan TNG di Munich.

Sometimes I actually prefer the content that I make as a casual talk

Terkadang saya sebenarnya lebih suka konten yang saya buat sebagai ceramah santai

rather than a produced video, Tata bahasa

daripada video yang diproduksi,

but I leave it up to you which one of these feels like the better follow-on. Idiom

tetapi saya serahkan kepada Anda untuk memutuskan mana di antara keduanya yang terasa lebih baik untuk diikuti.