Büyük Dil Modelleri kısaca açıklandı: İngilizce çalışma notları

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant. Öbek fiiller

Bir kişi ve onun yapay zeka asistanı arasındaki bir sahneyi anlatan kısa bir film senaryosuna rastladığınızı hayal edin.

The script has what the person asks the AI,

Senaryoda kişinin yapay zekaya ne sorduğu var,

but the AI's response has been torn off. Öbek fiiller

ancak yapay zekanın yanıtı yırtılmış.

Suppose you also have this powerful magical machine

Diyelim ki sizin elinizde bir de bu güçlü ve sihirli makine var,

that can take any text and provide a sensible prediction

herhangi bir metni alabilen ve bir sonraki kelimenin ne olacağına dair

of what word comes next.

mantıklı bir tahmin sunabilen.

You could then finish the script by feeding in what you have to the machine, Öbek fiiller

O zaman elinizdekileri makineye vererek senaryoyu tamamlayabilirsiniz,

seeing what it would predict to start the AI's answer,

yapay zekanın cevabına başlamak için ne tahmin edeceğini görerek,

and then repeating this over and over Kalıp ifadeler

ve sonra bunu defalarca tekrarlayarak

with a growing script completing the dialogue.

diyaloğu tamamlayan ve giderek büyüyen bir senaryo ile.

When you interact with a chatbot,

Bir sohbet robotuyla etkileşime girdiğinizde,

this is exactly what's happening.

olan şey tam olarak budur.

A large language model is a sophisticated mathematical function

Büyük bir dil modeli, karmaşık bir matematiksel fonksiyondur

that predicts what word comes next for any piece of text.

herhangi bir metin parçası için bir sonraki kelimenin ne olacağını tahmin eden.

Instead of predicting one word with certainty, though,

Ancak tek bir kelimeyi kesin olarak tahmin etmek yerine,

what it does is assign a probability Dilbilgisi

yaptığı şey bir olasılık atamaktır

to all possible next words.

olası tüm sonraki kelimelere.

To build a chatbot,

Bir sohbet robotu oluşturmak için,

what you do is lay out some text Öbek fiiller

yaptığınız şey bazı metinler ortaya koymaktır

that describes an interaction between a user and a hypothetical AI assistant.

bir kullanıcı ve varsayımsal bir yapay zeka asistanı arasındaki etkileşimi anlatan.

You add on whatever the user types in Öbek fiiller

Kullanıcı ne yazarsa onu eklersiniz

as the first part of that interaction,

bu etkileşimin ilk bölümü olarak,

and then you have the model repeatedly predict the next word

ve daha sonra modele sürekli olarak bir sonraki kelimeyi tahmin ettirirsiniz

that such a hypothetical AI assistant would say in response,

böyle varsayımsal bir yapay zeka asistanının yanıt olarak söyleyebileceği,

and that's what's presented to the user.

ve kullanıcıya sunulan şey budur.

In doing this,

Bunu yaparken,

the output tends to look a lot more natural Dilbilgisi

çıktı çok daha doğal görünme eğilimindedir

if you allow it to select less likely words

eğer daha az olası kelimeleri rastgele seçmesine

along the way at random. Kalıp ifadeler

yol boyunca izin verirseniz.

So what this means is even though the model itself is deterministic, Dilbilgisi

Yani bunun anlamı, modelin kendisi deterministik olsa bile,

a given prompt typically gives a different answer each time it's run. Kelime

belirli bir istemin her çalıştırıldığında genellikle farklı bir cevap vermesidir.

Models learn how to make these predictions

Modeller bu tahminleri nasıl yapacaklarını öğrenir

by processing an enormous amount of text,

muazzam miktarda metni işleyerek,

typically pulled from the internet.

genellikle internetten çekilen.

For a standard human to read the amount of text that was used to train GPT-3,

Standart bir insanın GPT-3'ü eğitmek için kullanılan metin miktarını okuması,

for example,

örneğin,

if they read non-stop 24/7,

eğer hiç durmadan 7/24 okusalardı,

it would take over 2600 years.

2600 yıldan fazla sürerdi.

Larger models since then train on much, much more.

O zamandan beri daha büyük modeller bundan çok ama çok daha fazlası üzerinde eğitiliyor.

You can think of training a little bit like tuning the dials on a big machine. Dilbilgisi

Eğitimi, büyük bir makinenin kadranlarını ayarlamak gibi düşünebilirsiniz.

The way that a language model behaves

Bir dil modelinin davranış şekli

is entirely determined by these many different continuous values,

tamamen bu çok sayıda farklı sürekli değer tarafından belirlenir,

usually called parameters or weights.

genellikle parametreler veya ağırlıklar olarak adlandırılır.

Changing those parameters will change the probabilities

Bu parametreleri değiştirmek olasılıkları değiştirecektir

that the model gives for the next word on a given input.

modelin belirli bir girdide bir sonraki kelime için verdiği.

What puts the large in large language model Deyimler

Büyük dil modeline "büyük" kelimesini koyan şey

is how they can have hundreds of billions of these parameters.

bu parametrelerden yüz milyarlarca tanesine nasıl sahip olabildikleridir.

No human ever deliberately sets those parameters.

Hiçbir insan bu parametreleri kasıtlı olarak ayarlamaz.

Instead, they begin at random,

Bunun yerine, rastgele başlarlar,

meaning the model just outputs gibberish,

bu da modelin sadece anlamsız şeyler ürettiği anlamına gelir,

but they're repeatedly refined based on many example pieces of text.

ancak birçok örnek metin parçasına dayanarak tekrar tekrar rafine edilirler.

One of these training examples could be just a handful of words, Kalıp ifadeler

Bu eğitim örneklerinden biri sadece bir avuç kelime olabilir,

or it could be thousands,

veya binlerce olabilir,

but in either case,

ancak her iki durumda da,

the way this works is to pass in all but the last word from that example Dilbilgisi

bunun çalışma şekli, o örnekten son kelime hariç hepsini aktarmaktır

into the model and compare the prediction

modele ve tahmini karşılaştırmaktır

that it makes with the true last word from the example.

örnekteki gerçek son kelimeyle yaptığı.

An algorithm called backpropagation is used to tweak all of the parameters

Geri yayılım adı verilen bir algoritma tüm parametreleri ayarlamak için kullanılır

in such a way that it makes the model Dilbilgisi

modeli öyle bir hale getirecek şekilde

a little more likely to choose the true last word

gerçek son kelimeyi seçme olasılığını biraz daha yüksek

and a little less likely to choose all the others.

ve diğer tüm kelimeleri seçme olasılığını biraz daha düşük yapan.

When you do this for many, many trillions of examples,

Bunu trilyonlarca örnek için yaptığınızda,

not only does the model start to give more accurate predictions on the training data, Dilbilgisi

model sadece eğitim verilerinde daha doğru tahminler vermeye başlamakla kalmaz,

but it also starts to make more reasonable predictions

aynı zamanda daha makul tahminler yapmaya başlar

on text that it's never seen before.

daha önce hiç görmediği metinler üzerinde.

Given the huge number of parameters

Devasa parametre sayısı

and the enormous amount of training data,

ve muazzam miktardaki eğitim verisi göz önüne alındığında,

the scale of computation involved in training a large language model

büyük bir dil modelini eğitmeye dahil olan hesaplama ölçeği

is mind-boggling. Kelime

akıl almazdır.

To illustrate, Anlatım akışı

Örneklemek gerekirse,

imagine that you could perform 1 billion additions and multiplications

her saniye 1 milyar toplama ve çarpma işlemi

every single second.

yapabildiğinizi hayal edin.

How long do you think that it would take

Ne kadar süreceğini düşünüyorsunuz

for you to do all of the operations

tüm işlemleri yapmanızın

involved in training the largest language models?

en büyük dil modellerini eğitmeye dahil olan?

Do you think it would take a year?

Sizce bir yıl sürer miydi?

Maybe something like 10,000 years?

Belki 10.000 yıl gibi bir şey?

The answer is actually much more than that.

Cevap aslında bundan çok daha fazlası.

It's well over 100 million years. Kalıp ifadeler

100 milyon yıldan çok daha fazlası.

This is only part of the story, though. Deyimler

Ancak bu hikayenin sadece bir kısmı.

This whole process is called pretraining.

Tüm bu süreç ön eğitim olarak adlandırılır.

The goal of autocompleting a random passage of text from the internet

İnternetten rastgele bir metin pasajını otomatik olarak tamamlama hedefi,

is very different from the goal of being a good AI assistant.

iyi bir yapay zeka asistanı olma hedefinden çok farklıdır.

To address this, Anlatım akışı

Bunu ele almak için,

chatbots undergo another type of training, Kalıp ifadeler

sohbet robotları başka bir eğitim türünden geçer,

just as important, called reinforcement learning with human feedback.

aynı derecede önemli olan, insan geri bildirimi ile pekiştirmeli öğrenme adı verilen.

Workers flag unhelpful or problematic predictions, Kelime

Çalışanlar yararsız veya sorunlu tahminleri işaretler,

and their corrections further change the model's parameters,

ve onların düzeltmeleri modelin parametrelerini daha da değiştirir,

making them more likely to give predictions

onların tahmin verme olasılıklarını artırır

that users prefer.

kullanıcıların tercih ettiği.

Looking back at the pretraining, though, Anlatım akışı

Ancak ön eğitime dönüp baktığımızda,

this staggering amount of computation

bu şaşırtıcı miktardaki hesaplama

is only made possible by using special computer chips Dilbilgisi

yalnızca özel bilgisayar çipleri kullanılarak mümkün olmaktadır

that are optimized for running many, many operations in parallel, Kalıp ifadeler

çok, çok sayıda işlemi paralel olarak çalıştırmak için optimize edilmiş,

known as GPUs.

GPU'lar olarak bilinen.

However,

Ancak,

not all language models can be easily parallelized.

tüm dil modelleri kolayca paralelleştirilemez.

Prior to 2017, Kelime

2017 öncesinde,

most language models would process text one word at a time. Kalıp ifadeler

çoğu dil modeli metni her seferinde bir kelime olacak şekilde işlerdi.

But then,

Ancak sonra,

a team of researchers at Google

Google'daki bir araştırma ekibi

introduced a new model known as the Transformer.

Transformer (Dönüştürücü) olarak bilinen yeni bir modeli tanıttı.

Transformers don't read text from the start to the finish.

Transformer'lar metni baştan sona doğru okumazlar.

They soak it all in at once, Öbek fiiller

Hepsini bir kerede özümserler,

in parallel.

paralel olarak.

The very first step inside a Transformer,

Bir Transformer'ın içindeki ilk adım,

and most other language models for that matter, Anlatım akışı

ve bu bağlamda çoğu diğer dil modeli için de,

is to associate each word with a long list of numbers.

her kelimeyi uzun bir sayı listesiyle ilişkilendirmektir.

The reason for this is that the training process only works with continuous values, Dilbilgisi

Bunun nedeni, eğitim sürecinin yalnızca sürekli değerlerle çalışmasıdır,

so you have to somehow encode language using numbers,

bu yüzden dili sayılar kullanarak bir şekilde kodlamanız gerekir,

and each of these lists of numbers

ve bu sayı listelerinin her biri

may somehow encode the meaning of the corresponding word.

ilgili kelimenin anlamını bir şekilde kodlayabilir.

What makes Transformers unique Dilbilgisi

Transformer'ları benzersiz kılan şey

is their reliance on a special operation known as attention. Kalıp ifadeler

dikkat (attention) olarak bilinen özel bir işleme güvenmeleridir.

This operation gives all of these lists of numbers

Bu işlem, tüm bu sayı listelerine

a chance to talk to one another Deyimler

birbiriyle konuşma şansı verir

and refine the meanings that they encode

ve kodladıkları anlamları rafine etme

based on the context around,

etraftaki bağlama dayalı olarak,

all done in parallel.

hepsi paralel olarak yapılır.

For example,

Örneğin,

the numbers encoding the word bank

"bank" (banka/kıyı) kelimesini kodlayan sayılar

might be changed based on the context surrounding it

onu çevreleyen bağlama bağlı olarak değiştirilebilir

to somehow encode the more specific notion of a river bank.

bir nehir kıyısının (river bank) daha spesifik kavramını bir şekilde kodlamak için.

Transformers typically also include a second type of operation

Transformer'lar genellikle ikinci bir işlem türünü de içerir

known as a feed-forward neural network,

ileri beslemeli sinir ağı olarak bilinen,

and this gives the model extra capacity

ve bu, modele ekstra kapasite verir

to store more patterns about language learned during training.

eğitim sırasında öğrenilen dil hakkında daha fazla deseni depolamak için.

All of this data repeatedly flows through many different iterations

Tüm bu veriler tekrar tekrar birçok farklı iterasyondan akar

of these two fundamental operations,

bu iki temel işlemin,

and as it does so, Anlatım akışı

ve bunu yaparken,

the hope is that each list of numbers

umut edilen şey her sayı listesinin

is enriched to encode whatever information might be needed Dilbilgisi

hangi bilginin gerekli olabileceğini kodlayacak şekilde zenginleşmesidir

to make an accurate prediction

doğru bir tahmin yapmak için

of what word follows in the passage.

pasajda hangi kelimenin geleceğine dair.

At the end,

Sonunda,

one final function is performed on the last vector in this sequence,

bu dizideki son vektör üzerinde bir son fonksiyon gerçekleştirilir,

which now has had a chance to be influenced by all the other context Dilbilgisi

bu vektör şimdi tüm diğer bağlamlardan etkilenme şansına sahip olmuştur

from the input text,

girdi metninden gelen,

as well as everything the model learned during training,

ve ayrıca modelin eğitim sırasında öğrendiği her şeyden,

to produce a prediction of the next word.

bir sonraki kelimenin tahminini üretmek için.

Again,

Yine,

the model's prediction looks like a probability for every possible next word.

modelin tahmini, olası her sonraki kelime için bir olasılık gibi görünür.

Although researchers design the framework for how each of these steps work, Anlatım akışı

Araştırmacılar bu adımların her birinin nasıl çalıştığına dair çerçeveyi tasarlasalar da,

it's important to understand that the specific behavior is an emergent phenomenon Kelime

belirli davranışın ortaya çıkan (emergent) bir fenomen olduğunu anlamak önemlidir

based on how those hundreds of billions of parameters

bu yüz milyarlarca parametrenin

are tuned during training.

eğitim sırasında nasıl ayarlandığına bağlı olarak.

This makes it incredibly challenging to determine Dilbilgisi

Bu, modelin tam olarak neden o tahminleri yaptığını belirlemeyi

why the model makes the exact predictions that it does.

inanılmaz derecede zorlaştırır.

What you can see is that when you use large language model predictions to autocomplete a prompt, Anlatım akışı

Görebileceğiniz şey şudur ki, bir istemi otomatik tamamlamak için büyük dil modeli tahminlerini kullandığınızda,

the words that it generates

onun ürettiği kelimeler

are uncannily fluent, Kelime

tekinsiz derecede akıcıdır,

fascinating,

büyüleyici,

and even useful.

ve hatta yararlıdır.

If you're a new viewer

Eğer yeni bir izleyiciyseniz

and you're curious about more details on how Transformers and attention work,

ve Transformer'ların ve dikkatin (attention) nasıl çalıştığına dair daha fazla ayrıntı merak ediyorsanız,

boy do I have some material for you. Dilbilgisi

size göre harika materyallerim var.

One option is to jump into a series I made about deep learning Öbek fiiller

Seçeneklerden biri, derin öğrenme hakkında yaptığım bir seriye dalmaktır

where we visualize and motivate the details of attention Kelime

burada dikkatin ayrıntılarını görselleştirip gerekçelendiriyoruz

and all the other steps in a Transformer.

ve bir Transformer'daki tüm diğer adımları.

But also, on my second channel,

Ama aynı zamanda, ikinci kanalımda,

I just posted a talk that I gave a couple months ago Kelime

birkaç ay önce yaptığım bir konuşmayı yeni yayınladım

about this topic for the company TNG in Munich.

bu konu hakkında, Münih'teki TNG şirketi için.

Sometimes I actually prefer the content that I make as a casual talk

Bazen yapılmış bir video yerine

rather than a produced video, Dilbilgisi

gündelik bir konuşma olarak hazırladığım içeriği aslında daha çok tercih ediyorum,

but I leave it up to you which one of these feels like the better follow-on. Deyimler

ancak bunlardan hangisinin daha iyi bir devam gibi hissettirdiğine karar vermeyi size bırakıyorum.