Modelli Linguistici di Grandi Dimensioni (LLM) spiegati in breve: appunti per imparare l’inglese

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant. Phrasal verbs

Immagina di imbatterti per caso nel copione di un cortometraggio che descrive una scena tra una persona e il suo assistente IA.

The script has what the person asks the AI,

Il copione contiene ciò che la persona chiede all'IA,

but the AI's response has been torn off. Phrasal verbs

ma la risposta dell'IA è stata strappata via.

Suppose you also have this powerful magical machine

Supponi di avere anche questa potente macchina magica

that can take any text and provide a sensible prediction

che può prendere qualsiasi testo e fornire una previsione sensata

of what word comes next.

di quale parola verrà dopo.

You could then finish the script by feeding in what you have to the machine, Phrasal verbs

Potresti quindi finire il copione inserendo ciò che hai nella macchina,

seeing what it would predict to start the AI's answer,

vedendo cosa prevedrebbe per iniziare la risposta dell'IA,

and then repeating this over and over Espressioni

e poi ripetendo questo processo ancora e ancora

with a growing script completing the dialogue.

con un copione che cresce completando il dialogo.

When you interact with a chatbot,

Quando interagisci con un chatbot,

this is exactly what's happening.

questo è esattamente ciò che accade.

A large language model is a sophisticated mathematical function

Un grande modello linguistico è una sofisticata funzione matematica

that predicts what word comes next for any piece of text.

che prevede quale parola viene dopo per qualsiasi porzione di testo.

Instead of predicting one word with certainty, though,

Invece di prevedere una singola parola con certezza, però,

what it does is assign a probability Grammatica

ciò che fa è assegnare una probabilità

to all possible next words.

a tutte le possibili parole successive.

To build a chatbot,

Per costruire un chatbot,

what you do is lay out some text Phrasal verbs

quello che fai è disporre del testo

that describes an interaction between a user and a hypothetical AI assistant.

che descrive un'interazione tra un utente e un ipotetico assistente IA.

You add on whatever the user types in Phrasal verbs

Aggiungi tutto ciò che l'utente digita

as the first part of that interaction,

come prima parte di quell'interazione,

and then you have the model repeatedly predict the next word

e poi fai in modo che il modello preveda ripetutamente la parola successiva

that such a hypothetical AI assistant would say in response,

che un tale ipotetico assistente IA direbbe in risposta,

and that's what's presented to the user.

ed è questo che viene presentato all'utente.

In doing this,

Nel fare questo,

the output tends to look a lot more natural Grammatica

il risultato tende a sembrare molto più naturale

if you allow it to select less likely words

se gli permetti di selezionare parole meno probabili

along the way at random. Espressioni

lungo il percorso in modo casuale.

So what this means is even though the model itself is deterministic, Grammatica

Quindi, ciò significa che, anche se il modello in sé è deterministico,

a given prompt typically gives a different answer each time it's run. Lessico

un determinato prompt di solito dà una risposta diversa ogni volta che viene eseguito.

Models learn how to make these predictions

I modelli imparano a fare queste previsioni

by processing an enormous amount of text,

elaborando un'enorme quantità di testo,

typically pulled from the internet.

solitamente presa da internet.

For a standard human to read the amount of text that was used to train GPT-3,

Per un normale essere umano, leggere la quantità di testo utilizzata per addestrare GPT-3,

for example,

ad esempio,

if they read non-stop 24/7,

se leggesse senza sosta 24 ore su 24, 7 giorni su 7,

it would take over 2600 years.

ci vorrebbero più di 2600 anni.

Larger models since then train on much, much more.

Da allora, modelli più grandi vengono addestrati su quantità di dati molto, molto maggiori.

You can think of training a little bit like tuning the dials on a big machine. Grammatica

Puoi pensare all'addestramento un po' come alla regolazione delle manopole su una grande macchina.

The way that a language model behaves

Il modo in cui si comporta un modello linguistico

is entirely determined by these many different continuous values,

è interamente determinato da questi molti e diversi valori continui,

usually called parameters or weights.

di solito chiamati parametri o pesi.

Changing those parameters will change the probabilities

Modificare quei parametri cambierà le probabilità

that the model gives for the next word on a given input.

che il modello assegna alla parola successiva per un dato input.

What puts the large in large language model Modi di dire

Ciò che rende "grandi" i grandi modelli linguistici

is how they can have hundreds of billions of these parameters.

è il fatto che possono avere centinaia di miliardi di questi parametri.

No human ever deliberately sets those parameters.

Nessun essere umano imposta mai deliberatamente quei parametri.

Instead, they begin at random,

Invece, iniziano in modo casuale,

meaning the model just outputs gibberish,

il che significa che il modello produce solo frasi senza senso,

but they're repeatedly refined based on many example pieces of text.

ma vengono ripetutamente raffinati sulla base di molti testi di esempio.

One of these training examples could be just a handful of words, Espressioni

Uno di questi esempi di addestramento potrebbe essere solo una manciata di parole,

or it could be thousands,

oppure potrebbero essere migliaia,

but in either case,

ma in ogni caso,

the way this works is to pass in all but the last word from that example Grammatica

il modo in cui funziona è passare al modello tutto tranne l'ultima parola di quell'esempio

into the model and compare the prediction

e confrontare la previsione

that it makes with the true last word from the example.

che fa con la vera ultima parola dell'esempio.

An algorithm called backpropagation is used to tweak all of the parameters

Un algoritmo chiamato retropropagazione viene utilizzato per modificare tutti i parametri

in such a way that it makes the model Grammatica

in modo tale da rendere il modello

a little more likely to choose the true last word

un po' più propenso a scegliere la vera ultima parola

and a little less likely to choose all the others.

e un po' meno propenso a scegliere tutte le altre.

When you do this for many, many trillions of examples,

Quando fai questo per molti, molti trilioni di esempi,

not only does the model start to give more accurate predictions on the training data, Grammatica

non solo il modello inizia a fornire previsioni più accurate sui dati di addestramento,

but it also starts to make more reasonable predictions

ma inizia anche a fare previsioni più ragionevoli

on text that it's never seen before.

su testi che non ha mai visto prima.

Given the huge number of parameters

Dato l'enorme numero di parametri

and the enormous amount of training data,

e l'enorme quantità di dati di addestramento,

the scale of computation involved in training a large language model

la scala di calcolo coinvolta nell'addestramento di un grande modello linguistico

is mind-boggling. Lessico

è sbalorditiva.

To illustrate, Discorso

Per illustrare,

imagine that you could perform 1 billion additions and multiplications

immagina di poter eseguire 1 miliardo di addizioni e moltiplicazioni

every single second.

ogni singolo secondo.

How long do you think that it would take

Quanto tempo pensi che ci vorrebbe

for you to do all of the operations

per completare tutte le operazioni

involved in training the largest language models?

coinvolte nell'addestramento dei più grandi modelli linguistici?

Do you think it would take a year?

Pensi che ci vorrebbe un anno?

Maybe something like 10,000 years?

Forse qualcosa come 10.000 anni?

The answer is actually much more than that.

La risposta è in realtà molto di più.

It's well over 100 million years. Espressioni

È ben oltre 100 milioni di anni.

This is only part of the story, though. Modi di dire

Questa, però, è solo una parte della storia.

This whole process is called pretraining.

L'intero processo si chiama pre-addestramento.

The goal of autocompleting a random passage of text from the internet

L'obiettivo di completare automaticamente un brano di testo casuale da internet

is very different from the goal of being a good AI assistant.

è molto diverso dall'obiettivo di essere un buon assistente IA.

To address this, Discorso

Per affrontare questo,

chatbots undergo another type of training, Espressioni

i chatbot subiscono un altro tipo di addestramento,

just as important, called reinforcement learning with human feedback.

altrettanto importante, chiamato apprendimento per rinforzo con feedback umano.

Workers flag unhelpful or problematic predictions, Lessico

I lavoratori segnalano le previsioni inutili o problematiche,

and their corrections further change the model's parameters,

e le loro correzioni modificano ulteriormente i parametri del modello,

making them more likely to give predictions

rendendoli più propensi a fornire le previsioni

that users prefer.

che gli utenti preferiscono.

Looking back at the pretraining, though, Discorso

Tornando al pre-addestramento, tuttavia,

this staggering amount of computation

questa sbalorditiva quantità di calcoli

is only made possible by using special computer chips Grammatica

è resa possibile solo utilizzando chip per computer speciali

that are optimized for running many, many operations in parallel, Espressioni

che sono ottimizzati per eseguire molte, molte operazioni in parallelo,

known as GPUs.

noti come GPU.

However,

Tuttavia,

not all language models can be easily parallelized.

non tutti i modelli linguistici possono essere facilmente parallelizzati.

Prior to 2017, Lessico

Prima del 2017,

most language models would process text one word at a time. Espressioni

la maggior parte dei modelli linguistici elaborava il testo una parola alla volta.

But then,

Ma poi,

a team of researchers at Google

un team di ricercatori di Google

introduced a new model known as the Transformer.

ha introdotto un nuovo modello noto come Transformer.

Transformers don't read text from the start to the finish.

I Transformer non leggono il testo dall'inizio alla fine.

They soak it all in at once, Phrasal verbs

Lo assimilano tutto in una volta,

in parallel.

in parallelo.

The very first step inside a Transformer,

Il primissimo passo all'interno di un Transformer,

and most other language models for that matter, Discorso

e nella maggior parte degli altri modelli linguistici del resto,

is to associate each word with a long list of numbers.

è associare ogni parola a una lunga lista di numeri.

The reason for this is that the training process only works with continuous values, Grammatica

Il motivo di questo è che il processo di addestramento funziona solo con valori continui,

so you have to somehow encode language using numbers,

quindi devi in qualche modo codificare il linguaggio usando i numeri,

and each of these lists of numbers

e ciascuna di queste liste di numeri

may somehow encode the meaning of the corresponding word.

può in qualche modo codificare il significato della parola corrispondente.

What makes Transformers unique Grammatica

Ciò che rende unici i Transformer

is their reliance on a special operation known as attention. Espressioni

è la loro dipendenza da un'operazione speciale nota come attenzione.

This operation gives all of these lists of numbers

Questa operazione dà a tutte queste liste di numeri

a chance to talk to one another Modi di dire

la possibilità di parlare tra loro

and refine the meanings that they encode

e di affinare i significati che codificano

based on the context around,

in base al contesto circostante,

all done in parallel.

il tutto fatto in parallelo.

For example,

Ad esempio,

the numbers encoding the word bank

i numeri che codificano la parola "bank" (banca/riva)

might be changed based on the context surrounding it

potrebbero essere modificati in base al contesto circostante

to somehow encode the more specific notion of a river bank.

per codificare in qualche modo la nozione più specifica di "riva di un fiume" (river bank).

Transformers typically also include a second type of operation

I Transformer tipicamente includono anche un secondo tipo di operazione

known as a feed-forward neural network,

nota come rete neurale feed-forward,

and this gives the model extra capacity

e questo dà al modello una capacità extra

to store more patterns about language learned during training.

di memorizzare più schemi sul linguaggio appresi durante l'addestramento.

All of this data repeatedly flows through many different iterations

Tutti questi dati fluiscono ripetutamente attraverso molte diverse iterazioni

of these two fundamental operations,

di queste due operazioni fondamentali,

and as it does so, Discorso

e così facendo,

the hope is that each list of numbers

la speranza è che ogni lista di numeri

is enriched to encode whatever information might be needed Grammatica

venga arricchita per codificare qualsiasi informazione possa essere necessaria

to make an accurate prediction

per fare una previsione accurata

of what word follows in the passage.

su quale parola segue nel passaggio.

At the end,

Alla fine,

one final function is performed on the last vector in this sequence,

un'ultima funzione viene eseguita sull'ultimo vettore in questa sequenza,

which now has had a chance to be influenced by all the other context Grammatica

che ora ha avuto la possibilità di essere influenzato da tutto il resto del contesto

from the input text,

proveniente dal testo di input,

as well as everything the model learned during training,

così come da tutto ciò che il modello ha appreso durante l'addestramento,

to produce a prediction of the next word.

per produrre una previsione della parola successiva.

Again,

Anche in questo caso,

the model's prediction looks like a probability for every possible next word.

la previsione del modello appare come una probabilità per ogni possibile parola successiva.

Although researchers design the framework for how each of these steps work, Discorso

Sebbene i ricercatori progettino la struttura di come funziona ciascuno di questi passaggi,

it's important to understand that the specific behavior is an emergent phenomenon Lessico

è importante capire che il comportamento specifico è un fenomeno emergente

based on how those hundreds of billions of parameters

basato su come quelle centinaia di miliardi di parametri

are tuned during training.

vengono sintonizzati durante l'addestramento.

This makes it incredibly challenging to determine Grammatica

Ciò rende incredibilmente difficile determinare

why the model makes the exact predictions that it does.

perché il modello fa esattamente le previsioni che fa.

What you can see is that when you use large language model predictions to autocomplete a prompt, Discorso

Ciò che puoi notare è che quando usi le previsioni di un grande modello linguistico per completare un prompt,

the words that it generates

le parole che genera

are uncannily fluent, Lessico

sono incredibilmente fluide,

fascinating,

affascinanti,

and even useful.

e persino utili.

If you're a new viewer

Se sei un nuovo spettatore

and you're curious about more details on how Transformers and attention work,

e sei curioso di conoscere maggiori dettagli su come funzionano i Transformer e l'attenzione,

boy do I have some material for you. Grammatica

ho proprio il materiale che fa per te.

One option is to jump into a series I made about deep learning Phrasal verbs

Un'opzione è immergerti in una serie che ho realizzato sul deep learning

where we visualize and motivate the details of attention Lessico

in cui visualizziamo e motiviamo i dettagli dell'attenzione

and all the other steps in a Transformer.

e tutti gli altri passaggi in un Transformer.

But also, on my second channel,

Ma anche, sul mio secondo canale,

I just posted a talk that I gave a couple months ago Lessico

ho appena pubblicato un discorso che ho tenuto un paio di mesi fa

about this topic for the company TNG in Munich.

su questo argomento per l'azienda TNG a Monaco.

Sometimes I actually prefer the content that I make as a casual talk

A volte preferisco di gran lunga i contenuti che realizzo sotto forma di chiacchierata informale

rather than a produced video, Grammatica

rispetto a un video super prodotto,

but I leave it up to you which one of these feels like the better follow-on. Modi di dire

ma lascio decidere a te quale di questi ti sembra il miglior proseguimento.