Cosa vuol dire token in un modello linguistico?

È l'unità minima di testo — una parola, un pezzo di parola o un simbolo — in cui un modello scompone il testo per leggerlo e generarlo, ed è anche l'unità con cui i fornitori fatturano l'uso del modello.

Un token equivale a una parola?

No. Una parola può corrispondere a uno o più token a seconda di come il tokenizzatore la scompone; parole rare o poco comuni nella lingua di addestramento tendono a dividersi in più token di una parola frequente.

Perché i listini dei modelli sono espressi in prezzo per milione di token?

Perché il costo di un singolo token è una frazione di centesimo, troppo piccola da comunicare in modo leggibile: moltiplicarla per un milione dà una cifra su cui si può ragionare e confrontare fornitori diversi.

Glossario · Intelligenza artificiale

Token

L'unità minima di testo — una parola intera, un pezzo di parola o un simbolo — con cui un modello linguistico legge e genera il testo, e con cui i fornitori fatturano il suo utilizzo.

In inglese: token

Significato di «token»

«Token» in inglese significa gettone o contrassegno: nell'informatica del linguaggio indica un frammento in cui un testo viene scomposto prima di essere elaborato. Un programma chiamato tokenizzatore spezza la frase in questi frammenti — che possono essere una parola intera, una parte di parola o un singolo segno di punteggiatura — perché il modello non lavora direttamente sulle lettere, ma su questa sequenza di unità.

Cosa vuol dire «token» in una notizia

Nelle notizie sui prezzi dei modelli, il token è l'unità di conto: i listini indicano quanto costa elaborare un milione di token, non un milione di parole. La differenza non è cosmetica, perché una parola italiana comune può corrispondere a uno o più token a seconda di come il tokenizzatore la scompone, e parole rare, nomi propri o termini in una lingua poco rappresentata nell'addestramento tendono a frammentarsi in più token di una parola comune in inglese.

Come funziona, spiegato semplice

Un modello linguistico non legge il testo come farebbe una persona: lo trasforma in una sequenza di numeri, ciascuno corrispondente a un token in un vocabolario fisso di decine di migliaia di voci. La stessa trasformazione avviene al contrario in uscita: il modello genera un token alla volta, e ogni token generato viene poi ricomposto in testo leggibile.

Contare in token, e non in parole o caratteri, permette di misurare in modo uniforme testi molto diversi tra loro — un messaggio breve, un documento lungo, righe di codice — con un'unica unità che riflette il lavoro effettivo del modello, non la lunghezza apparente del testo per chi legge.

I listini indicano il prezzo per milione di token perché il costo di un singolo token è una frazione minima di centesimo, troppo piccola per essere comunicata in modo leggibile: moltiplicarla per un milione dà una cifra su cui si può ragionare. Input e output costano quasi sempre in modo diverso, e l'output costa di più, perché generare un token richiede che il modello lo produca uno alla volta attraverso l'intero calcolo della rete, mentre i token in ingresso possono essere elaborati insieme, in un solo passaggio.

Come si usa

Compare quasi sempre accanto a una cifra e all'unità «per milione di token», nelle notizie che confrontano il prezzo di modelli diversi o che riportano un taglio o un aumento di listino, spesso distinguendo il prezzo dei token in ingresso da quello dei token in uscita.

L'errore più comune su «token»

Attenzione

Pensare che un token equivalga a una parola. Non è così: in italiano una parola vale in media più di un token, e parole rare o composte possono spezzarsi in tre o quattro. Confrontare il prezzo per token di due modelli assumendo che «parola» e «token» coincidano porta a stime sbagliate di quanto costerà davvero un uso reale.

Domande frequenti su «token»

Cosa vuol dire token in un modello linguistico?: È l'unità minima di testo — una parola, un pezzo di parola o un simbolo — in cui un modello scompone il testo per leggerlo e generarlo, ed è anche l'unità con cui i fornitori fatturano l'uso del modello.
Un token equivale a una parola?: No. Una parola può corrispondere a uno o più token a seconda di come il tokenizzatore la scompone; parole rare o poco comuni nella lingua di addestramento tendono a dividersi in più token di una parola frequente.
Perché i listini dei modelli sono espressi in prezzo per milione di token?: Perché il costo di un singolo token è una frazione di centesimo, troppo piccola da comunicare in modo leggibile: moltiplicarla per un milione dà una cifra su cui si può ragionare e confrontare fornitori diversi.
Perché i token in uscita costano più di quelli in ingresso?: Perché generare un token richiede che il modello lo produca uno alla volta attraverso l'intero calcolo della rete, mentre i token in ingresso possono essere elaborati insieme in un solo passaggio, il che li rende meno costosi da processare.