Glossario · Intelligenza artificiale
Cache di prompt
Il meccanismo con cui un modello riutilizza il calcolo già fatto su una parte di testo inviata in precedenza, invece di rielaborarla da zero: quando funziona, quella parte costa meno.
- In inglese
- prompt caching
- Si dice anche
- cache dei prompt
Significato di «cache di prompt»
«Cache» è un termine informatico che indica una memoria temporanea in cui si conserva un risultato già calcolato, per non doverlo ricalcolare la volta successiva. Applicato ai modelli linguistici, indica la conservazione del calcolo già svolto su una porzione di testo — per esempio le istruzioni iniziali di una conversazione — perché possa essere riusata invece che rifatta da capo a ogni richiesta.
Cosa vuol dire «cache di prompt» in una notizia
Nelle notizie sui prezzi dei modelli, la cache di prompt è il motivo per cui due richieste apparentemente identiche possono avere costi diversi. Se la parte iniziale di un prompt è già stata elaborata di recente e si trova ancora in memoria, il fornitore può saltare parte del calcolo e far pagare meno quei token; se non lo è, deve elaborarla per intero al prezzo pieno.
Come funziona, spiegato semplice
Molte richieste inviate a un modello condividono una parte fissa — istruzioni di sistema, un documento allegato, la cronologia di una conversazione — ripetuta identica da un messaggio all'altro, seguita da una parte che cambia. Elaborare da zero la parte fissa ogni volta è uno spreco di calcolo, perché il risultato sarebbe identico alla volta precedente.
Quando quella parte fissa si trova ancora nella memoria del sistema perché è stata elaborata di recente, si parla di cache hit: il fornitore riutilizza il calcolo già fatto e applica un prezzo ridotto a quei token, oltre a rispondere più rapidamente. Quando invece la cache non contiene quella parte — perché è la prima richiesta, o perché è passato troppo tempo dall'ultima e la memoria è stata liberata — si parla di cache miss, e quei token vengono fatturati al prezzo pieno, come se la cache non esistesse.
È per questo che il prezzo effettivo di un uso reale del modello dipende da quanto un'applicazione ripete la stessa parte di prompt in richieste ravvicinate: chi struttura le proprie richieste per sfruttare la cache paga sistematicamente meno di chi, inviando ogni volta un testo leggermente diverso fin dall'inizio, provoca un cache miss a ogni chiamata.
Come si usa
Compare nei listini dei modelli come una riga di prezzo separata — spesso più bassa di un ordine di grandezza rispetto al prezzo pieno dei token in ingresso — ed è per questo che confrontare due listini richiede di guardare non solo il prezzo pieno, ma anche quello scontato in caso di cache hit.
L'errore più comune su «cache di prompt»
Leggere il prezzo per milione di token di un listino senza notare che si riferisce solo al caso di cache miss, e quindi sovrastimare — o sottostimare, guardando solo il prezzo scontato — il costo reale di un uso che in pratica avrà una parte di cache hit e una di cache miss mescolate insieme.
Domande frequenti su «cache di prompt»
- Cosa vuol dire cache di prompt?
- È il riutilizzo del calcolo già fatto su una parte di testo inviata in precedenza a un modello, così da non doverla rielaborare da zero a ogni nuova richiesta.
- Che differenza c'è fra cache hit e cache miss?
- Un cache hit avviene quando la parte iniziale del prompt è già in memoria e il fornitore riutilizza il calcolo fatto, a un prezzo ridotto. Un cache miss avviene quando quella parte non è in memoria e va elaborata per intero, al prezzo pieno.
- Perché un cache hit costa meno di un cache miss?
- Perché il calcolo più oneroso — l'elaborazione della parte di testo ripetuta — è già stato svolto in una richiesta precedente: riusarlo richiede meno lavoro al sistema, e quel risparmio si riflette in un prezzo più basso per quei token.
- Perché i listini dei modelli sono difficili da leggere su questo punto?
- Perché spesso indicano un prezzo per i token in cache e uno per i token fuori cache, e il costo reale di un uso dipende da quanti di essi finiscono nell'una o nell'altra categoria, cosa che il solo prezzo per milione di token non mostra.