Glossario · Intelligenza artificiale
Gateway di inferenza
Un servizio che si colloca fra chi usa un modello linguistico e i fornitori che lo offrono, smistando le richieste verso l'uno o l'altro modello secondo prezzo, velocità o disponibilità.
- In inglese
- inference gateway
- Si dice anche
- gateway per modelli, router di inferenza
Significato di «gateway di inferenza»
«Gateway» in inglese significa cancello, punto di passaggio obbligato: nell'informatica di rete indica da tempo un nodo attraverso cui il traffico passa per essere instradato verso destinazioni diverse. «Inferenza» è qui il termine tecnico per l'uso operativo di un modello già addestrato, cioè il calcolo che produce una risposta a partire da una richiesta. Un gateway di inferenza è dunque il punto di passaggio attraverso cui le richieste rivolte a un modello vengono instradate.
Cosa vuol dire «gateway di inferenza» in una notizia
Nelle notizie sui prodotti costruiti sopra i modelli linguistici, un gateway di inferenza è il servizio intermedio a cui un'azienda si collega invece di collegarsi direttamente a un singolo fornitore di modelli: il gateway riceve la richiesta e la smista verso uno dei modelli disponibili al suo interno, spesso scegliendo in base a prezzo, velocità o disponibilità del momento.
Come funziona, spiegato semplice
Un gateway di inferenza permette a chi costruisce un prodotto di appoggiarsi a più fornitori di modelli attraverso un solo punto di accesso, invece di gestire separatamente il collegamento a ciascuno. È uno degli strumenti concreti con cui si realizza una strategia model-agnostic: il gateway assorbe le differenze tecniche fra i vari fornitori e presenta un'unica interfaccia a chi lo usa.
Oltre a smistare le richieste, molti gateway offrono servizi aggiuntivi come il monitoraggio della velocità e dei costi dei diversi modelli che rivendono, presentandoli in classifiche o cruscotti comparativi rivolti ai propri clienti.
Queste classifiche vanno lette con cautela, perché il gateway che le pubblica non è un osservatore esterno: vende l'accesso agli stessi modelli che sta misurando, e ha un interesse economico diretto a orientare le scelte dei propri clienti verso i modelli più convenienti per sé o verso l'immagine di completezza e affidabilità del proprio servizio.
Come si usa
Compare nelle notizie sulle infrastrutture che le aziende usano per collegarsi a più modelli contemporaneamente, e nei riferimenti a classifiche di velocità o prezzo dei modelli pubblicate da questi servizi.
L'errore più comune su «gateway di inferenza»
Trattare le classifiche di velocità o prestazioni pubblicate da un gateway di inferenza come una misurazione indipendente. Un gateway che pubblica classifiche dei modelli che rivende ha un interesse economico nel risultato di quella classifica: non è un misuratore neutrale, anche quando i numeri che riporta sono accurati.
Domande frequenti su «gateway di inferenza»
- Cosa vuol dire gateway di inferenza?
- È un servizio che si colloca fra chi usa un modello e i fornitori che lo offrono, smistando le richieste verso un modello o l'altro in base a criteri come prezzo, velocità o disponibilità.
- A cosa serve un gateway di inferenza?
- Permette a chi costruisce un prodotto di collegarsi a più fornitori di modelli attraverso un solo punto di accesso, invece di gestire separatamente il collegamento a ciascuno di essi.
- Ci si può fidare delle classifiche di velocità pubblicate da un gateway di inferenza?
- Vanno lette con cautela: il gateway vende l'accesso agli stessi modelli che misura, quindi ha un interesse economico diretto nel risultato, e non va considerato un osservatore indipendente.