Una classifica rende una scelta complessa piacevolmente semplice. Trova il punteggio più alto, scegli quel modello e vai avanti. La difficoltà ritorna quando arriva il primo vero compito con un documento formattato male, un'istruzione ambigua o una scadenza. Ecco da dove inizierei il confronto: dal lavoro da completare e da una chiara descrizione di come dovrebbe essere un buon risultato.
Cosa misura effettivamente il punteggio
Un benchmark è una raccolta definita di attività e un metodo per assegnare un punteggio alle risposte. Il suo valore deriva dalla possibilità di rendere ripetibile il confronto. Un modello che si comporta bene su tali attività ha dimostrato di essere utile in quelle condizioni. La domanda successiva è quanto queste condizioni assomiglino a quelle di vostro interesse.
La ricerca HELM originale di Stanford, presentata nel 2022, sosteneva la necessità di valutare i modelli linguistici in diversi scenari e con molteplici parametri. L'accuratezza era solo una parte di questo approccio; anche l'efficienza, la robustezza e altre proprietà erano importanti. Questa ricerca precedente è utile qui per il suo metodo, non come classifica attuale dei prodotti.
Rendi il test simile a un normale martedì.
Supponiamo che tu voglia aiuto per trasformare i messaggi dei clienti in un elenco settimanale di problemi ricorrenti. Un quiz di cultura generale potrebbe dirti poco sulla capacità di un sistema di preservare il significato di un reclamo, gestire una frase ambigua o evitare di interpretare erroneamente le intenzioni del cliente. Il tuo test potrebbe utilizzare un piccolo set di esempi non riservati, con le categorie previste già definite in anticipo.
Includi un esempio semplice, uno più complesso e un caso in cui la risposta corretta è chiedere chiarimenti. Mantieni le stesse istruzioni e il materiale di riferimento disponibile per ogni modello. Questo non produrrà un verdetto scientifico su ogni possibile utilizzo, ma può rivelare un'incongruenza prima di costruire un flusso di lavoro attorno ad essa.
Conta il tempo impiegato per correggere la risposta.
Considera un test esemplificativo con dieci brevi riassunti. Il sistema A impiega dieci minuti per l'esecuzione e venti minuti per la verifica e la correzione. Il sistema B impiega quindici minuti per l'esecuzione e cinque per la revisione. Se entrambi i sistemi forniscono risultati accettabili, il lavoro totale è di trenta minuti per il sistema A e venti per il sistema B. La risposta iniziale più rapida non ha comportato un lavoro finito più veloce.
Questo è il concetto alla base del costo per risultato utile. Il costo può includere le spese di abbonamento, i tempi di attesa, i controlli e le conseguenze di un errore. Questi numeri ipotetici non si riferiscono a un prodotto specifico. Mostrano perché una piccola differenza in un punteggio pubblico può essere meno rilevante di un problema ripetuto nel processo reale.
Una risposta chiara e concisa necessita comunque di prove.
La calibrazione descrive quanto bene il livello di confidenza espresso da un sistema corrisponda alla sua correttezza. Per un lettore, la questione pratica è se l'incertezza venga resa visibile quando le prove sono deboli. Una risposta che fornisce un numero preciso senza supporto può essere più difficile da utilizzare rispetto a una che identifica un input mancante.
Il Framework volontario di gestione del rischio dell'IA del NIST colloca la valutazione all'interno della questione più ampia di come viene utilizzato un sistema e quali rischi ne derivano. Ne traggo un piccolo insegnamento: decidere in anticipo quali output richiedono una verifica indipendente, quali informazioni devono rimanere fuori dallo strumento e cosa vi indurrebbe a smettere di usarlo per una particolare attività.
Tenere una piccola documentazione della decisione.
Salvare la versione del modello, la data del test, le istruzioni e alcuni risultati rappresentativi. Riconsiderare la scelta quando il prodotto o il lavoro subiscono modifiche sostanziali. Un esempio salvato è spesso più informativo del ricordo di un assistente che si sentiva meglio qualche mese fa.
Preferisco una breve lista di candidati supportata da una prova trasparente. La classifica può aiutarti a trovare i candidati. La scelta finale dovrebbe basarsi sulla capacità dello strumento di aiutarti in modo affidabile a completare il lavoro che devi effettivamente svolgere.
Scegliere in base al lavoro da svolgere
Confrontare i modelli su attività rappresentative, utilizzando le stesse condizioni, e considerare il tempo di revisione insieme alla velocità di risposta.
Un punteggio di benchmark più alto significa che un modello sarà migliore per il mio lavoro?
È una prova relativa ai compiti e alle condizioni del benchmark. Testa esempi rappresentativi del tuo flusso di lavoro prima di considerarlo una risposta generale.
Partecipa alla discussione
I commenti vengono mostrati dopo la verifica e l’approvazione. Sono benvenuti dissensi pertinenti.