Um ranking faz com que uma escolha complexa pareça agradavelmente simples. Encontre a pontuação mais alta, escolha esse modelo e siga em frente. A dificuldade retorna quando a primeira tarefa real chega com um documento mal formatado, uma instrução ambígua ou um prazo. É por aí que eu começaria a comparação: com o trabalho que precisa ser finalizado e uma descrição clara de como seria um bom resultado.
O que a pontuação realmente mede
Um benchmark é uma coleção definida de tarefas e um método para pontuar as respostas. Seu valor reside em tornar a comparação repetível. Um modelo que apresenta bom desempenho nessas tarefas demonstrou algo útil nessas condições. A próxima questão é o quão semelhantes essas condições são às que você considera importantes.
A pesquisa original do HELM de Stanford, apresentada em 2022, defendeu a avaliação de modelos de linguagem em diferentes cenários e com múltiplas métricas. A precisão era apenas uma parte dessa abordagem; eficiência, robustez e outras propriedades também importavam. Essa pesquisa mais antiga é útil aqui por seu método, não como uma classificação atual de produtos.
Faça o teste parecer com uma terça-feira normal.
Suponha que você queira ajuda para transformar mensagens de clientes em uma lista semanal de problemas recorrentes. Um questionário de conhecimentos gerais pode não lhe dizer muito sobre se um sistema preserva o significado de uma reclamação, lida com uma frase confusa ou evita inventar a intenção do cliente. Seu próprio teste poderia usar um pequeno conjunto de exemplos não confidenciais com as categorias esperadas anotadas com antecedência.
Inclua um exemplo simples, um exemplo confuso e um caso em que a resposta correta seja pedir esclarecimentos. Mantenha as instruções e o material de origem disponível iguais para cada modelo. Isso não produzirá um veredicto científico sobre todos os usos possíveis, mas pode revelar uma incompatibilidade antes que você crie um fluxo de trabalho em torno dela.
Conte o tempo gasto corrigindo a resposta.
Considere um teste ilustrativo de dez resumos curtos. O Sistema A leva dez minutos para executar e vinte minutos para verificar e corrigir. O sistema B leva quinze minutos para executar e cinco minutos para revisar. Se ambos, em última análise, entregarem resultados aceitáveis, o trabalho total será de trinta minutos para A e vinte para B. A resposta inicial mais rápida não resultou em um trabalho finalizado mais rapidamente.
Esta é a ideia por trás do custo por resultado útil. O custo pode incluir taxas de assinatura, tempo de espera, verificação e as consequências de um erro. Esses números hipotéticos não são medições de nenhum produto específico. Eles mostram por que uma pequena diferença em uma pontuação pública pode importar menos do que um problema repetido em seu processo real.
Uma resposta fluente ainda precisa de evidências.
A calibração descreve o quão bem a confiança expressa por um sistema corresponde à sua correção. Para o leitor, a questão prática é se a incerteza se torna visível quando as evidências são fracas. Uma resposta que fornece um número preciso sem suporte pode ser mais difícil de usar do que uma que identifica uma entrada ausente.
A Estrutura de Gerenciamento de Riscos de IA voluntária do NIST coloca a avaliação dentro da questão mais ampla de como um sistema é usado e quais riscos decorrem disso. Eu tiro uma lição modesta disso: decida antecipadamente quais saídas exigem verificação independente, quais informações devem ficar fora da ferramenta e o que faria você parar de usá-la para uma tarefa específica.
Mantenha um pequeno registro da decisão.
Salve a versão do modelo, a data do teste, as instruções e alguns resultados representativos. Reavalie a escolha quando o produto ou seu trabalho mudarem substancialmente. Um exemplo salvo costuma ser mais informativo do que a lembrança de que um assistente se sentiu melhor há alguns meses.
Minha preferência é por uma lista restrita e concisa, apoiada por um teste transparente. A tabela de classificação pode ajudar a encontrar candidatos. A escolha final deve se basear na capacidade da ferramenta de ajudar você a concluir o trabalho que realmente precisa realizar.
Escolha pelo trabalho que precisa ser feito
Compare os modelos em tarefas representativas, usando as mesmas condições, e contabilize o tempo de revisão juntamente com a velocidade de resposta.
Uma pontuação mais alta no benchmark significa que um modelo será melhor para o meu trabalho?
Trata-se de uma evidência sobre as tarefas e condições do benchmark. Teste exemplos representativos do seu próprio fluxo de trabalho antes de considerá-lo uma resposta geral.
Participe da conversa
Os comentários aparecem após análise e aprovação. Opiniões diferentes sobre o tema são bem-vindas.