Um cientista de dados recentemente argumentou comigo que deveríamos parar de usar o termo "alucinação" e apenas chamar essas saídas do que elas realmente são: erros. A premissa é simples — chamá-las de erros estabeleceria expectativas mais razoáveis para o comportamento da IA. Embora esse argumento possa fazer sentido para alguém que vem de uma formação em estatística ou programação, ele fundamentalmente não entende como a IA funciona e por que o termo "alucinação" é na verdade mais apropriado, embora imperfeito.
O mal-entendido da natureza da IA
De uma perspectiva estatística, um erro é um desvio de um valor ou padrão conhecido. É fácil de quantificar, fácil de detectar e há um claro senso de certo e errado. Se um modelo prevê uma probabilidade de 20% quando a probabilidade real é de 30%, chamamos isso de erro. Podemos medir esse desvio, ajustar o modelo e seguir em frente.
Para um cientista de dados acostumado a trabalhar dentro dessa estrutura, é natural ver saídas de LLM que são factualmente incorretas como apenas outro tipo de erro. Se um modelo de IA diz: "Um círculo tem três lados", então ele claramente cometeu um erro — como um modelo de regressão produzindo um outlier bizarro. O problema com essa comparação é que ela aplica uma definição estreita de erro a um sistema que gera linguagem, não valores discretos. Modelos de IA como GPT-4 não "cometem erros" no sentido tradicional porque não têm um padrão objetivo claro como aqueles encontrados em estatísticas.
Por que chamamos isso de "alucinação"
Modelos de linguagem de IA geram sequências de tokens — palavras e frases — com base em padrões probabilísticos. Esses padrões são aprendidos de grandes quantidades de dados de texto, e os modelos produzem a sequência mais provável de palavras dado o contexto. Por causa dessa estrutura, um modelo de linguagem pode gerar uma frase sintaticamente correta, mas semanticamente falha.
Imagine estas duas afirmações:
"Um círculo tem três lados."
"O professor disse que um círculo tem três lados."
Se você avaliar isso em uma base token por token, ambos podem ser saídas altamente prováveis com base em seu contexto anterior. A primeira declaração é objetivamente falsa, enquanto a segunda declaração poderia ser contextualmente verdadeira se um professor realmente fizesse essa afirmação errônea. O modelo não tem uma compreensão interna de geometria ou verdade — ele está simplesmente gerando palavras que se encaixam bem. É por isso que quando a saída é um absurdo, nós a chamamos de "alucinação" em vez de um erro. O modelo não cometeu um erro de acordo com sua própria mecânica; ele apenas produziu uma sequência de texto improvável, mas que soa plausível.
A inadequação de chamar isso de "erro"
Rotular tais saídas como erros cria a falsa impressão de que esses modelos deveriam saber mais. Mas saber requer entendimento, e não é assim que os modelos de IA são construídos. Eles não "sabem" da maneira como os humanos sabem, nem validam declarações contra uma linha de base factual. Não há "verdade" inerente dentro da arquitetura de um LLM. O modelo opera com base em padrões e associações, não em consistência lógica ou precisão factual.
Quando ouço o argumento de que alucinações de IA são "erros lógicos" ou "erros de entrada", isso me lembra do ditado Garbage In, Garbage Out (GIGO) na programação tradicional. Se suas entradas forem falhas ou sua estrutura lógica estiver errada, o sistema produz saídas erradas. Mas essa analogia só vai até certo ponto com IA porque a linguagem e o contexto são muito mais matizados do que uma planilha de valores ou uma consulta de banco de dados.
Um LLM não comete erros lógicos no sentido de programação. Em vez disso, ele não tem um processo de verificação interna para garantir que o que ele está dizendo é verdade. Imagine tentar aplicar a mesma lógica a estilos artísticos ou criatividade. Se uma imagem gerada por IA combina elementos de um gato e uma nuvem, chamá-la de "erro" é inapropriado. O modelo não errou — ele produziu uma criação plausível, mas sem sentido, com base em seus dados de entrada e processo generativo.
Alucinações e Percepção Humana
Essa distinção é crucial porque chamar essas saídas de "erros" pode induzir as pessoas a pensar que os LLMs estão cometendo erros simples que podem ser corrigidos com melhor lógica ou mais dados. Mas alucinações em LLMs não são bugs que podem ser corrigidos. Elas são um subproduto de como esses modelos funcionam — de gerar texto sem um senso de verdade embutido. O ônus ainda está no usuário humano para orientar a saída da IA, elaborando melhores prompts, definindo parâmetros mais claros e usando ferramentas de pós-processamento para verificar fatos.
É por isso que o termo "alucinação", embora imperfeito, está mais próximo da realidade. Ele transmite que o modelo não está apenas produzindo um erro, mas fabricando novo conteúdo — fabricações que são uma consequência natural de seu design, não o resultado de lógica ruim ou entradas defeituosas. Ele serve como um lembrete de que esses modelos são generativos, não analíticos. Eles não têm uma compreensão da realidade e podem produzir conteúdo completamente fabricado, mesmo quando todas as entradas parecem perfeitas.
Definindo expectativas para os resultados da IA
Em última análise, o argumento do cientista de dados vem de um lugar de querer simplificar os comportamentos da IA para o usuário final. Se chamarmos essas saídas de "erros", talvez as pessoas entendam melhor as limitações da IA. Mas, na realidade, essa simplificação faz um desserviço à complexidade desses modelos. Precisamos ajudar as pessoas a entender que os modelos de IA não pensam, raciocinam ou entendem — eles preveem e geram. Suas alucinações não são "erros" em um sentido mecânico ou estatístico, mas são artefatos intrínsecos de como eles operam.
Até que desenvolvamos modelos de IA com mecanismos integrados para validar a verdade, continuaremos a ver resultados que não são apenas factualmente errados, mas às vezes fantásticos. E à medida que refinamos nossa linguagem e expectativas em torno da IA, precisamos manter termos como "alucinação" em vigor — mesmo que seja apenas para nos lembrar de que esses modelos ainda não são capazes de compreensão verdadeira.
Então, embora eu aprecie o sentimento por trás da rotulagem dessas saídas como erros, isso inadvertidamente elimina as nuances que tornam as alucinações de IA fundamentalmente diferentes dos erros estatísticos com os quais muitos cientistas de dados estão familiarizados. À medida que continuamos a refinar nossos modelos e nossa linguagem, vale a pena manter essas distinções em mente para definir expectativas mais claras sobre o que a IA pode e não pode fazer.
