A IA pode realmente raciocinar, ou é apenas um papagaio digital sofisticado? Experimentos recentes com modelos populares de IA como ChatGPT, LLaMa, Gemini e Grok revelaram algumas verdades preocupantes sobre suas habilidades de resolução de problemas – e sua inesperada predileção por sobremesa.
O Desafio do Quebra-cabeça de Aniversário
Eu me propus a replicar e expandir experimentos conduzidos pelo Bank of International Settlements e pelo jornalista Tim Harford. O teste? O infame quebra-cabeça lógico "Cheryl's Birthday" e uma variação engenhosa.
"Cheryl's Birthday" é um problema de lógica em que Bernard e Albert devem deduzir o aniversário de Cheryl a partir de um conjunto de pistas. Ele testa o raciocínio dedutivo e o processamento de informações.
Aqui está o que eu encontrei:
O quebra-cabeça original
A maioria das IAs resolveu com facilidade. (Exceto você, Geminiano. O que aconteceu lá?)
Versão com nome trocado
Quase todas as IAs tropeçaram quando renomeamos os atores e trocamos meses e números por palavras aleatórias.
Bolo de Cenoura Razoável(?)
Os métodos avançados do ChatGPT-o1 são um avanço. Sua cadeia de raciocínio enxerga além da ofuscação muito mais do que qualquer concorrente. O avanço ainda tropeça em seu dente doce. Curiosamente, ele pode descartar "bolo", mas então escolhe "Cenoura" porque essa era a opção mais doce restante (e ainda errada):
Por que isso é importante (muito)
Raciocínio vs. Regurgitação
Esses experimentos lançam dúvidas sobre se a IA é realmente "raciocinadora" ou apenas muito boa em correspondência de padrões.
Fácil de Manipular
Uma única frase irrelevante muda drasticamente as respostas de IA. Imagine as implicações para consultas mais complexas!
RAG e dados confidenciais
Se a IA tem dificuldades com quebra-cabeças lógicos simples, como podemos confiar que ela analisará nossos documentos confidenciais e extrairá insights significativos?
Fabricação da "verdade"
Sistemas que geram múltiplas respostas de IA e as agregam para maior precisão podem ser facilmente influenciados por sugestões cuidadosamente colocadas.
O bolo é uma mentira (referência ao portal pretendida)
Não se trata apenas de quebra-cabeças de aniversário e preferências de sobremesas. É um chamado para despertar qualquer organização que esteja considerando IA para processos críticos de tomada de decisão.
Precisamos:
- Testes mais rigorosos
- Maior transparência nos processos de raciocínio da IA
- Salvaguardas robustas contra manipulação
Até lá, aborde os insights gerados pela IA com uma dose saudável de ceticismo. A promessa da IA é tentadora, mas não podemos deixá-la comer o nosso bolo e tê-lo também.
