Um estudo recente realizado por pesquisadores da Apple revelou que os grandes modelos de linguagem que impulsionam as plataformas de inteligência artificial podem não ser tão inteligentes quanto aparentam. Tradicionalmente, o teste GSM8K tem sido o método mais utilizado para avaliar as capacidades de raciocínio desses modelos.
Apesar de sua validação por especialistas, a popularidade do teste levanta a questão de que os modelos podem ter sido expostos às respostas durante seu treinamento, o que explicaria seu bom desempenho.
Introdução ao novo Método de Avaliação: GSM-Symbolic
Partindo dessa premissa, os pesquisadores da Apple desenvolveram um novo método chamado GSM-Symbolic. Embora mantenha a mesma estrutura das questões de raciocínio, ele altera as variáveis. Os resultados foram surpreendentes, mas negativos, evidenciando falhas nos modelos de linguagem natural.
Desempenho Decepcionante dos Principais Modelos de IA
Modelos desenvolvidos pela OpenAI, Microsoft, Google e Meta mostraram um padrão semelhante: ao modificar as variáveis, seu desempenho decaiu. A conclusão foi que esses modelos são mais aptos a reconhecer padrões complexos do que a raciocinar de fato.
O Caso do Modelo "o1" da OpenAI
Isso inclui o modelo "o1", apresentado recentemente pela OpenAI, que, ao invés de fornecer respostas imediatas, teria a capacidade de "refletir" mais sobre as questões, aumentando a precisão das respostas. No entanto, a empresa admitiu que não conseguiu eliminar completamente as chamadas alucinações da IA.
A Falha em Interpretar Informações Irrelevantes
O desempenho dos modelos foi particularmente ruim quando os pesquisadores inseriram sentenças irrelevantes nas questões. Nestes casos, os modelos tendem a considerar detalhes irrelevantes, evidenciando uma falha em interpretar a relevância das informações.
Resultados Alarmantes: Queda Significativa na Precisão
Embora o modelo o1 da OpenAI tenha alcançado o melhor desempenho, ele ainda apresentou uma queda de 17,5% na precisão, um resultado alarmante. O modelo Phi, da Microsoft, foi ainda pior, com uma redução de 65% na precisão.
Conclusão: A Necessidade de Cautela com os Grandes Modelos de IA
Os cientistas ressaltam que esses modelos não compreendem verdadeiramente conceitos matemáticos e carecem de capacidade para classificar a relevância das informações. O estudo serve como um alerta para a necessidade de cautela em relação aos grandes modelos de IA que prometem revolucionar o mundo.
Implicações e Desafios Futuros
À medida que a inteligência artificial avança, é crucial que os pesquisadores e desenvolvedores mantenham uma postura crítica e continuem a explorar os limites e as falhas desses sistemas. Somente assim poderemos garantir que a IA seja desenvolvida de forma responsável e segura, atendendo às necessidades da sociedade.
