Quantas vezes a letra "r" aparece na palavra "strawberry"? De acordo com formidáveis produtos de IA como GPT-4 e Claude, a resposta é duas vezes. Grandes modelos de linguagem (LLMs) podem escrever ensaios e resolver equações em segundos. Eles podem sintetizar terabytes de dados mais rápido do que humanos podem abrir um livro. No entanto, essas IAs aparentemente oniscientes às vezes falham tão espetacularmente que o acidente se transforma em um meme viral, e todos nós nos regozijamos aliviados porque talvez ainda haja tempo antes de termos que nos curvar aos nossos novos senhores da IA.
A falha de grandes modelos de linguagem em entender os conceitos de letras e sílabas é indicativa de uma verdade maior que frequentemente esquecemos: Essas coisas não têm cérebros. Elas não pensam como nós. Elas não são humanas, nem mesmo particularmente parecidas com humanos.
A Arquitetura dos Transformers
A maioria dos LLMs é construída em transformers, um tipo de arquitetura de aprendizado profundo. Os modelos de transformers quebram o texto em tokens, que podem ser palavras completas, sílabas ou letras, dependendo do modelo. Isso ocorre porque os transformadores não conseguem receber ou emitir texto real de forma eficiente. Em vez disso, o texto é convertido em representações numéricas de si mesmo, que são então contextualizadas para ajudar a IA a chegar a uma resposta lógica.
Em outras palavras, a IA pode saber que os tokens "straw" e "berry" compõem "strawberry", mas pode não entender que "strawberry" é composto pelas letras "s", "t", "r", "a", "w", "b", "e", "r", "r" e "y", nessa ordem específica. Portanto, ela não pode dizer quantas letras — muito menos quantos "r"s — aparecem na palavra "strawberry".
Esse não é um problema fácil de resolver, pois está incorporado à própria arquitetura que faz esses LLMs funcionarem. Esse problema se torna ainda mais complexo à medida que um LLM aprende mais idiomas. Por exemplo, alguns métodos de tokenização podem assumir que um espaço em uma frase sempre precederá uma nova palavra, mas muitos idiomas como chinês, japonês, tailandês, laosiano, coreano, khmer e outros não usam espaços para separar palavras. A pesquisadora de IA do Google DeepMind, Yennie Jun, descobriu em um estudo de 2023 que alguns idiomas precisam de até 10 vezes mais tokens que o inglês para comunicar o mesmo significado.
"Provavelmente é melhor deixar os modelos olharem os personagens diretamente sem impor tokenização, mas agora isso é computacionalmente inviável para transformadores", disse Feucht.
Problemas Semelhantes em Geradores de Imagem
Geradores de imagens como Midjourney e DALL-E não usam a arquitetura de transformador que fica por baixo do capô de geradores de texto como ChatGPT. Em vez disso, geradores de imagens geralmente usam modelos de difusão, que reconstroem uma imagem a partir do ruído. Modelos de difusão são treinados em grandes bancos de dados de imagens, e eles são incentivados a tentar recriar algo parecido com o que aprenderam com os dados de treinamento.
Isso pode ocorrer porque esses detalhes menores não costumam aparecer tão proeminentemente em conjuntos de treinamento quanto conceitos como árvores geralmente têm folhas verdes. Os problemas com modelos de difusão podem ser mais fáceis de consertar do que aqueles que afligem os transformadores, no entanto. Alguns geradores de imagens melhoraram na representação de mãos, por exemplo, treinando em mais imagens de mãos humanas reais.
"Até o ano passado, todos esses modelos eram realmente ruins em dedos, e esse é exatamente o mesmo problema do texto", explicou Guzdial. "Eles estão ficando realmente bons nisso localmente, então se você olhar para uma mão com seis ou sete dedos, você pode dizer, 'Nossa, isso parece um dedo.' Da mesma forma, com o texto gerado, você pode dizer, isso parece um 'H', e isso parece um 'P', mas eles são realmente ruins em estruturar essas coisas todas juntas."
É por isso que, se você pedir a um gerador de imagens de IA para criar um menu para um restaurante mexicano, você poderá obter itens normais como "Tacos", mas terá mais probabilidade de encontrar ofertas como "Tamilos", "Enchidaa" e "Burhiltos".
O Futuro da IA
À medida que esses memes sobre soletrar "strawberry" se espalham pela internet, a OpenAI está trabalhando em um novo produto de IA com o codinome Strawberry, que supostamente é ainda mais hábil em raciocínio. O crescimento dos LLMs tem sido limitado pelo fato de que simplesmente não há dados de treinamento suficientes no mundo para tornar produtos como o ChatGPT mais precisos. Mas o Strawberry pode gerar dados sintéticos precisos para tornar os LLMs da OpenAI ainda melhores.
De acordo com o The Information, o Strawberry pode resolver os quebra-cabeças de palavras Connections do New York Times, que exigem pensamento criativo e reconhecimento de padrões para resolver, e pode resolver equações matemáticas que ele nunca viu antes.
Enquanto isso, o Google DeepMind revelou recentemente o AlphaProof e o AlphaGeometry 2, sistemas de IA projetados para raciocínio matemático formal. O Google diz que esses dois sistemas resolveram quatro de seis problemas da Olimpíada Internacional de Matemática, o que seria um desempenho bom o suficiente para ganhar uma medalha de prata na prestigiosa competição.
É um pouco troll que memes sobre a IA ser incapaz de soletrar "strawberry" estejam circulando ao mesmo tempo que relatórios sobre o Strawberry da OpenAI. Mas o CEO da OpenAI, Sam Altman, aproveitou a oportunidade para nos mostrar que ele tem uma produção de frutas vermelhas bem impressionante em seu jardim.
À medida que a IA continua a evoluir, é importante lembrar que, por mais impressionantes que sejam seus feitos, ela ainda tem limitações fundamentais. Entender essas limitações é crucial para que possamos aproveitar o poder da IA de maneira responsável e ética. Afinal, mesmo que a IA possa resolver equações complexas, ela ainda não pode entender algo tão simples quanto quantas vezes a letra "r" aparece em "strawberry".
