Como você previne alucinações de grandes modelos de linguagem (LLMs) em aplicativos GenAI? Os LLMs precisam de dados em tempo real, contextualizados e confiáveis para gerar as saídas mais confiáveis.
Esta postagem do blog explica como o RAG (Retrieval Augmented Generation) e uma plataforma de streaming de dados com Apache Kafka e Flink tornam isso possível. Um vídeo de lightboard mostra como construir uma arquitetura RAG em tempo real específica para o contexto. Além disso, aprenda como a agência de viagens Expedia aproveita o streaming de dados com IA Generativa usando chatbots conversacionais para melhorar a experiência do cliente e reduzir o custo dos agentes de serviço.
O que é Retrieval Augmented Generation (RAG) no GenAI?
IA generativa (GenAI) refere-se a sistemas de inteligência artificial (IA) que podem criar novos conteúdos, como texto, imagens, música ou código, muitas vezes imitando a criatividade humana. Esses sistemas usam técnicas avançadas de aprendizado de máquina, particularmente modelos de aprendizado profundo como redes neurais, para gerar dados que se assemelham aos dados de treinamento aos quais foram alimentados. Exemplos populares incluem modelos de linguagem como GPT-3 para geração de texto e DALL-E para criação de imagem.
No entanto, esses modelos de IA generativa podem sofrer de um problema chamado "alucinação", onde eles geram conteúdo que parece plausível, mas é de fato incorreto ou não relacionado ao contexto. Isso pode ser um desafio significativo para aplicativos do mundo real que dependem da geração de conteúdo preciso e confiável.
É aqui que entra o Retrieval Augmented Generation (RAG). O RAG é uma técnica que combina a geração de conteúdo com a recuperação de informações relevantes de uma base de conhecimento. Isso ajuda a melhorar a precisão e a relevância do conteúdo gerado, reduzindo a probabilidade de alucinações.
A ideia básica por trás do RAG é que, em vez de gerar conteúdo apenas com base no modelo de linguagem treinado, o sistema também recupera informações relevantes de uma base de conhecimento e as integra na geração de conteúdo. Isso garante que o conteúdo gerado seja mais preciso, relevante e contextualizado.
Construindo uma Arquitetura RAG em Tempo Real
Para implementar o RAG de maneira eficaz, é essencial ter acesso a dados em tempo real, contextualizados e confiáveis. Isso é onde uma plataforma de streaming de dados como Apache Kafka e Apache Flink entra em jogo.
Veja um diagrama de alto nível de como uma arquitetura RAG em tempo real pode ser construída:
Nesta arquitetura:
-
Fontes de Dados em Tempo Real: Várias fontes de dados em tempo real, como feeds de notícias, dados de sensores, transações comerciais, etc., são ingeridas na plataforma de streaming de dados usando o Apache Kafka.
-
Processamento em Tempo Real com Apache Flink: O Apache Flink é usado para processar esses dados em tempo real, aplicando transformações, enriquecimento e filtragem conforme necessário. Isso garante que os dados sejam limpos, contextualizados e prontos para serem usados pelo modelo RAG.
-
Modelo RAG: O modelo RAG é treinado usando uma combinação do modelo de linguagem e da base de conhecimento enriquecida pelos dados em tempo real do Flink. Isso permite que o modelo gere conteúdo preciso e relevante, evitando alucinações.
-
Aplicativo GenAI: O aplicativo GenAI, como um chatbot ou um sistema de geração de conteúdo, usa o modelo RAG para gerar conteúdo em tempo real, aproveitando os dados contextualizados fornecidos pela plataforma de streaming.
Essa arquitetura garante que o modelo RAG tenha acesso a informações atualizadas e relevantes, permitindo que ele gere conteúdo preciso e evite alucinações. Veja um vídeo de lightboard explicando essa arquitetura em mais detalhes:
Caso de Uso: Expedia e Chatbots Conversacionais
Um ótimo exemplo de como essa abordagem de RAG em tempo real pode ser aplicada na prática é o caso da agência de viagens Expedia.
A Expedia está usando IA generativa, incluindo chatbots conversacionais, para melhorar a experiência do cliente e reduzir os custos dos agentes de serviço. No entanto, eles enfrentaram o desafio de garantir que seus chatbots gerassem respostas precisas e relevantes, evitando alucinações.
Para resolver esse problema, a Expedia implementou uma arquitetura RAG em tempo real, semelhante à descrita anteriormente. Eles usaram o Apache Kafka para ingerir dados em tempo real de várias fontes, como reservas de viagens, informações de voos e hotéis, e notícias relevantes. Esses dados foram então processados em tempo real pelo Apache Flink, que os limpou, enriqueceu e os tornou prontos para serem usados pelo modelo RAG.
O modelo RAG da Expedia foi treinado usando essa base de conhecimento em tempo real, juntamente com seu modelo de linguagem. Isso permitiu que os chatbots da Expedia gerassem respostas precisas e relevantes para os clientes, aproveitando as informações mais atualizadas e contextualizadas.
Como resultado, a Expedia viu uma melhoria significativa na satisfação do cliente e uma redução nos custos de atendimento ao cliente, à medida que os chatbots se tornaram cada vez mais eficazes e confiáveis na geração de respostas úteis.
Conclusão
À medida que a IA generativa se torna cada vez mais onipresente, é essencial abordar o desafio das alucinações de modelos de linguagem. O Retrieval Augmented Generation (RAG) e uma plataforma de streaming de dados em tempo real, como Apache Kafka e Flink, oferecem uma solução poderosa para esse problema.
Ao combinar a geração de conteúdo com a recuperação de informações relevantes de uma base de conhecimento atualizada em tempo real, os aplicativos GenAI podem gerar conteúdo preciso, relevante e confiável, evitando alucinações. Isso abre caminho para uma ampla gama de aplicativos transformadores, desde chatbots conversacionais até sistemas de geração de conteúdo.
À medida que a IA generativa continua a evoluir, é essencial que os desenvolvedores adotem abordagens como o RAG para garantir que esses sistemas sejam confiáveis e atendam às necessidades do mundo real. Com a ajuda de plataformas de streaming de dados em tempo real, essa visão pode se tornar realidade.
