A IA se tornou parte integrante de todos os setores e revolucionou a forma como interagimos com a tecnologia. Como esperado, empresas de software de comunicação, produtividade e governança têm estado na vanguarda da integração de grandes modelos de linguagem, e a IA generativa agora está incorporada em quase todas as ferramentas que usamos diariamente. Neste ponto, deveríamos parar de chamá-lo de "IA" e reconhecê-lo como uma nova camada de interface.
Mas não podemos fazer isso ainda porque todos têm que embarcar no trem do hype, e podemos ficar impressionados com grandes conquistas de nomes de produtos, como "Slack AI" e "Notion AI".
A Integração de IA Generativa em ferramentas diárias
À medida que a IA se torna mais prevalente, um dos usos mais poderosos é sua integração em nossas ferramentas diárias, onde os LLMs impulsionam novas eficiências. Por exemplo, o Notion AI é uma das implantações de IA generativas mais impactantes. Ele trouxe pesquisa aprimorada — que nunca foi o ponto forte do Notion — e uma maneira superfácil de consultar espaços de trabalho inteiros, tratando o Notion como uma base de conhecimento superacessível. Além disso, agora você pode vincular outras ferramentas como Slack e Google Drive e consultar o conhecimento dentro delas a partir de uma única caixa de pesquisa. Isso lembra o aplicativo Alfred MacOS.
LLMs são incríveis com sistemas integrados, com uma pegadinha. Integrar LLMs em nossas ferramentas cotidianas oferece valor inegável, imenso potencial e promessas igualmente significativas. Uma vasta gama de ferramentas nos permite criar, editar e armazenar conhecimento, e você pode interagir com um único chat ou janela de pesquisa que pode resumir, consultar e exibir as informações exatas que você precisa em segundos. Por outro lado, você pode automatizar uma ampla gama de tarefas, do suporte à tomada de decisões sobre produtos, sem precisar de uma interface de usuário.
A grande vitória aqui é a disponibilidade instantânea de conhecimento e automação do trabalho de conhecimento. Tudo isso acontece nativamente sem alternar o contexto dentro de uma única plataforma que se integra com outras ferramentas e impulsiona o LLM. Quando essa plataforma também acontece de ser seu driver diário — como o Notion e o VS Code são para mim — você percebe o quão firmemente a IA pode ser tecida em suas operações diárias para que seja perfeita e pareça orgânica.
Os Desafios da Integração de LLMs
No entanto, quando se trata de LLMs, as coisas não são tão simples. A UX suave, onde você clica em um botão e usa OAuth durante a configuração, ofusca uma tonelada de complexidade:
- Dados de outras ferramentas devem ser divididos em pedaços menores antes de serem enviados ao LLM para garantir que não fiquem sobrecarregados em documentos grandes;
- A geração aumentada de recuperação (RAG) provavelmente garantirá que o LLM seja alimentado com as informações corretas para que não gere alucinações com respostas imprecisas;
- É necessária uma orquestração cuidadosa; os usuários finais têm pouca percepção de como tudo é configurado e gerenciado.
Assim como qualquer nova tecnologia, usar IA tem seus desafios. Apesar da conveniência, integrar LLMs com ferramentas interconectadas tem riscos significativos. Uma vez que os dados começam a cruzar várias plataformas, os riscos aumentam e a questão se torna: "Podemos confiar na ferramenta de orquestração para gerenciar dados de forma responsável?" É precisamente aqui que as coisas ficam confusas.
Minha Experiência com a Integração do Notion AI
Como meu pedido de integração com o Notion AI foi negado, as integrações de LLM podem parecer e ser perfeitas, mas muitas vezes enfrentam obstáculos de segurança.
Comecei minha segunda-feira da maneira usual — lendo muitos boletins informativos e notificações que me mantêm informado sobre o "wassup" do dia a dia. Uma mensagem da Notion me animou — eles cumpriram a promessa de integrar o Google Drive com a Notion AI para que possamos ter uma maneira perfeita de consultar o Notion, o Slack e o Google Drive. Incrível!
A Nutrient é certificada SOC 2, e levamos a segurança e a integridade dos nossos dados e dos dados dos nossos clientes muito a sério. Como resultado, eu não instalaria qualquer coisa e conectaria a uma ferramenta de toda a empresa. Pedi ansiosamente à minha equipe de operações permissão para instalar o conector Notion AI para o Google Drive, mas não recebi nenhuma permissão.
Para citar nosso oficial de segurança: "Eu ficaria preocupado em ter problemas semelhantes à vulnerabilidade de injeção de prompt encontrada com o Slack AI. Ou seja, é possível usar o Notion AI para lhe contar sobre coisas em documentos aos quais você não tem acesso?"
Isso me lembrou dos problemas com o Copilot para Microsoft 365, em que a Microsoft aconselhou as empresas a fortalecer a governança de dados. Em outras palavras, devemos ser vigilantes e assumir a responsabilidade de proteger nossos dados.
Ainda não terei a integração do Notion AI com o Google Drive, pelo menos não até que tenhamos mitigado riscos essenciais de segurança. Este é um exemplo de excitação da IA encontrando a realidade.
Riscos de Segurança em Integrações Alimentadas por IA
Embora a integração de LLMs com sistemas interconectados abra um mundo totalmente novo de possibilidades, ela também abre um portal para sérios riscos de segurança, o que pode forçar as empresas a não cumprirem a legislação de segurança e privacidade de dados. Quanto mais sistemas conectamos, mais complexos os pipelines de dados se tornam, e é aqui que as vulnerabilidades podem se infiltrar na ferramenta que orquestra a integração.
Injeção Rápida
O primeiro risco de segurança a ser observado é a injeção rápida. Isso ocorre quando alguém manipula a entrada que está sendo alimentada para um LLM para fazer com que ele retorne informações que não deveria. Muitos de nós brincamos com os guardrails do ChatGTP desde o lançamento do GPT-3. O Reddit está cheio de depoimentos de pessoas trabalhando em torno das restrições com tomadas interessantes, como um pôster do Reddit lançando um Priori Incantatem no ChatGPT, fazendo com que ele gerasse um prompt que pode contornar suas limitações.
O Notion AI é alimentado pelo ChatGPT, e não importa o quão longe o LLM e os aplicativos ao redor progridam com guardrails, provavelmente sempre haverá um jeito porque — no caso dos LLMs — seus recursos generativos também são seus piores inimigos. É como o Netflix bloqueando geograficamente o conteúdo, uma batalha sem fim de whack-o-mole descobrindo e bloqueando VPNs e proxies que contornam as regras.
Ao integrar a IA, temos pouca escolha a não ser confiar que a ferramenta de orquestração tem permissões totalmente em sandbox. Temos que confiar que ela não vai revelar detalhes e expor dados sensíveis a pessoas ou bots que não deveriam poder usá-los como a Slack AI fez, o que cria riscos.
OAuth não é Garantia
Então, há a falsa sensação de segurança associada ao OAuth. Todos nós amamos o OAuth porque ele faz com que as integrações pareçam perfeitas e seguras. No entanto, o OAuth não pode garantir que os dados que o LLM acessará tenham o escopo definido corretamente, ou pelo menos não de forma independente.
Sim, provavelmente podemos esperar que o que estiver usando o token OAuth para assinar solicitações ao Google não consiga buscar um recurso que nosso usuário não pode acessar no Google Drive. Mas o que acontece quando o LLM começa a processar vários pontos de dados em todas as plataformas? Ele sempre sabe o que nós, como usuários de várias ferramentas, devemos ou não acessar? Os documentos que acessamos no Google Drive podem ser divididos em um banco de dados vetorial separado dos blocos disponíveis para outros usuários? O que acontece quando as permissões mudam?
A maioria dos LLMs não tem essas proteções sofisticadas incorporadas. Uma vez que os dados começam a fluir entre os sistemas e para o LLM, é um Velho Oeste de permissões. É como entregar um chaveiro com centenas de chaves para um chaveiro e dizer a ele qual dos seus amigos pode usá-lo para destrancar sua casa em que horário, e então mudar a [pessoa, chave, período] várias vezes ao dia.
Mais uma vez, precisamos confiar na ferramenta que executa a orquestração realizando testes extensivos, ou não poderemos usar a integração.
Riscos de Integração de Terceiros
Confiar em uma ferramenta requer confiar em suas integrações de terceiros. Cada nova integração introduz um playground para injeção rápida e abre a porta para permissões mal configuradas ou mal interpretadas. Podemos confiar no Microsoft Copilot ou no Notion AI, mas e as ferramentas de terceiros às quais eles se conectam?
Toda vez que um novo serviço é conectado, o risco dispara. Isso lembra o GDPR e os subprocessadores. Embora as empresas devam ser informadas sobre cada novo subprocessador que pode processar seus dados confidenciais, cada um implementa sua própria segurança e proteção de dados. A vantagem é que uma violação de dados com um subprocessador geralmente é um subconjunto dos dados, e a violação pode ser contida.
Infelizmente, com LLMs, se uma parte do sistema for violada, tudo conectado a ela pode estar em risco. Isso cria um efeito dominó potencialmente prejudicial, onde vulnerabilidades em uma ferramenta podem se espalhar para outras.
Integrar LLMs com ferramentas interconectadas, nossa ferramenta favorita no assento do motorista, parece excelente. No entanto, isso vem com riscos de segurança significativos. A complexidade da rede de ferramentas conectadas e a falta de melhores práticas e protocolos de segurança maduros para LLMs significa que os riscos aumentam exponencialmente quanto mais nos conectamos.
Se formos por esse caminho, precisamos garantir que temos uma estratégia de segurança, estamos testando para injeção rápida e estamos validando que as permissões de acesso estão sendo respeitadas. Uma vez que os dados começam a fluir por esses pipelines, controlar quem tem acesso a quê se torna impossível.
Equilibrando Conveniência e Segurança da IA
Certo, todos nós queremos fluxos de trabalho mais rápidos, tarefas automatizadas, tomada de decisão mais inteligente e outros benefícios do uso de LLMs — especialmente a conveniência de usar uma única ferramenta para trabalhar com quantidades excessivas de dados armazenados em várias plataformas. Mas não podemos ignorar os riscos de segurança.
Também não queremos continuar batendo em uma parede e apenas olhar para a promessa de conveniência. Sabemos que isso exigirá mais esforço do que apertar o botão "Allow" em um prompt do OAuth, mas podemos resolver esse problema.
A Segurança Precisa Vir em Primeiro Lugar, mas não Deve Bloquear a Inovação
Vamos começar reconhecendo que as preocupações com a segurança nunca devem paralisar a inovação. Embora possamos esperar que as equipes de segurança sinalizem os riscos de integrar LLMs com plataformas existentes, em vez de encerrar iniciativas de IA, nossa meta deve ser colaborar para construir confiança nesses sistemas.
Integrar a salvaguarda adequada sem matar o potencial de automação de conhecimento e recuperação de dados sob demanda em várias ferramentas é um ato de equilíbrio. Devemos criar um caminho seguro para a adoção de LLMs.
Testando as Capacidades da IA
Precisamos testar ferramentas de IA em humanos! Há um número quase infinito de casos extremos e — como vimos naquele post do Reddit — os LLMs são seus piores inimigos quando encontram maneiras de contornar os guardrails.
Quando desenvolvemos o AI Assistant para Avelyn, implementamos primeiro essa excelente redação aprimorada por IA que os usuários podem iniciar simplesmente pedindo ao Assistant para redigir um documento descrevendo o que eles querem que seja removido. Redigir corretamente documentos digitais significa destruir fisicamente as informações contidas neles; não é apenas colocar uma linha preta grossa sobre algum texto ou imagem. Agora, imagine uma situação em que o usuário redigiria um documento e o AI Assistant não reconstruísse os pedaços do documento no banco de dados vetorial ou invalidasse todas as sessões de bate-papo anteriores. Imagine perguntar ao Assistant sobre o conteúdo que foi destruído no documento. Obter uma resposta com base em pedaços de documentos em cache ou acessar conteúdo redigido por meio de uma troca de bate-papo antiga seria uma falha de segurança séria.
Começando com Controles de Acesso
O controle de acesso é a base da segurança ao integrar LLMs com dados que residem em múltiplas plataformas. Temos que garantir que os LLMs só possam interagir com os dados que o usuário tem permissão explícita para acessar. Esta não é uma tarefa simples; as coisas ficam confusas rapidamente, especialmente com integrações mais complexas.
O melhor lugar para começar é garantir que a ferramenta que orquestra a utilização do LLM descreva claramente como ela lida com o acesso aos dados. Acho que as práticas de segurança de IA do Notion fornecem clareza sobre como os direitos de acesso são respeitados dentro do Notion. O FAQ deles sobre conectores de IA também deixa claro que os usuários devem conseguir acessar somente conteúdo de terceiros ao qual eles têm acesso no serviço de terceiros.
Auditando e Monitorando Continuamente
Confie, mas verifique. Confirmar que a ferramenta no controle da alimentação do LLM é o ponto de partida e que a confiança pode ser garantida, mas auditar e monitorar como ela interage com nossos dados também é garantido. Trata-se de garantir que nossas permissões estejam sendo aplicadas e reagir a qualquer coisa que pareça ou pareça suspeita.
