O Google está disponibilizando sua plataforma de conformidade alimentada por IA para o público em geral como Checks by Google. Ela abrange três novas ofertas de produtos que verificarão aplicativos, códigos e, em breve, modelos de IA para problemas de conformidade, incluindo informações pessoalmente identificáveis, requisitos regulatórios governamentais e se um modelo de desenvolvedor "falará fora de hora" ao fornecer respostas controversas ou inapropriadas.
A plataforma Checks by Google
O Checks by Google surgiu da incubadora do Google e foi usado internamente para testar os grandes modelos de linguagem do Google, disse Fergus Hurley, cofundador e gerente geral do Checks by Google. "Estamos fornecendo insights e ferramentas para essas empresas porque a maioria delas não tem insights e ferramentas de que precisam", disse ele. "Alguns de nossos clientes incluem os cinco principais aplicativos de mídia social, os cinco principais jogos, os cinco principais aplicativos financeiros, e essas empresas têm muitos recursos, mas simplesmente não têm o nível de insight de que precisam para realizar seu trabalho. Nós preenchemos essa lacuna [entre] a equipe de desenvolvimento e a equipe de conformidade."
O Checks by Google é integrado ao Vertex, a oferta do Google Cloud para IA generativa, mas também funciona com outros grandes provedores de modelos. O Vertex tem mais de 150 modelos de IA generativa disponíveis, incluindo Claude e Mistral da Anthropic.
Conformidade do aplicativo
O Checks by Google tem três ofertas: App Compliance, que já está disponível, e Code Compliance e AI Safety, que estão em versão beta fechada com lista de espera.
O App Compliance verifica um aplicativo, site ou serviço para ver se ele está em conformidade com as regras de coleta de dados do usuário. Por exemplo, ele pode verificar a conformidade com o GDPR na Europa, o CCPA na Califórnia e o LGPD no Brasil.
"Observamos o que o aplicativo é obrigado a fazer com base nas diferentes regulamentações ao redor do mundo", disse Hurley. "Cobrimos essas regras e, se você tiver usuários nessas regiões, ativamos essas verificações."
O App Compliance também pode executar uma análise em um aplicativo usado publicamente para verificar quaisquer políticas de privacidade organizacionais. Ele depende de um LLM que é ajustado para entender as políticas de privacidade, comparando-as com o que o aplicativo ou produto está realmente fazendo e executa análises dinâmicas e estáticas, disse ele. Por exemplo, o Checks executa os aplicativos em dispositivos físicos reais e monitora o tráfego de rede que sai dos aplicativos, bem como a experiência do usuário.
"Temos um rastreador de IA inteligente observando o que o aplicativo está realmente fazendo. Ele é capaz de jogar, é capaz de fazer login no aplicativo se as credenciais de login forem fornecidas a nós, mas é um rastreador de IA inteligente." — Fergus Hurley, cofundador e gerente geral, Checks by Google
"Construímos nosso próprio modelo ajustado para entender as políticas de privacidade, e isso também é usado em muitas equipes do Google agora", disse ele. "Conseguimos identificar problemas que o produto pode ter de uma perspectiva de conformidade. Temos um rastreador de IA inteligente observando o que o aplicativo está realmente fazendo. Ele consegue jogar, consegue fazer login no aplicativo se as credenciais de login forem fornecidas a nós, mas é um rastreador de IA inteligente."
Hurley observou que a cofundadora Nia Cross Castelly é advogada, embora Hurley tenha alertado que a IA não está fornecendo aconselhamento jurídico.
"Ela era responsável pelas políticas do Google Play, que os desenvolvedores seguem muito de perto para obter acesso a bilhões de usuários", ele disse. "Então, temos um advogado supervisionando essas coisas, mas não estamos fornecendo orientação jurídica. Isso é importante."
Em vez disso, a IA está simplesmente fornecendo insights e ferramentas que preenchem a lacuna entre a equipe de desenvolvimento e a equipe de conformidade, ele acrescentou.
Conformidade com o código
O Code Compliance, que está em beta fechado, permite que os desenvolvedores se antecipem a questões regulatórias antes que um aplicativo seja publicado. Ele pode ser integrado a um IDE, disse Hurley, para que os desenvolvedores recebam alertas diretamente no IDE sobre problemas que são integrados em seus sistemas de construção.
A conformidade do código fornece informações sobre problemas críticos, que podem incluir problemas de segurança, mas também pode detectar, por exemplo, um SDK desatualizado.
"Também ajudamos as pessoas a criar, gerenciar e manter seus rótulos de segurança no Google Play", ele disse. "Esse é o Santo Graal, ser capaz de ser aquele lugar que as pessoas precisam ir para conseguir todos os seus insights de conformidade."
Segurança de IA
A terceira oferta, que está sendo testada em beta fechado, é o AI Safety.
Os desenvolvedores têm três problemas principais que precisam resolver com IA e aplicativos orientados por IA, disse Hurley. Primeiro, eles precisam ser capazes de configurar suas políticas, o que ele chamou de "fase de alinhamento". Durante essa fase, eles determinam quais políticas são relevantes para eles e seu site ou aplicativo.
Segundo, eles precisam avaliar para garantir que as políticas estejam aderindo ao seu lançamento de modelo inicial real e vice-versa. Terceiro, após lançar o produto GenAI real, os desenvolvedores precisam garantir que ele esteja se comportando corretamente na natureza.
"Nós construímos um produto para ajudar com cada uma dessas partes como parte deste produto de segurança de IA, então, na verdade, ele está tentando construir o centro de comando de governança aqui", ele disse. "Na primeira fase, o alinhamento, as pessoas querem poder configurar suas políticas e, agora, nós apoiamos as políticas principais que realmente todo produto genérico precisa em torno de violência, discurso de ódio e dados sensíveis — como PII (informações pessoalmente identificáveis)."
A fase de avaliação ajuda os desenvolvedores a determinar se as políticas aderem ao seu lançamento de modelo inicial e vice-versa, ele disse. Esta fase é onde o produto realiza testes de red teaming e adverbial usando prompts desenvolvidos internamente pelo Google, ele disse.
"Uma coisa com a qual os desenvolvedores lutam depois de construírem seu modelo é criar esses prompts adversários, e é aí que ter esse enorme corpus de prompts adversários é tão valioso, e é aí que estamos nos apoiando em muito do trabalho que está sendo feito pela Gemini e Gemma e outras equipes do Google também", ele disse, acrescentando que também incorpora as melhores práticas desenvolvidas por essas equipes. "Executamos esses prompts em relação ao modelo do desenvolvedor e garantimos que as respostas que formam esse modelo sejam as que o desenvolvedor desejaria."
Este passo não deve ser subestimado. Os modelos de IA não só podem produzir declarações que podem ser publicamente embaraçosas, mas também podem fornecer informações incorretas que custam dinheiro às empresas.
"Às vezes, as pessoas tentam fazer com que os modelos façam coisas que não deveriam", disse ele. "Um dos casos mais públicos disso é quando a Air Canada teve um caso em que seu agente respondeu e disse que a pessoa poderia obter um reembolso. O que acabou acontecendo é que a Air Canada disse: 'Não, você não pode obter um reembolso com base nessas condições.'"
Isso levou a um processo judicial e, no final, a Air Canada teve que emitir o reembolso, disse ele.
"Agora, meio que definiu as regras de que as empresas são responsáveis pelo que seus agentes GenAI dizem e fazem, e elas têm essa responsabilidade", disse ele. "Garantir que o agente esteja seguindo as políticas da empresa é muito crítico, mas esse é um dos exemplos mais públicos de uma das coisas que serão evitadas pelo modelo sendo ajustado, com base nas políticas da empresa, para falar apenas sobre o que a empresa realmente oferece."
Terceiro, uma vez que o produto GenAI é lançado, os desenvolvedores precisam ser capazes de monitorar se ele se comporta corretamente na natureza. Por exemplo, houve um caso de um agente de IA de propósito geral que uma empresa lançou para fornecer um caso de uso específico, mas as pessoas aprenderam que poderiam "hackear" e obter acesso gratuito a um modelo que é realmente muito caro de usar.
"A parte mais importante é apenas garantir que as coisas não saiam dos trilhos e ter essas salvaguardas em vigor", disse ele. "Temos um produto de guardrails onde ele monitora o prompt de entrada e o prompt de saída e detecta problemas, como um prompt de entrada que não deve atingir o modelo seria quando alguém está tentando potencialmente fazer o jailbreak do modelo, e então no lado da saída das coisas, nenhuma PII deve ser exposta por um modelo, e deve haver muitas salvaguardas em vigor para evitar que isso aconteça."
Ele ressaltou que, se os desenvolvedores não quiserem realizar o ajuste fino eles mesmos, eles podem usar guardrails para criar monitoramento e salvaguardas automaticamente.
"Eles conseguem entrar e selecionar os guardrails de entrada, [por exemplo] eu quero ativar a prevenção de jailbreak", ele disse. "Digamos que eles configuraram esses diferentes com diferentes limites de sensibilidade, então eles podem configurar os limites de saída e então eles implantam isso na produção como parte do modelo deles."
Guardrails agem como um filtro no modelo em vez de realmente ajustá-lo diretamente. O filtro não impacta significativamente o desempenho, ele acrescentou.
Personalização por setor
As verificações das ofertas do Google também podem ser personalizadas por setor, ele acrescentou. Por exemplo, se um aplicativo estiver lidando com dados de crianças, há regras muito específicas que o aplicativo deve seguir.
"Trabalhamos com algumas das maiores empresas de jogos para crianças", ele disse. "Você pode imaginar que a saúde e as finanças ou outras grandes indústrias fortemente regulamentadas têm suas próprias necessidades muito específicas, e é aí que o objetivo, ao longo do tempo, é construir esse ecossistema de verificações, onde as pessoas podem ativar as verificações que são mais relevantes para seus negócios."
Hurley disse que os produtos Checks by Google abrangem todos os tipos de desenvolvedores; eles veem desenvolvedores front-end, bem como desenvolvedores back-end e full stack, usando as ferramentas.
No momento, é gratuito começar, embora algumas empresas sejam mais complexas e precisem de serviços pagos para ajudá-las com a conformidade, disse ele.
