Não importa se você está no mundo da tecnologia ou aproveitando o jantar com sua família, não há como escapar da IA atualmente. Muitos de nós passamos por vários ciclos de evolução da IA, e cada novo estágio de crescimento evoca muitas perguntas sobre como chegamos aqui e para onde estamos indo. Anos atrás, ao construir os produtos de ML na ARM, enfrentamos muitas dessas perguntas também, e estava bem claro como a inovação e a independência da IA são conceitos profundamente interligados.
Avançando para hoje na Era da IA, e embora ainda não tenhamos sido dominados pela Skynet, há uma preocupação crescente entre pessoas, empresas e sociedades sobre a nova superfície de ataque que se abriu recentemente com a última fase de adoção generalizada da Gen AI.
Quer você esteja preocupado com ataques de engenharia social impulsionados por deep-fake, ataques de phishing com tecnologia de IA ou ataques de injeção rápida, há motivos reais para se preocupar com os novos riscos à espreita em pilhas de aplicativos de IA; afinal, a IA não vive no vácuo — ela é integrada ao coração da pilha de aplicativos em todas as camadas, processando grandes quantidades de dados, incluindo dados altamente confidenciais, e trocando esses dados com todos os tipos de terceiros, sejam APIs de IA como OpenAI ou modelos caseiros da Hugging Face.
Promessa da IA e os novos desafios
Apesar das falhas da IA, não há como negar sua enorme promessa em relação à produtividade e inovação. Embora imperfeitos, os agentes de IA estão prestes a se tornar muito mais prevalentes. De acordo com uma pesquisa da Capgemini, 82% dos executivos de tecnologia "pretendem integrar agentes baseados em IA em suas organizações nos próximos três anos — acima dos 10% com agentes funcionais no momento atual".
À medida que os agentes de IA se tornam mais difundidos, o potencial de perigo cresce em importantes indústrias que os usam. À luz disso, os executivos de alto escalão enfrentam uma questão crítica: quem é o responsável quando a IA se torna desonesta?
Responsabilidade da IA: um cenário em mudança
A proliferação da IA está abalando a estrutura organizacional das empresas modernas. Um relatório da Pearl Meyer revelou que 30% das empresas optaram por incorporar responsabilidades relacionadas à IA em funções executivas existentes. Enquanto isso, "32% estão adotando uma abordagem descentralizada para a supervisão da IA e esperam que os esforços de IA sejam liderados por vários líderes em múltiplas funções".
Na maioria das organizações hoje, CISOs, CIOs e CTOs carregam o peso da responsabilidade pelo comportamento e segurança da IA. Isso pode criar tensão entre as diferentes funções de liderança, já que os CISOs não têm controle sobre os sistemas de IA, mas são encarregados de manter a segurança.
Como a IA é uma responsabilidade compartilhada, as organizações devem adotar estratégias e ferramentas que definam claramente a responsabilidade e, ao mesmo tempo, reduzam a lacuna entre as diferentes áreas de liderança.
Trazendo transparência à "caixa preta" da IA
Transparência é um primeiro passo significativo em direção à responsabilização. Como engenheiro, sou inatamente alegre ao desconstruir como os sistemas funcionam. Fazendo a ponte entre os mundos dos sistemas operacionais e da criptografia, aprendi como transparência e confiança são estabelecidas entre esses sistemas de software complexos.
Mas não é uma tarefa trivial para aqueles nas trincheiras de desenvolvimento de IA. A engenharia de software tradicional se inclina para sistemas determinísticos que dependem de regras predefinidas que podem ser escritas e auditadas. Em contraste, os modernos sistemas Gen AI probabilísticos fazem previsões (frequentemente imprevisíveis) com base em seus cálculos complexos e multidimensionais de probabilidades. Os sistemas probabilísticos, por sua própria natureza, não são transparentes.
Então, se um agente de IA se torna desonesto e não consegue explicar suas decisões, determinar o que deu errado pode ser desafiador (se não impossível). Então, como os líderes encarregados dos sistemas de IA obtêm o máximo de transparência e controle possível neste mundo imperfeito?
A IA é tão boa quanto os dados que a alimentam — "lixo entra, lixo sai", como diz o ditado — então manter registros claros de quais dados de treinamento estão alimentando o modelo é essencial. Limpar e redigir o mais frequentemente possível para proteger informações privadas que podem ser intencionalmente ou não varridas para sua modelagem também é essencial.
Quando a IA é implantada por meio de APIs de IA, as equipes devem ter uma visão completa de como seus dados e comportamento do aplicativo interagem com a entidade externa (como a Open AI). Elas precisam entender quais dados devem fluir pelo modelo (e quais dados não devem) e ter acesso em tempo real a como seus agentes de IA ativos estão operando para que comportamentos inesperados possam ser capturados e bloqueados instantaneamente antes que eles tenham a chance de roubar dados ou derrubar o sistema inteiro.
Melhorando a supervisão humana com tecnologia
Alguns acreditam que os humanos precisam interagir com a IA para mantê-la responsável, mas como podemos evitar que a supervisão humana se torne um obstáculo à inovação?
Projetar IA para interagir com especialistas humanos para aumentar sua capacidade em vez de substituí- los é um bom ponto de partida. Então, as equipes devem usar a tecnologia para limitar proativamente o acesso a agentes de IA para reduzir ou eliminar as consequências do caos desonesto.
Assim como aplicamos confiança zero em um contexto de segurança cibernética para que os controles de acesso e privilégios sejam atribuídos a indivíduos específicos com base em um modelo seguro de " privilégio mínimo ", a lógica de "privilégio mínimo" também deve ser aplicada a agentes de IA. Dessa forma, as tarefas atribuídas ao agente de IA podem ser contidas e a superfície de ataque será reduzida. Ao mesmo tempo, a supervisão humana em momentos-chave oferece transparência e controle cruciais às equipes e líderes que são, em última análise, responsáveis por suas ações.
A revolução da IA está bem encaminhada, mas ainda estamos apenas no começo. As organizações devem estabelecer quem é responsável pelo comportamento da IA, seja preenchendo a lacuna entre CISOs, CIOs e CTOs ou contratando um executivo totalmente focado em IA. Ao estabelecer responsabilidade, aumentar a transparência e usar a tecnologia para aprimorar a supervisão humana, as empresas estarão bem posicionadas para colher os benefícios da IA e impulsionar a inovação com segurança.
