Pequenas IAs generativas: o tamanho importa

Hoje, quero falar sobre pequenas IAs generativas – as pequenas potências que estão causando um grande impacto no mundo do desenvolvimento de software.

Agora, eu sei o que você pode estar pensando: “Maior não é sempre melhor?” Bem, não exatamente. Quando se trata de modelos de IA, maior geralmente significa resultados mais precisos e impressionantes. Mas (há sempre um mas) a quantidade de dados também acarreta algumas limitações e riscos.

Todos nós já ouvimos falar sobre essas coisas chamadas de grandes modelos de linguagem (LLMs) – por exemplo, ChatGPT da OpenAI, LaMDA e BARD do Google, HuggingChat da Hugging Face, LLaMA da Meta e Titan Text da Amazon. É incrível a rapidez com que as empresas aderiram ao movimento LLM após o sucesso estrondoso do OpenAI.

Esses modelos são impressionantes (pelo menos aqueles que estão disponíveis publicamente) e não poderiam existir sem milhões de gigabytes de dados. Não é à toa que os produtos de IA estão usando o número de parâmetros (na casa dos bilhões) como referência, como os fabricantes de consoles costumavam falar sobre bits nos anos 90 e início dos anos 2000.

Mas esse tamanho tem um custo. A arquitetura de servidor para esse tipo de produto é enorme, e isso é apenas a ponta do iceberg: coleta e limpeza de dados, custos de engenharia, investimento de tempo e muito mais. Este não é o tipo de produto que você prepara em sua garagem durante um fim de semana.

E isso sem levar em conta algumas das questões éticas relacionadas à coleta de dados, mineração de dados e outros tópicos que colocaram a OpenAI em maus lençóis nos últimos meses, como a proibição da Itália. E acredite, chegaremos a isso, mas antes de olhar para uma questão ainda maior com estes modelos, a melhor maneira de explicá-la é falando sobre uma figura clássica bem conhecida: o bom e velho Sócrates.

Desgraças de Sócrates: Episteme vs. Doxa

Sócrates é uma figura enigmática mas significativa do período clássico; quase tudo o que sabemos sobre ele é contado através dos olhos de seu suposto discípulo, Platão. Para alguns filósofos, Sócrates nem sequer era uma pessoa real, mas sim um artifício literário para explorar a filosofia de Platão através de diálogos.

Deixando esse debate de lado, Sócrates ficou famoso por ser um homem obstinado que extraía respostas de todos que ousavam ter uma opinião. O método socrático é um processo doloroso em que, através do ato de questionar, um suposto conhecimento é desmontado, dando lugar à “verdade” por trás do assunto em questão.

Ele era tão fanático na busca pela verdade que acabou fazendo inimigos políticos que lhe custaram a vida. Acusado de corromper os jovens, foi injustamente condenado à morte. Mesmo quando teve a oportunidade de escapar, decidiu aceitar o seu destino, uma vez que era sua responsabilidade como cidadão de Atenas.

Em outras palavras, Sócrates era contra a doxa, as crenças e opiniões defendidas por um grupo de pessoas. Em vez disso, ele buscou incansavelmente a episteme, que se refere ao conhecimento “verdadeiro”. Naquela época, a forma como entendíamos a verdade era muito diferente, mas hoje em dia a episteme equivaleria ao conhecimento baseado em fatos e evidências.

Aqui está a triste verdade: quando confiamos demasiado em grandes modelos de linguagem, corremos o risco de dar prioridade à doxa em detrimento da epistemologia. O modelo pode ser capaz de gerar um argumento convincente ou uma explicação plausível, mas isso não o torna necessariamente verdadeiro.

A razão é dupla. Em primeiro lugar, os modelos de linguagem não compreendem os conceitos da mesma forma que nós (na verdade, eles não os compreendem de todo). Eles são realmente bons em entender quais palavras devem combinar, mas não por que devem combinar. É isso que leva a alucinações quando a IA inventa fatos porque, estatisticamente, faz sentido que essas palavras andem juntas.

A segunda razão é que a maior parte dos dados existentes no mundo são, na verdade, doxa no sentido grego e não episteme. Os mesmos dados com os quais os modelos são construídos. Agora, antes de falarmos sobre as implicações da afirmação, quero deixar algo extremamente claro: doxa não é o mesmo que mentiras ou falsidades. Em vez disso, seria mais parecido com uma “meia verdade”. Por exemplo, a maioria das pessoas sabe que o vinagre evita que os alimentos estraguem, mas pergunte-lhes por que isso acontece e provavelmente a maioria das pessoas não consegue explicar.

Em termos mais simples, só porque um modelo pode falar o que fala não significa que ele possa fazer o mesmo. É como se eu pedisse ao meu amigo que está sempre vomitando teorias da conspiração sobre o pouso na Lua, para me ajudar com meu dever de história. Claro, ele pode ser capaz de apresentar algumas teorias malucas sobre o que “realmente” aconteceu, mas isso não significa que ele saiba alguma coisa sobre os fatos históricos reais.

E esse é o perigo real de depender demais dos LLMs. Poderíamos ficar tentados a confiar nos resultados do modelo sem questionar se são realmente precisos ou baseados em evidências sólidas. É como deixar um Magic 8 Ball tomar todas as suas decisões de negócios – claro, você pode ter sorte de vez em quando, mas responda-me: você voaria em um avião construído inteiramente com instruções do ChatGPT?

Então, qual é a solução? Como acontece com a maioria das coisas na vida, é tudo uma questão de equilíbrio. Grandes modelos de linguagem têm o seu lugar, mas precisamos ter cuidado para não deixá-los assumir completamente o controle. Devemos sempre questionar o resultado do modelo, verificando as fontes e verificando os fatos. E se não tivermos certeza sobre alguma coisa, devemos estar dispostos a admitir e buscar informações adicionais.

Agora, existe outra alternativa. Que tal, em vez de confiarmos diretamente no LLM, apenas usá-lo como base, como ponto de partida para construir uma IA especializada com dados cuidadosamente selecionados? Assim como nós, seres humanos, iniciamos nossa jornada na educação aprendendo um pouco sobre tudo e, à medida que envelhecemos, focamos em áreas específicas.

O escopo desses modelos focados é bastante pequeno em comparação, mas, ao mesmo tempo, seus resultados em assuntos específicos são muito mais confiáveis. É como ajustar a difusão estável com pinturas de Velásquez. A partir desse momento, este modelo em particular terá mais dificuldade em fazer todo tipo de imagem concebível, mas vai se tornar muito bom em pintar como Velásquez.

IAs generativas pequenas versus IAs generativas grandes: prós e contras

Tudo bem, vamos falar sobre pequenas IAs generativas versus grandes IAs generativas. É como comparar um canivete a um facão; ambos têm sua utilidade, mas um pode ser mais adequado que o outro dependendo da situação.

Pequenas IAs generativas podem ser como seu confiável canivete: compactas, eficientes e confiáveis ​​para determinadas tarefas. Eles são ótimos para gerar pequenos trechos de texto ou imagens com rapidez e precisão. Você não precisa de um enorme poder de computação para realizar tarefas com eles. Além disso, eles podem ser facilmente integrados aos sistemas existentes sem causar muitas interrupções.

Por outro lado, às vezes você precisa daquela IA grande e ruim, semelhante a um facão, para resolver problemas difíceis. Modelos em grande escala têm acesso a grandes quantidades de dados e poder de processamento, o que lhes permite gerar conteúdos mais complexos com maior precisão. Eles podem não ser tão fáceis de manusear ou integrar como os menores, mas certamente são eficazes quando se trata de momentos difíceis.

Trabalhei com os dois tipos de modelos em meu tempo de desenvolvimento de software e descobri que escolher entre IA de pequena e grande escala realmente depende do que você deseja do seu sistema de IA.

Às vezes, tudo que você precisa é de uma ferramenta rápida de tomada de decisão que gere fragmentos de código simples ou strings com base em alguns padrões predefinidos – algo relativamente mundano que não requer recursos computacionais pesados ​​- para que modelos pequenos sirvam melhor.

Outras vezes, porém (como se você estivesse tentando fazer falsificações profundas), as grandes armas devem aparecer. Modelos maiores treinados em grandes quantidades de dados nos ajudarão a chegar mais perto de alcançar aquilo que almejamos: desenvolver as habilidades da AGI, como a criação de mundos virtuais completos, indistinguíveis da realidade.

Também há considerações sobre os custos de treinamento aqui. A execução de treinamentos envolvendo vastos conjuntos de dados por períodos mais longos requer recursos imensos e, portanto, desperdiça energia desnecessária. Para problemas pequenos, modelos grandes são como explodir um país apenas para matar uma mosca. Portanto, é uma ferramenta que deve ser usada com sabedoria.

O futuro das pequenas IAs generativas

Em primeiro lugar, deixe-me apenas dizer que estou super feliz com o que está por vir. Como alguém que adora mexer com tecnologia e ultrapassar limites, mal posso esperar para ver até onde chegaremos com essas mini maravilhas.

Meu pressentimento é que, à medida que o poder de processamento se tornar ainda mais rápido e barato do que já é, veremos algumas coisas verdadeiramente surpreendentes acontecendo com pequenas IAs generativas. Pense nisso: neste momento, eles estão nos impressionando a torto e a direito ao criar peças de arte ou música impressionantes dentro de certos parâmetros definidos por humanos (como esquemas de cores ou estruturas de acordes). Mas e se eles tivessem mais liberdade? E se eles recebessem as rédeas criativas?

Eu sei que algumas pessoas podem estar preocupadas com essa ideia. Afinal, não deveríamos ser nós que fazemos arte? Mas ouça-me: penso que trabalhar ao lado de pequenas IAs generativas poderia levar a algumas colaborações realmente interessantes entre humanos e máquinas. Imagine ser capaz de trocar ideias com seu próprio assistente pessoal de IA até chegar a algo verdadeiramente único e inesperado.

À medida que a IA for aperfeiçoada e novos modelos forem construídos a partir de modelos fundamentais, veremos resultados de maior qualidade destas ferramentas de IA. O futuro não consiste apenas em coletar mais dados e fornecê-los aos peixes grandes; trata-se também de nos tornarmos mais enxutos e eficientes, de economizar energia, de criar as ferramentas certas para as nossas necessidades.

Existem muitas aplicações práticas para esta tecnologia, além de apenas gerar belas imagens ou músicas. Pequenas IAs generativas poderiam ajudar a automatizar tarefas repetitivas de codificação ou até mesmo gerar programas inteiros do zero usando dados em vez de regras pré-escritas.

É claro que também existem potenciais desvantagens a considerar quando se pensa em entregar partes da nossa criatividade (e meios de subsistência) às máquinas. É importante para nós, como desenvolvedores de software, não apenas explorar novas tecnologias, mas também avaliar suas implicações éticas na sociedade em geral.

Estudos de caso: Pequenas IAs generativas em ação

Quando se trata de pequenas IAs generativas, sempre houve um pouco de ceticismo na comunidade de desenvolvimento de software. Alguns desenvolvedores acreditam que esses pequenos algoritmos têm escopo muito limitado e não podem oferecer nenhum impacto significativo em seu trabalho.

Mas como alguém que realmente implementou diversas pequenas IAs generativas em meus próprios projetos, estou aqui para lhe dizer: o tamanho não importa! Na verdade, algumas das soluções mais inovadoras e impactantes que criei vieram de projetos menores de IA.

Veja, por exemplo, um projeto em que trabalhei recentemente. Estávamos desenvolvendo um aplicativo que exigia a capacidade de gerar recomendações personalizadas para usuários com base em seu comportamento na plataforma. Originalmente, consideramos usar um modelo pré-treinado de IA maior, mas após a experimentação decidimos optar por um design mais compacto que fosse mais adequado às nossas necessidades – consumindo menos recursos e ainda fornecendo resultados impressionantes.

Alguns entusiastas obtiveram grande sucesso na construção de modelos de linguagem pequena, treinando-os com resultados GPT, por exemplo, GPT4all. (A propósito, não faça isso, isso vai contra os termos de serviço da OpenAI.)

Para garantir que sua precisão permanecesse alta, treinamos esse algoritmo extensivamente, testando diferentes entradas e parâmetros até alcançarmos exatamente o que precisávamos: operação rápida e resultados precisos entregues de forma consistente em todos os dispositivos!

Embora possa não ter sido tão robusto ou abrangente como muitos outros modelos existentes, nosso genAI compacto provou ser inestimável por meio de suas recomendações confiáveis, conduzindo-nos de forma eficiente em direção a novas ideias de recursos que melhoraram a experiência do usuário sem sacrificar a qualidade ou a escalabilidade nos prazos de desenvolvimento – mantendo as coisas mais enxuto do que nunca em nossa equipe Agile!

Portanto, se você está cético quanto à implementação de pequenas IAs generativas em seu próximo projeto porque elas parecem insuficientemente equipadas, pense novamente! Esses pequeninos têm um desempenho incrível onde é importante: desempenho otimizado com menor custo de poder de processamento!

A Ética das Pequenas IAs Gerativas

Vamos ser sinceros: a IA é como um gênio que pode realizar todos os nossos desejos, mas vem com seu próprio conjunto de termos e condições. Como desenvolvedores, temos a responsabilidade de criar sistemas inteligentes sem comprometer a privacidade ou a ética. E quando se trata de pequenas IAs generativas, surge a questão: o tamanho importa?

Hoje em dia, vemos muitos pequenos aplicativos com tecnologia de IA que geram imagens, músicas e até conteúdo de e-mail. Eles são ferramentas úteis para artistas amadores que desejam se expressar de forma criativa enquanto aprendem o ofício. Mas à medida que estas aplicações se tornam mais predominantes e poderosas, poderão potencialmente levantar preocupações em torno da propriedade intelectual.

Por exemplo, você não gostaria de um aplicativo que reivindique propriedade sobre sua arte ou ideia gerada porque foi teoricamente programado pelo algoritmo em seus servidores – fale sobre violação robótica! Da mesma forma, imagine usar um aplicativo que gera faixas de música com base na entrada do usuário, apenas para enfrentar problemas de direitos autorais no futuro, já que você, sem saber, cruzou os limites com peças já protegidas por direitos autorais!

Estes dilemas éticos precisam de ser abordados (e já estão a ser abordados) antes que tais aplicações se tornem generalizadas, limitando qualquer impacto negativo futuro.

Outra área onde as pequenas IAs generativas poderiam enfrentar problemas seria a sua potencial suscetibilidade à exploração por elementos desonestos ou grupos de interesse com intenções menos que puras. Garantir que não haja abusos em determinados campos poderia ajudar a evitar que a automação substituísse empregos demasiado rapidamente (considere quantas pessoas se sentiram desconfortáveis ​​quando a Uber introduziu carros autónomos).

Não estou dizendo que todo esse negócio de aplicativos aliados criativos menores, porém poderosos, não tenha potencialidades acirradas; contudo, da mesma forma, qualquer nova invenção tem possibilidades paralelas associadas. Precisamos apenas equilibrar adequadamente ambos os lados enquanto nos esforçamos por práticas responsáveis.

Conclusão: Por que o tamanho é importante nas IAs generativas

Quanto maiores forem o conjunto de dados e o modelo no desenvolvimento de IA generativa, maiores serão as chances de gerar resultados de alta qualidade. É como fazer um bolo; quanto mais ingredientes você escolher e misturar, maiores serão as chances de fazer uma sobremesa deliciosa.

Mas não deixe que isso desencoraje aqueles que estão apenas começando sua jornada com IA. Você não precisa crescer muito ou ir para casa imediatamente. Como se costuma dizer, “pequenas mas poderosas” – pequenas IAs generativas ainda têm muito potencial para resultados criativos e oportunidades de aprendizagem.

E se há algo que nós desenvolvedores adoramos fazer é compartilhar nosso código. Mesmo pequenos modelos podem unir forças com outros modelos através de técnicas de aprendizagem federadas, que permitem que vários algoritmos em uma rede treinem colaborativamente uns com os outros sem serem fundidos em um modelo convincente, incorporando mecanismos de proteção de privacidade entre dispositivos, como privacidade diferencial ( trocadilho intencional).

Em qualquer caso – e qualquer tamanho de modelo com o qual você comece – lembre-se destas palavras de cautela: sempre verifique o resultado gerado antes de usá-lo como verdade do evangelho. Haverá momentos em que uma IA criará resultados bizarros ou problemáticos; confie sempre, mas verifique! Então vá em frente, experimentadores! Tente construir diferentes tamanhos de modelos generativos de IA, porque não? Experimente conjuntos de dados de treinamento. Veja quanta criatividade existe sob suas camadas e mais camadas de hiperparâmetros.

Apenas lembre-se: “O tamanho não importa… Olhe para mim… Julgue-me pelo meu tamanho, não é?” -Yoda