A Qualcomm Technologies e a Meta estão trabalhando para otimizar a execução dos grandes modelos de linguagem Llama 2 da Meta diretamente no dispositivo – sem depender do uso exclusivo de serviços em nuvem.
A capacidade de executar modelos generativos de IA como o Llama 2 em dispositivos como smartphones, PCs, headsets VR/AR e veículos permite que os desenvolvedores economizem nos custos de nuvem e forneçam aos usuários experiências privadas, mais confiáveis e personalizadas.
Como resultado, a Qualcomm planeja disponibilizar implementações de IA baseadas no Llama 2 no dispositivo para permitir a criação de novos aplicativos de IA. Isso permitirá que clientes, parceiros e desenvolvedores criem casos de uso, como assistentes virtuais inteligentes, aplicativos de produtividade, ferramentas de criação de conteúdo, entretenimento e muito mais.
Essas novas experiências de IA no dispositivo, alimentadas pelo Snapdragon, podem funcionar em áreas sem conectividade ou até mesmo no modo avião.
“Aplaudimos a abordagem da Meta para IA aberta e responsável e estamos comprometidos em impulsionar a inovação e reduzir as barreiras de entrada para desenvolvedores de qualquer tamanho, trazendo IA generativa para o dispositivo”, disse Durga Malladi, vice-presidente sênior e gerente geral de tecnologia, planejamento e empresas de soluções de ponta, Qualcomm Technologies, Inc. “Para escalar efetivamente a IA generativa para o mainstream, a IA precisará ser executada na nuvem e em dispositivos de ponta, como smartphones, laptops, veículos e dispositivos IoT.”
A Meta e a Qualcomm Technologies têm um longo histórico de trabalho conjunto para impulsionar a inovação tecnológica e oferecer a próxima geração de experiências de dispositivos premium. A colaboração atual das empresas para apoiar o ecossistema Llama abrange esforços de pesquisa e engenharia de produto.
