O que é Offload? É um SDK que você pode usar para adicionar IA ao seu site, mas com uma peculiaridade: ele permite que seus usuários executem tarefas de IA localmente, mantendo seus dados em seus dispositivos, evitando a necessidade de enviá-los para uma API de inferência de terceiros. Além disso, ele diminui seus custos e ajuda seu aplicativo a escalar de forma barata. Quanto mais inferência é descarregada para os dispositivos dos usuários, menos recursos você precisa alocar ou gastar em APIs de terceiros.
Se você é um desenvolvedor de aplicativos, a integração do Offload só vai melhorar seu aplicativo, pois ele continuará funcionando normalmente, ao mesmo tempo em que oferece aos seus usuários a capacidade de processar seus dados localmente, sem nenhum esforço de sua parte.
Recursos de descarregamento
Você pode integrar o Offload como uma substituição direta de qualquer SDK que esteja usando agora, apenas alterando suas chamadas de função de inferência. O Offload serve** modelos de tamanhos diferentes para seus usuários automaticamente**, dependendo do dispositivo e seus recursos. Se o dispositivo do usuário não tiver recursos suficientes, o Offload não mostrará a esse usuário a opção de processar os dados localmente e retornará a qualquer API que você especificar por meio do painel.
No painel, você pode configurar e gerenciar os prompts, personalizá-los e testá-los para os diferentes modelos, obter análises dos usuários e muito mais. Tudo sem expor os dados dos seus usuários a terceiros, pois tudo é processado no dispositivo.
O Offload oferece suporte à geração de respostas de texto, à aplicação de objetos de dados estruturados por meio de esquemas JSON, ao streaming da resposta de texto e muito mais.
Se houver algo mais que não oferecemos suporte e que você gostaria de ver, deixe um comentário!
Por que o Offload é importante?
Acredito que a IA local é o futuro. No entanto, conforme a IA continua a avançar, estou cada vez mais preocupado com a forma como nossos dados são processados.
Cada aplicativo que implementa um recurso de IA hoje usa uma API remota, para onde envia os dados dos usuários. A maioria desses aplicativos usa APIs públicas, como OpenAI, Anthropic e outros. O fluxo é simples: o aplicativo coleta os dados do usuário e os envia junto com o prompt para a API remota, que responde com o texto ou imagem gerados.
O grande problema com essa abordagem é que quando você dá a um aplicativo acesso a um documento (ou foto, vídeo ou qualquer pedaço de dado), ele envia seu documento para uma API remota, que pode incluir qualquer informação sensível que ele contenha. A API remota provavelmente registra os prompts, usa os dados para treinar novos modelos ou vende seus dados para outros propósitos.
Acho que o problema da privacidade de dados é ainda pior agora que temos LLMs. LLMs permitem indexar grandes quantidades de informações não estruturadas de novas maneiras que não eram possíveis antes, e isso aumenta o perigo de expor qualquer informação pessoal.
Por exemplo, digamos que você tenha um diário. Ele provavelmente inclui onde você mora, seus horários, quem são seus amigos, onde você trabalha, talvez quanto você ganha e muito mais. Mesmo que não seja escrito diretamente, provavelmente pode ser inferido a partir do conteúdo do diário. Até agora, para inferir essas informações, alguém precisaria lê-las inteiramente. No entanto, com LLMs, alguém poderia obter dados suficientes para personificá-lo em segundos.
Ao usar um aplicativo para conversar com seu diário, você está potencialmente expondo suas informações, pois elas são enviadas para alguma API. Por outro lado, se tal aplicativo usar Offload, você pode usá-lo com segurança, pois seus dados não saem do seu dispositivo e, portanto, não podem ser expostos.
Isso é especialmente importante em setores que trabalham com dados altamente confidenciais, como saúde, jurídico, aplicativos de processamento de documentos, assistentes pessoais, etc.
O Offload é a solução para esse problema, permitindo que seus usuários processem seus dados localmente, mantendo-os seguros e privados. Ao mesmo tempo, você pode continuar oferecendo recursos de IA em seu aplicativo, sem se preocupar com a exposição de dados.
Então, se você é um desenvolvedor de aplicativos e quer aproveitar os benefícios da IA, mas sem comprometer a privacidade de seus usuários, o Offload é a resposta que você estava procurando.
