A Red Hat, líder em soluções de software empresarial de código aberto, acaba de lançar a versão 2.15 de sua plataforma de IA e machine learning baseada em nuvem, o Red Hat OpenShift AI. Essa nova versão traz avanços significativos em recursos de segurança, rastreamento de modelos e ajuste fino de Modelos de Linguagem de Grande Porte (LLMs).
Registro de Modelo e Rastreamento
Um dos destaques da atualização é o novo registro de modelo, atualmente em estado de pré-visualização tecnológica. Esse recurso fornece uma maneira estruturada de compartilhar, versionar, implantar e rastrear modelos, metadados e artefatos de modelo. Isso permite que as equipes de ciência de dados e engenharia de IA gerenciem de forma mais eficiente o ciclo de vida dos modelos de machine learning, desde o desenvolvimento até a implantação em produção.
Detecção de Desvio de Dados e Viés
Outro recurso importante é a detecção de desvio de dados, que permite monitorar alterações na distribuição dos dados de entrada usados para inferência de modelos implantados. Essa funcionalidade ajuda a verificar a confiabilidade dos modelos, alertando os cientistas de dados quando os dados ativos se desviam significativamente dos dados de treinamento.
Além disso, o Red Hat OpenShift AI 2.15 inclui ferramentas de detecção de viés, da comunidade de código aberto TrustyAI. Essas ferramentas ajudam a monitorar a imparcialidade dos modelos durante implantações no mundo real, garantindo que eles sejam justos e imparciais.
Ajuste Fino de LLMs com LoRA
Uma das principais melhorias desta versão é o suporte ao ajuste fino de Modelos de Linguagem de Grande Porte (LLMs) usando a técnica LoRA (Adaptação de Baixa Classificação). Essa abordagem permite um ajuste fino mais eficiente de LLMs, como o Llama 3, possibilitando que as organizações dimensionem cargas de trabalho de IA com custos e consumo de recursos reduzidos.
Suporte a Aceleradores de IA
O Red Hat OpenShift AI 2.15 também adiciona suporte para a Nvidia NIM, um conjunto de microsserviços de interface para acelerar a entrega de aplicativos de IA generativa. Além disso, foi adicionado suporte para GPUs AMD, com acesso a uma imagem do AMD ROCm Workbench para uso de GPUs AMD no desenvolvimento de modelos.
Recursos de Inferência de Modelos Generativos
A nova versão também traz melhorias para a inferência de modelos de IA generativos, incluindo o tempo de execução de serviço vLLM para o KServe, uma plataforma de inferência de modelo baseada em Kubernetes. Além disso, o suporte para o KServe Modelcars adiciona repositórios Open Container Initiative (OCI) como uma opção para armazenar e acessar versões de modelo.
Aprimoramentos em Ciência de Dados e Rastreamento de Experimentos
O Red Hat OpenShift AI 2.15 também adiciona aprimoramentos de IA preditiva e generativa aos pipelines de ciência de dados e rastreamento de experimentos. Isso permite que os cientistas de dados gerenciem e analisem mais facilmente as execuções de pipeline agrupadas em uma estrutura lógica. Além disso, o ajuste de hiperparâmetros com Ray Tune fornece algoritmos de otimização avançados para melhorar a precisão e treinar modelos de forma mais eficiente.
Em resumo, a versão 2.15 do Red Hat OpenShift AI traz avanços significativos em segurança, rastreamento de modelos, ajuste fino de LLMs e recursos de inferência de modelos generativos. Essas melhorias ajudarão as organizações a impulsionar a inovação em IA e a tomar decisões estratégicas com base em dados mais confiáveis e seguros.
