A Dell Technologies anunciou suporte para soluções de IA padronizadas otimizadas para o ecossistema Llama. Essas soluções visam simplificar o desenvolvimento de aplicativos de IA e elevar os recursos de fluxos de trabalho baseados em agentes.
Elevando aplicativos de IA com fluxos de trabalho do Agentic
As soluções Dell AI com ecossistema Llama são projetadas para simplificar a experiência do desenvolvedor e aumentar a eficiência dos aplicativos de IA. O Llama Stack, uma estrutura de software padronizada, oferece suporte a vários estágios de desenvolvimento de IA, incluindo treinamento de modelo, ajuste fino e implantação de produção. Agora, ele se integra perfeitamente às bibliotecas PyTorch, facilitando a implantação perfeita de geração aumentada de recuperação (RAG) e outros aplicativos de IA.
A combinação do Llama Stack com o Dell AI Factory permite que as organizações aproveitem uma infraestrutura de nível empresarial, suportada por servidores Dell PowerEdge XE9680 equipados com GPUs NVIDIA H100. Essa arquitetura de referência oferece escalabilidade e desempenho, facilitando o desenvolvimento de aplicações de IA baseadas em agentes.
A arquitetura oferece APIs padronizadas que simplificam o desenvolvimento promovendo a reutilização de código e permitindo a funcionalidade plug-and-play para modelos Llama atuais e futuros. A implantação segura com recursos de segurança integrados garante que os aplicativos de IA sejam compatíveis e protegidos. A infraestrutura adaptável da Dell oferece suporte a diversos casos de uso de IA, desde inferência de nó único até implantações de vários nós.
Esses recursos permitem que as empresas implementem fluxos de trabalho que envolvem vários modelos e bancos de memória trabalhando juntos para resolver desafios comerciais complexos. A arquitetura de referência, integrada ao Llama Stack, simplifica a execução de tarefas como inferência, RAG e geração de dados sintéticos, enquanto os modelos Llama Guard estabelecem medidas de segurança e guardrails para segurança aprimorada.
Capacitando cientistas e desenvolvedores de dados
O desenvolvimento de aplicativos de IA tem desafios, incluindo altos custos, preocupações com escalabilidade e dificuldade em garantir os recursos necessários. Selecionar a arquitetura adequada e integrar e manter sistemas de IA são essenciais. As Soluções de IA da Dell com Llama visam aliviar esses desafios e beneficiar cientistas de dados, desenvolvedores e tomadores de decisão de TI.
A arquitetura de referência oferece diretrizes detalhadas para implantar modelos Llama em servidores PowerEdge XE9680, com fluxos de trabalho validados e código de exemplo para agilizar o desenvolvimento.
As configurações validadas da Dell AI Factory simplificam a instalação de soluções de IA em data centers, fornecendo escalabilidade em vários nós e apoiadas por serviços de implantação personalizados.
O Dell AI Solutions com Llama permite que os desenvolvedores adotem rapidamente novos modelos, ferramentas e estruturas de IA usando blocos de construção padronizados, garantindo código portátil em diferentes ambientes. Ele simplifica os pipelines de dados por meio das plataformas Dell Data Lakehouse e PowerScale. Além disso, os modelos Llama estão disponíveis no Dell Enterprise Hub por meio da plataforma Hugging Face. Esses modelos são contêineres e scripts pré-embalados e prontos para implantação para implantação segura e eficiente.
A Dell também oferece serviços para implantação de modelos Llama, suporte a estratégias, preparação de dados, implementação de modelos e resultados de IA generativa.
Apresentando o Llama 3.2: Desbloqueando a inteligência multimodal
O lançamento do Llama 3.2 representa um avanço significativo na tecnologia de IA, fornecendo aos desenvolvedores as ferramentas para criar uma nova geração de experiências de IA privadas, eficientes e responsáveis. O Llama 3.2 inclui modelos multilíngues que variam de parâmetros de 1B a 90B capazes de processar entradas de texto e imagem. Esses modelos, incluindo as opções leves somente de texto (1B e 3B) e os LLMs de visão (11B e 90B), suportam longos comprimentos de contexto e são otimizados para inferência usando mecanismos avançados de atenção de consulta.
Os modelos 3.2B e 11B do Llama 90 oferecem recursos de raciocínio de imagem, incluindo compreensão em nível de documento, como interpretação de tabelas e gráficos e legendas de imagens. Os modelos também oferecem suporte a inferência em tempo real e em lote, otimizada para cargas de trabalho interativas e de alto rendimento. Quando integrados às soluções AI Factory da Dell, esses modelos permitem que as empresas aproveitem a IA em muitos aplicativos, incluindo detecção de defeitos na fabricação, aprimoramento da precisão do diagnóstico em saúde e melhoria do gerenciamento de estoque de varejo.
Amazon