戴爾科技集團宣布支援針對 Llama 生態系統優化的標準化人工智慧解決方案。這些解決方案旨在簡化人工智慧應用程式的開發並提升基於代理的工作流程的功能。
透過代理工作流程提升人工智慧應用程式
具有 Llama 生態系統的戴爾 AI 解決方案旨在簡化開發人員體驗並提高 AI 應用程式的效率。 Llama Stack 是一個標準化軟體框架，支援人工智慧開發的多個階段，包括模型訓練、微調和生產部署。現在它與 PyTorch 庫緊密整合，促進檢索增強生成 (RAG) 和其他人工智慧應用程式的無縫部署。
將 Llama Stack 與 Dell AI Factory 結合，可使企業利用由配備 NVIDIA H100 GPU 的Dell PowerEdge XE9680伺服器支援的企業級基礎架構。這種參考架構提供可擴展性和高效能，從而簡化了基於代理的 AI 應用的開發。
該架構提供標準化 API，透過促進程式碼重用並為當前和未來的 Llama 模型提供即插即用功能來簡化開發。具有內建安全功能的安全部署可確保 AI 應用程式合規並受到保護。戴爾的適應性基礎設施支援從單節點推理到多節點部署的多種人工智慧用例。
這些功能使企業能夠實施涉及多個模型和記憶體庫協同工作的工作流程，以解決複雜的業務挑戰。此參考架構與 Llama Stack 集成，簡化了推理、RAG 和合成資料生成等任務的執行，而 Llama Guard 模型則建立了安全措施和護欄以增強安全性。
賦能資料科學家與開發人員
開發人工智慧應用程式面臨挑戰，包括高成本、可擴展性問題以及難以獲得必要的資源。選擇合適的架構以及整合和維護人工智慧系統至關重要。戴爾與 Llama 的人工智慧解決方案旨在緩解這些挑戰，並使資料科學家、開發人員和 IT 決策者受益。
此參考架構提供了在 PowerEdge XE9680 伺服器上部署 Llama 模型的詳細指南，並提供經過驗證的工作流程和範例程式碼以加快開發速度。
戴爾人工智慧工廠經過驗證的配置簡化了資料中心人工智慧解決方案的安裝，提供跨多個節點的可擴展性，並由自訂部署服務提供支援。
戴爾人工智慧解決方案與 Llama 使開發人員能夠使用標準化構建塊快速採用新的人工智慧模型、工具和框架，確保跨不同環境的可移植程式碼。它透過 Dell Data Lakehouse 和 PowerScale 平台簡化了資料管道。此外，Llama 型號還可透過 Hugging Face 平台在戴爾的 Enterprise Hub 上使用。這些模型是預先包裝好的、可立即部署的容器和腳本，可實現安全且有效率的部署。
戴爾還提供部署 Llama 模型、支援策略、資料準備、模型實施和產生 AI 結果的服務。
Llama 3.2 簡介：解鎖多模態智能
Llama 3.2的發布代表了人工智慧技術的重大進步，為開發者提供了創建新一代私密、高效、負責任的人工智慧體驗的工具。 Llama 3.2 包括參數範圍從 1B 到 90B 的多語言模型，能夠處理文字和圖像輸入。這些模型，包括輕量級純文字選項（1B 和 3B）和視覺 LLM（11B 和 90B），支援長上下文長度，並使用進階查詢注意機制進行推理優化。
Llama 3.2 的 11B 和 90B 模型提供圖像推理功能，包括文件層級理解，例如解釋圖表和圖形以及圖像說明。這些模型還支援即時和批量推理，並針對互動式和高吞吐量工作負載進行了最佳化。當與戴爾的人工智慧工廠解決方案整合時，這些模型使企業能夠在許多應用程式中利用人工智慧，包括製造中的缺陷檢測、提高醫療保健中的診斷準確性以及改進零售庫存管理。
Amazon