Dell Technologies는 Llama 생태계에 최적화된 표준화된 AI 솔루션에 대한 지원을 발표했습니다. 이러한 솔루션은 AI 애플리케이션 개발을 간소화하고 에이전트 기반 워크플로의 기능을 향상시키는 것을 목표로 합니다.
에이전트 워크플로로 AI 애플리케이션 향상
Llama 에코시스템이 포함된 Dell AI 솔루션은 개발자 경험을 간소화하고 AI 애플리케이션의 효율성을 향상하도록 설계되었습니다. 표준화된 소프트웨어 프레임워크인 Llama Stack은 모델 학습, 미세 조정, 프로덕션 배포를 포함한 여러 단계의 AI 개발을 지원합니다. 이제 PyTorch 라이브러리와 긴밀하게 통합되어 검색 증강 생성(RAG) 및 기타 AI 애플리케이션의 원활한 배포를 용이하게 합니다.
Llama Stack과 Dell AI Factory를 결합하면 기업은 NVIDIA H100 GPU가 탑재된 Dell PowerEdge XE9680 서버를 기반으로 엔터프라이즈급 인프라를 활용할 수 있습니다 . 이 레퍼런스 아키텍처는 확장성과 성능을 제공하여 에이전트 기반 AI 애플리케이션 개발을 더욱 쉽게 만들어 줍니다.
이 아키텍처는 코드 재사용을 촉진하고 현재 및 미래의 Llama 모델에 대한 플러그 앤 플레이 기능을 활성화하여 개발을 간소화하는 표준화된 API를 제공합니다. 내장된 보안 기능을 통한 안전한 배포는 AI 애플리케이션이 규정을 준수하고 보호되도록 보장합니다. Dell의 Adaptable 인프라는 단일 노드 추론에서 다중 노드 배포에 이르기까지 다양한 AI 사용 사례를 지원합니다.
이러한 기능을 통해 기업은 여러 모델과 메모리 뱅크가 함께 작동하여 복잡한 비즈니스 과제를 해결하는 워크플로를 구현할 수 있습니다. Llama Stack과 통합된 참조 아키텍처는 추론, RAG 및 합성 데이터 생성과 같은 작업 실행을 간소화하는 반면, Llama Guard 모델은 향상된 보안을 위한 안전 조치와 가드레일을 수립합니다.
데이터 과학자와 개발자에게 권한 부여
AI 애플리케이션을 개발하는 데는 높은 비용, 확장성 문제, 필요한 리소스 확보의 어려움 등의 어려움이 있습니다. 적절한 아키텍처를 선택하고 AI 시스템을 통합하고 유지하는 것이 중요합니다. Dell의 Llama가 포함된 AI 솔루션은 이러한 과제를 완화하고 데이터 과학자, 개발자, IT 의사 결정권자에게 도움이 되는 것을 목표로 합니다.
참조 아키텍처는 검증된 워크플로와 샘플 코드를 통해 개발을 신속하게 진행하기 위해 PowerEdge XE9680 서버에 Llama 모델을 배포하기 위한 자세한 지침을 제공합니다.
Dell AI Factory의 검증된 구성은 데이터 센터에서 AI 솔루션의 설치를 간소화하여 여러 노드에 걸친 확장성을 제공하고 맞춤형 배포 서비스로 지원됩니다.
Dell AI Solutions with Llama를 사용하면 개발자가 표준화된 빌딩 블록을 사용하여 새로운 AI 모델, 도구 및 프레임워크를 신속하게 채택하여 다양한 환경에서 이식 가능한 코드를 보장할 수 있습니다. Dell Data Lakehouse 및 PowerScale 플랫폼을 통해 데이터 파이프라인을 간소화합니다. 또한 Llama 모델은 Hugging Face 플랫폼을 통해 Dell의 Enterprise Hub에서 사용할 수 있습니다. 이러한 모델은 안전하고 효율적인 배포를 위해 미리 패키징되고 배포 준비가 된 컨테이너 및 스크립트입니다.
Dell은 또한 Llama 모델 배포, 전략 지원, 데이터 준비, 모델 구현 및 생성적 AI 결과 제공을 위한 서비스를 제공합니다.
Llama 3.2 소개: 멀티모달 인텔리전스 잠금 해제
Llama 3.2의 출시는 AI 기술의 상당한 발전을 나타내며, 개발자에게 개인적이고 효율적이며 책임감 있는 새로운 세대의 AI 경험을 만드는 도구를 제공합니다. Llama 3.2에는 텍스트 및 이미지 입력을 처리할 수 있는 1B에서 90B 매개변수에 이르는 다국어 모델이 포함되어 있습니다. 가벼운 텍스트 전용 옵션(1B 및 3B)과 비전 LLM(11B 및 90B)을 포함한 이러한 모델은 긴 컨텍스트 길이를 지원하고 고급 쿼리 어텐션 메커니즘을 사용하여 추론에 최적화되어 있습니다.
Llama 3.2의 11B 및 90B 모델은 차트 및 그래프 해석, 이미지 캡션과 같은 문서 수준 이해를 포함한 이미지 추론 기능을 제공합니다. 이 모델은 또한 대화형 및 고처리량 워크로드에 최적화된 실시간 및 일괄 추론을 지원합니다. Dell의 AI Factory 솔루션과 통합하면 이러한 모델을 통해 기업은 제조에서 결함 탐지, 의료에서 진단 정확도 향상, 소매 재고 관리 개선을 포함한 여러 애플리케이션에서 AI를 활용할 수 있습니다.
아마존