NVIDIA에게는 바쁜 한 주였지만 아직 끝나지 않았습니다. NVIDIA는 Microsoft Azure에서 AI 파운드리 서비스를 출시하고 있으며, 이는 맞춤형 생성 AI에 뛰어드는 기업을 위한 강력한 새 도구입니다.
NVIDIA의 AI 파운드리 서비스가 제공하는 내용은 다음과 같습니다.
- NVIDIA AI 기반 모델: 이는 AI 구성 요소입니다.
- NVIDIA NeMo 프레임워크 및 도구: AI를 미세 조정하기 위한 툴킷입니다.
- NVIDIA DGX Cloud AI 슈퍼컴퓨팅 서비스: AI 꿈을 현실로 처리할 수 있는 강력한 솔루션입니다.
이러한 요소를 통해 기업은 스마트 검색, 콘텐츠 제작 등을 위한 자체 AI 모델을 제작할 수 있으며 모두 NVIDIA AI Enterprise 소프트웨어를 기반으로 합니다.
생성적 AI 기반 애플리케이션을 위한 맞춤형 모델
NVIDIA의 AI 파운드리 서비스는 기업용 소프트웨어, 통신, 미디어 등 다양한 산업 분야에서 생성형 AI 기반 애플리케이션에 적합한 모델을 맞춤 제작할 수 있습니다. 맞춤형 모델이 배포 준비가 완료되면 기업은 RAG(Retrieval-Augmented Generation) 라는 기술을 사용하여 모델을 기업 데이터와 연결하고 새로운 인사이트를 얻을 수 있습니다.
NVIDIA의 서비스는 단지 보여주기 위한 것이 아닙니다. 그것은 실용적입니다. 업계 선두업체인 SAP SE, Amdocs 및 Getty Images는 이미 이 서비스를 통해 맞춤형 모델을 만들고 있습니다. 소프트웨어에서 통신에 이르기까지 업계에서는 이제 필요에 맞는 AI 앱을 제작할 수 있습니다. SAP는 AI 부조종사인 Joule에 이를 사용하고 있으며 Amdocs는 통신 AI 솔루션을 위한 amAIz 프레임워크를 강화하고 있습니다.
NVIDIA CEO Jensen Huang은 회사의 고유한 데이터를 사용하여 AI를 맞춤화하는 서비스의 능력을 강조합니다. 그리고 Microsoft CEO인 Satya Nadella는 NVIDIA의 도움을 받아 Azure에서 AI 혁신을 추진하는 데 주력하고 있습니다.
네모트론-3 8B
NVIDIA는 Azure AI 및 NVIDIA NGC 카탈로그 모두에서 사용할 수 있는 다목적 Nemotron-3 8B 제품군을 포함하여 다양한 AI Foundation 모델을 제공합니다. 이 모델은 다국어 사용 및 다양한 적용이 가능합니다. 가속화된 컴퓨팅을 위해 NVIDIA에 최적화된 Meta의 Llama 2 모델과 같은 커뮤니티 모델은 NVIDIA NGC에서도 사용할 수 있으며 곧 Azure AI 모델 카탈로그에 제공될 예정입니다.
NVIDIA DGX 클라우드, Azure Marketplace 출시
NVIDIA DGX Cloud AI 슈퍼컴퓨팅은 이제 Azure Marketplace에 있습니다. 필요한 것을 대여하고, 쉽게 확장하고, 신속한 LLM 사용자 정의를 위한 NVIDIA AI Enterprise 소프트웨어를 즐겨보세요. 고객이 임대할 수 있는 인스턴스를 제공하고 수천 개의 NVIDIA Tensor Core GPU로 확장할 수 있으며 NeMo를 포함한 NVIDIA AI Enterprise 소프트웨어가 함께 제공되어 LLM 사용자 정의 속도를 높입니다.
Azure Machine Learning에 통합된 NVIDIA AI Enterprise를 통해 사용자는 안정적이고 안전한 AI 플랫폼을 얻을 수 있습니다. 또한 Azure Marketplace에서도 다양한 AI 개발 및 배포 가능성을 제공합니다.
Azure 기반 NVIDIA의 AI 파운드리 서비스는 단순한 업데이트가 아닙니다. 이는 맞춤형 AI 개발에 대한 혁신적인 접근 방식입니다.
고급 AI 기능을 갖춘 NVIDIA 및 Microsoft Amp Up Azure
Microsoft는 Azure에서 AI 게임을 강화하고 새로운 H100 기반 가상 머신을 도입하며 향후 H200 Tensor Core GPU 추가를 계획하고 있습니다. Ignite 컨퍼런스에서 발표된 새로운 NC H100 v5 VM 시리즈는 NVIDIA H100 NVL GPU를 갖춘 최초의 클라우드 컴퓨팅입니다. 이 VM은 NVIDIA NVLink로 연결된 100개의 PCIe 기반 H4 GPU로 강력한 성능을 발휘하여 거의 188페타플롭의 AI 컴퓨팅과 3GB의 고속 HBM100 메모리를 제공합니다. H12 NVL GPU는 이전 모델에 비해 GPT-3 175B에서 최대 XNUMX배 향상된 성능을 제공하는 강력한 제품으로 추론 및 주류 교육 워크로드에 적합합니다.
NVIDIA H200 Tensor Core GPU를 Azure에 통합
Microsoft는 내년에 NVIDIA H200 Tensor Core GPU를 Azure에 통합할 계획입니다. 이 업그레이드는 대기 시간을 늘리지 않고 대규모 모델 추론을 처리하도록 설계되었으며, 이는 LLM 및 생성 AI 모델에 이상적입니다. H200은 141GB의 HBM3e 메모리와 4.8TB/s의 최대 메모리 대역폭으로 H100보다 훨씬 뛰어난 성능을 발휘합니다.
또한 Microsoft는 새로운 기밀 VM인 NCC H100 v5를 통해 NVIDIA 가속 제품을 확장하고 있습니다. NVIDIA H100 Tensor Core GPU가 장착된 이러한 Azure 기밀 VM은 사용 중에 데이터 및 애플리케이션 기밀성과 무결성을 보장합니다. H100의 가속 기능과 결합된 이 향상된 보안 기능은 곧 비공개 미리 보기로 제공될 예정입니다.
NVIDIA와 Microsoft의 이러한 발전은 Azure의 클라우드 컴퓨팅 및 AI 기능이 크게 도약하여 까다로운 AI 워크로드에 전례 없는 성능과 보안을 제공합니다.
NVIDIA, Omniverse Cloud의 새로운 시뮬레이션 엔진으로 자동차 디지털화 강화
NVIDIA는 Omniverse Cloud에 가상 공장 시뮬레이션 엔진과 자율주행차(AV) 시뮬레이션 엔진이라는 두 가지 새로운 시뮬레이션 엔진을 도입하여 자동차 산업에서의 역량을 강화하고 있습니다. Microsoft Azure에서 호스팅되는 Omniverse Cloud는 자동차 회사가 제품 수명주기를 처리하는 방식을 물리적, 수동 프로세스에서 소프트웨어 기반, AI로 강화된 디지털 시스템으로 전환하고 있습니다.
가상 공장 시뮬레이션 엔진: 자동차 제조업체를 위한 판도를 바꾸는 도구
이 엔진은 공장 계획 팀이 대규모 산업 데이터 세트를 실시간으로 연결하고 협업할 수 있는 툴킷입니다. 이를 통해 설계 팀은 가상 공장을 구축하고 작업을 원활하게 공유할 수 있습니다. 이는 생산 품질과 처리량을 높이고 시공 후 변경을 방지하여 상당한 시간과 비용을 절약합니다.
주요 기능에는 Autodesk Factory Planning 및 Siemens NX와 같은 기존 소프트웨어와의 호환성이 포함되어 있어 다양한 플랫폼에서의 협업이 향상됩니다. T-Systems와 SoftServe는 이미 이 엔진을 활용하여 맞춤형 가상 공장 애플리케이션을 개발하고 있습니다.
AV 시뮬레이션 엔진: 자율주행차 개발의 혁명
AV 시뮬레이션 엔진은 차세대 AV 아키텍처 개발에 중요한 충실도가 높은 센서 시뮬레이션을 제공하도록 설계되었습니다. 이를 통해 개발자는 인식, 계획, 제어와 같은 차량 스택 계층을 통합하여 가상 환경에서 자율 시스템을 테스트할 수 있습니다.
이 엔진은 고품질 센서 데이터 시뮬레이션이 필요한 고급 통합 AV 아키텍처를 개발하는 데 중요합니다. NVIDIA는 DRIVE Sim 및 Isaac Sim 센서 시뮬레이션 파이프라인을 이 엔진에 통합하여 카메라, 레이더, 라이더 및 기타 센서에 대한 현실적인 시뮬레이션을 제공합니다.
디지털 트랜스포메이션 가속화
공장 시뮬레이션 엔진은 이제 Azure Marketplace에서 사용할 수 있으며 NVIDIA OVX 시스템 및 관리형 Omniverse 소프트웨어를 제공합니다. 센서 시뮬레이션 엔진도 곧 뒤따를 예정입니다. 또한 기업은 최적화된 Azure 가상 머신에 Omniverse Enterprise를 배포하여 자동차 부문의 디지털화 프로세스를 더욱 간소화할 수 있습니다.
Omniverse Cloud의 NVIDIA의 새로운 시뮬레이션 엔진은 자동차 디지털화의 중요한 단계를 의미하며 가상 공장 계획 및 AV 개발을 위한 강력한 도구를 제공합니다.
AI 혁명이 Windows 11을 강타합니다: RTX GPU를 통한 NVIDIA의 큰 도약
NVIDIA는 RTX GPU의 성능을 활용하여 게이머, 제작자 및 일반 PC 사용자의 경험에 새로운 차원을 제공함으로써 Windows 11 환경을 재편하고 있습니다. RTX GPU가 장착된 100억 대 이상의 Windows PC 사용자 기반을 갖춘 NVIDIA의 최신 혁신 기술은 생산성과 창의성을 새로운 차원으로 끌어올릴 준비가 되어 있습니다.
이러한 개발의 최전선에는 Omniverse Cloud에 가상 공장과 자율주행차(AV) 시뮬레이션 엔진이라는 두 가지 새로운 시뮬레이션 엔진이 도입된 것입니다. Microsoft Azure에서 호스팅되는 이러한 엔진은 자동차 산업의 제품 수명주기를 혁신하여 전통적인 수동 프로세스에서 효율적인 AI 강화 디지털 시스템으로 전환하고 있습니다.
중요한 업데이트에서 NVIDIA의 오픈 소스 소프트웨어인 TensorRT-LLM은 AI 추론 성능을 향상시키도록 설정되었습니다. 이 업데이트는 새로운 대규모 언어 모델에 대한 지원을 확장하여 8GB VRAM부터 시작하는 RTX GPU가 장착된 데스크톱 및 노트북에서 복잡한 AI 워크로드에 더 쉽게 액세스할 수 있게 해줍니다. 이 개선 사항은 특히 OpenAI의 Chat API와 Windows용 TensorRT-LLM의 향후 호환성을 통해 게임 체인저입니다. 이러한 통합은 이제 많은 개발자 프로젝트와 애플리케이션이 RTX PC에서 로컬로 실행될 수 있음을 의미하며, 사용자는 클라우드에서 멀리 떨어진 Windows 11 PC에 민감한 데이터를 안전하게 보관할 수 있습니다.
NVIDIA는 또한 제작자를 위한 개발 프로세스를 간소화하도록 설계된 포괄적인 툴킷인 AI Workbench를 선보입니다. 이 플랫폼은 사전 훈련된 생성 AI 모델 및 LLM의 생성, 테스트 및 사용자 정의를 단순화하여 개발자가 AI 프로젝트를 효율적으로 관리하고 모델을 특정 사용 사례에 맞게 조정할 수 있도록 합니다.
NVIDIA는 Microsoft와의 협력을 통해 Llama 2와 같은 기본 AI 모델의 가속화를 약속하는 DirectML을 강화하고 있습니다. 이 협력은 공급업체 간 배포 범위를 넓히고 성능 표준의 새로운 벤치마크를 설정합니다.
TensorRT-LLM v0.6.0의 향후 릴리스는 최대 7배 더 빠른 추론 성능을 약속하는 또 다른 도약입니다. 또한 Mistral 3B 및 Nemotron-8 30B를 포함하여 널리 사용되는 추가 LLM도 지원합니다. 이러한 모델은 40GB RAM 이상의 GeForce RTX 8 및 XNUMX 시리즈 GPU에서 액세스할 수 있어 가장 휴대성이 뛰어난 Windows 장치에서도 고급 AI 기능을 사용할 수 있습니다.
이러한 발전을 지원하기 위해 NVIDIA는 GitHub 저장소와 ngc.nvidia.com에서 사용할 수 있는 TensorRT-LLM의 새로운 릴리스와 최적화된 모델을 만들고 있습니다.
이러한 혁신을 통해 NVIDIA는 방대한 사용자 기반을 위한 PC 경험을 향상시키는 것뿐만 아니라; 이는 Windows 11에서 AI로 강화된 컴퓨팅의 새로운 시대를 열며 기술과 일상 생활의 교차점에서 중추적인 순간을 의미합니다.
아마존