기업용 AI 리뷰

NVIDIA RTX PRO 4500 Blackwell Server Edition은 데이터 센터 외부에 있는 서버의 L4 스토리지를 대체하기 위해 NVIDIA가 개발한 그래픽 카드입니다. 싱글 슬롯, PCIe Gen5, 팬리스 쿨링 방식, 165W 소비 전력, 32GB GDDR7 메모리, 그리고 FP4 텐서 코어와 멀티 인스턴스 GPU를 포함한 Blackwell의 모든 기능을 갖추고 있습니다. HPE에서 ProLiant DL145 서버를 제공해 주었습니다.

기업 AI 인프라는 학습 모델 최적화에서 모델 서비스 제공으로 전환되었으며, 이는 경제성을 변화시켰습니다. 학습은 최종 목표가 있는 자본 투자 프로젝트입니다. 반면 추론은 서비스가 운영되는 동안 지속적으로 실행되는 프로덕션 워크로드이며, 출력은 토큰으로 측정됩니다. 이것이 바로 현재 AI 운영자들이 직면한 토큰 경제 문제입니다.

NVIDIA DGX Spark에 대한 이야기가 나올 때면 항상 두 가지가 먼저 언급됩니다. 첫 번째는 핵심 사양입니다. 약 4,000달러짜리 데스크톱 PC에 128GB의 통합 메모리가 탑재되어 있다는 점인데, 불과 2년 전만 해도 엔지니어의 책상 위에 놓이는 것조차 상상하기 어려웠을 수치입니다. 두 번째는 200입니다.

작년 11월, 오리건 주립대학교의 플랑크톤 영상 연구에 대한 기사를 게재했을 때, 헤드라인은 과학적 내용에 초점을 맞췄습니다. 연구선에 탑재된 AI 가속 인프라가 배가 항구에 도착하기도 전에 수 테라바이트에 달하는 해양 데이터를 거의 실시간으로 처리한다는 내용이었죠. 하지만 그 후 몇 주 동안 조용히 또 다른 일이 벌어졌습니다. 캠퍼스 전체에 이 연구에 대한 소문이 퍼져나간 것입니다.

Supermicro의 JumpStart 프로그램은 AI 인프라 구매 전 평가에 있어 가장 유용한 도구 중 하나로 자리매김했습니다. 공유 환경에서의 스크립트 기반 데모와 달리, JumpStart는 자격을 갖춘 사용자에게 SSH, IPMI, VNC를 통해 실제 운영 서버에 대한 무료 시간 제한 액세스 권한을 제공하여 실제 하드웨어에서 워크로드를 실행할 수 있도록 지원합니다.

우리는 Supermicro JumpStart를 통해 HGX B200을 일주일 동안 테스트하여 원격 베어메탈 액세스가 AI 플랫폼 의사 결정 속도를 어떻게 높이는지 확인했습니다.

오리건 주립대학교는 GPU, 컴퓨팅, 고밀도 NVMe를 활용해 AI 해양 연구를 발전시켜 바다에서 플랑크톤 데이터를 실시간으로 분석하고 있습니다.

L40S는 합성 데이터 생성, 멀티모달 AI 개발, 컴퓨팅과 그래픽 성능이 모두 필요한 Omniverse 애플리케이션에 특히 유용합니다.

Pliops XDP LightningAI는 KV 캐시를 오프로드하여 LLM 추론을 강화하고 NVIDIA Dynamo 통합을 통해 더 빠르고 확장 가능한 AI를 구현합니다.