StorageReview.com
AI  ◇  기업

장기 컨텍스트 추론을 위한 토큰 효율적인 경로: KV 캐시를 플래시로 오프로드

기업 AI 인프라는 학습 모델 최적화에서 모델 서비스 제공으로 전환되었으며, 이는 경제성을 변화시켰습니다. 학습은 최종 목표가 있는 자본 투자 프로젝트입니다. 반면 추론은 서비스가 운영되는 동안 지속적으로 실행되는 프로덕션 워크로드이며, 출력은 토큰으로 측정됩니다. 이것이 바로 현재 AI 운영자들이 직면한 토큰 경제 문제입니다.

AI  ◇  기업

NVIDIA DGX Spark 클러스터 리뷰: Dell, GIGABYTE 및 HP에서의 분산 추론

NVIDIA DGX Spark에 대한 이야기가 나올 때면 항상 두 가지가 먼저 언급됩니다. 첫 번째는 핵심 사양입니다. 약 4,000달러짜리 데스크톱 PC에 128GB의 통합 메모리가 탑재되어 있다는 점인데, 불과 2년 전만 해도 엔지니어의 책상 위에 놓이는 것조차 상상하기 어려웠을 수치입니다. 두 번째는 200입니다.

AI  ◇  기업

메트럼 AI와 오리건 주립대학교가 어떻게 새로운 학업 평가 기준을 만들어가고 있는가

작년 11월, 오리건 주립대학교의 플랑크톤 영상 연구에 대한 기사를 게재했을 때, 헤드라인은 과학적 내용에 초점을 맞췄습니다. 연구선에 탑재된 AI 가속 인프라가 배가 항구에 도착하기도 전에 수 테라바이트에 달하는 해양 데이터를 거의 실시간으로 처리한다는 내용이었죠. 하지만 그 후 몇 주 동안 조용히 또 다른 일이 벌어졌습니다. 캠퍼스 전체에 이 연구에 대한 소문이 퍼져나간 것입니다.

AI  ◇  기업

Supermicro JumpStart 리뷰: AMD Instinct MI350X를 탑재한 H14 버전

Supermicro의 JumpStart 프로그램은 AI 인프라 구매 전 평가에 있어 가장 유용한 도구 중 하나로 자리매김했습니다. 공유 환경에서의 스크립트 기반 데모와 달리, JumpStart는 자격을 갖춘 사용자에게 SSH, IPMI, VNC를 통해 실제 운영 서버에 대한 무료 시간 제한 액세스 권한을 제공하여 실제 하드웨어에서 워크로드를 실행할 수 있도록 지원합니다.