IBM은 Hot Chips 2024 컨퍼런스에서 다가올 IBM Telum II 프로세서와 IBM Spyre Accelerator의 아키텍처 세부 정보를 공개했습니다. 이러한 새로운 기술은 차세대 IBM Z 메인프레임 시스템에서 처리 용량을 크게 확장하도록 설계되어 새로운 앙상블 방식의 AI를 통해 기존 AI 모델과 대규모 언어 AI 모델을 모두 가속화할 수 있습니다. 대규모 언어 모델(LLM)을 활용하는 많은 생성 AI 프로젝트가 개념 증명에서 프로덕션으로 전환됨에 따라 전력 효율적이고 안전하며 확장 가능한 솔루션에 대한 기업의 요구가 최우선 과제가 되었습니다.
Morgan Stanley의 조사에 따르면, 생성형 AI에 대한 전력 수요는 향후 몇 년 동안 연간 75%씩 증가할 것으로 예상되며, AI의 에너지 소비량은 2026년까지 스페인과 맞먹을 수 있다는 예측이 나오고 있습니다. 이로 인해 IBM 고객은 AI 워크로드에 적합한 크기의 기초 모델과 하이브리드 설계 방식을 지원하는 아키텍처 결정을 우선시하게 되었습니다.
IBM Telum II 프로세서는 차세대 IBM Z 시스템을 구동하도록 설계되었습니다. 주파수 증가, 메모리 용량 확장, 캐시 40% 증가, 통합 AI 가속 코어가 특징입니다. 새로운 프로세서는 메인프레임의 네트워킹 및 스토리지를 위한 복잡한 IO 프로토콜을 가속화하도록 설계된 일관되게 연결된 데이터 처리 장치(DPU)를 도입합니다. DPU는 시스템 운영을 간소화하고 주요 구성 요소의 성능을 향상시켜 Telum II 프로세서를 LLM 및 업계의 복잡한 거래 요구 사항을 지원하는 엔터프라이즈 컴퓨팅 솔루션에 적합하게 만듭니다.
Telum II 프로세서를 보완하는 것은 IBM Spyre Accelerator로, 추가 AI 컴퓨팅 기능을 제공합니다. Telum II와 Spyre 칩은 함께 확장 가능한 아키텍처를 형성하여 여러 머신 러닝 또는 딥 러닝 AI 모델을 인코더 LLM과 결합하여 AI 모델링의 앙상블 방법을 지원합니다. 이 앙상블 방식은 각 모델 아키텍처의 장점을 활용하여 개별 모델에 비해 더 정확하고 강력한 결과를 제공합니다. Hot Chips 2024에서 미리보기로 소개된 IBM Spyre Accelerator는 추가 옵션으로 제공됩니다. 75와트 PCIe 어댑터를 통해 연결되며 클라이언트 요구 사항에 맞게 확장할 수 있습니다.
IBM Z 및 LinuxONE의 제품 관리 부사장인 티나 타르퀴니오는 IBM이 기술 동향, 특히 AI에 대한 증가하는 수요를 앞서가려는 의지를 강조했습니다. 그녀는 Telum II 프로세서와 Spyre Accelerator가 고성능, 보안 및 전력 효율적인 엔터프라이즈 컴퓨팅 솔루션을 제공하도록 설계되었다고 말했습니다. 수년간 개발된 이러한 혁신은 IBM의 차세대 IBM Z 플랫폼에 도입되어 고객이 LLM과 생성 AI를 대규모로 활용할 수 있게 합니다.
Telum II 프로세서와 IBM Spyre Accelerator는 IBM의 오랜 파트너인 Samsung Foundry에서 고성능, 전력 효율적인 5nm 프로세스 노드를 사용하여 제조됩니다. 이러한 기술을 함께 사용하면 비즈니스 가치를 해제하고 새로운 경쟁 우위를 창출하도록 설계된 다양한 고급 AI 기반 사용 사례를 지원할 수 있습니다. 예를 들어, LLM과 기존 신경망을 결합한 앙상블 AI 모델을 통해 주택 보험 청구에서 사기 탐지를 강화할 수 있습니다. 또한 의심스러운 금융 활동을 고급으로 탐지하면 규제 요구 사항을 준수하고 경제 범죄의 위험을 완화하는 데 도움이 될 수 있습니다. 동시에 AI 어시스턴트는 애플리케이션 수명 주기를 가속화하고 지식을 전달하며 코드 설명과 변환을 제공할 수 있습니다.
Telum II 프로세서는 5.5GHz에서 실행되는 고성능 코어 36개, 코어당 2MB의 L40 캐시, 온칩 캐시 용량이 360% 증가하여 총 4MB를 제공합니다. 가상 레벨 2.88 캐시는 프로세서 드로어당 40GB를 제공하며, 이는 이전 세대보다 50% 증가한 것입니다. 통합 AI 가속기는 저지연, 고처리량 트랜잭션 AI 추론을 지원하여 이전 세대에 비해 칩당 컴퓨팅 용량이 XNUMX배 증가했습니다. 또한 Telum II 칩에 통합된 새로운 I/O 가속 장치 DPU는 I/O 밀도가 XNUMX% 증가하여 데이터 처리를 개선하도록 설계되어 대규모 AI 워크로드와 데이터 집약적 애플리케이션에 대한 IBM Z의 전반적인 효율성과 확장성을 향상시킵니다.
IBM Spyre Accelerator는 복잡한 AI 모델과 생성적 AI 사용 사례를 처리하도록 설계된 특수 목적의 엔터프라이즈급 가속기입니다. 최대 1TB의 메모리를 제공하며, 일반 IO 드로어에 있는 75개의 카드에 분산되어 메인프레임에서 AI 모델 워크로드를 지원하면서 카드당 최대 32W를 소모합니다. 각 칩에는 int4, int8, fp8 및 fp16 데이터 유형을 지원하는 XNUMX개의 컴퓨팅 코어가 있어 저지연 및 고처리량 AI 애플리케이션을 모두 지원합니다.
Telum II 프로세서는 IBM의 차세대 IBM Z 및 IBM LinuxONE 플랫폼에 구동되며 2025년에 출시될 예정입니다. 현재 기술 미리보기 중인 IBM Spyre Accelerator는 2025년에 출시될 예정입니다.
아마존