IBM은 데이터 센터가 생성적 AI 모델을 훈련하고 실행하는 방식을 혁신할 것을 약속하는 광학 기술 분야의 획기적인 연구를 발표했습니다. 이 회사는 데이터 센터 내부의 광 기반 연결을 활용하는 차세대 기술인 공동 패키지 광학(CPO)에 대한 새로운 접근 방식을 개척했습니다. IBM 연구원들은 이 혁신을 구동하기 위해 최초로 공개적으로 발표된 폴리머 광 도파관(PWG)을 설계하고 조립함으로써 칩, 회로 기판 및 서버 간에 고대역폭 데이터가 전송되는 방식을 재정의하는 것을 목표로 합니다.
이미지는 Ranovus에서 제공되었습니다.
광섬유 기술은 장거리에 걸쳐 방대한 양의 데이터를 전송하여 글로벌 상거래와 통신을 관리합니다. 그러나 데이터 센터 내에서 랙은 연결을 위해 구리 기반 DAC 네트워크 케이블에 의존합니다. IBM은 이러한 설정이 속도와 용량을 제한하여 병목 현상을 일으킬 수 있다고 생각하며, 분산 AI 학습 프로세스 중에 GPU 가속기를 장시간 유휴 상태로 둡니다. IBM의 획기적인 발전은 이러한 내부 연결에 광학의 속도와 효율성을 도입하여 성능과 에너지 효율성을 획기적으로 개선하는 것을 목표로 합니다.
IBM은 데이터 센터 내에서 고속 광 연결을 도입하는 새로운 CPO 프로토타입 모듈을 시연했습니다. arXiv에 게재된 논문에서 이 연구는 이 기술이 대역폭을 크게 늘리고, GPU 다운타임을 줄이며, 데이터 센터에서 증가하는 에너지 수요를 해결하는 동시에 AI 모델 훈련을 가속화할 수 있는 방법을 강조합니다.
공동 패키지 광학(CPO)의 주요 장점
향상된 에너지 효율성 및 비용 절감
CPO 기술은 중간 범위의 전기 상호 연결에 비해 에너지 소비를 5배 이상 줄일 수 있습니다. 이러한 발전으로 데이터 센터 상호 연결 케이블이 몇 미터에서 수백 미터까지 확장되어 운영 비용을 크게 절감할 수 있습니다.
- 가속화된 AI 훈련: CPO는 기존의 전기 배선을 광 연결로 대체함으로써 대규모 언어 모델(LLM)의 훈련 속도를 최대 5배까지 높일 수 있습니다. 예를 들어, LLM의 훈련 시간을 3개월에서 3주로 단축할 수 있으며, 모델과 GPU 리소스가 확장됨에 따라 성능이 더욱 향상됩니다.
- 비교할 수 없는 에너지 절감: IBM은 CPO를 사용하여 훈련된 각 AI 모델이 다음과 같은 비용을 절감할 수 있다고 추정합니다. 미국 가정 5,000 가구의 연간 전력 소비량에너지 효율성에 혁신적인 영향을 미친다는 점을 강조합니다.
- 비교할 수 없는 대역폭 밀도: CPO 모듈 제공 최대 80배 더 많은 대역폭 칩 간 전기적 연결과 비교했을 때. IBM의 혁신을 통해 칩 제조업체는 실리콘 광자 칩의 가장자리에 6배 더 많은 광섬유를 추가할 수 있으며, 이를 "해안가 밀도"라고 하며, 전체 데이터 센터 용량을 향상시킵니다.
선구적인 폴리머 광도파관(PWG) 기술
IBM의 연구팀은 실리콘 광자 도파관에 단열적으로 결합된 50마이크로미터 피치 광 채널을 갖춘 고밀도 PWG를 설계했습니다. 표준 패키징 공정을 사용하여 수행된 이 조립은 높은 습도, -40°C에서 125°C까지의 극한 온도, 기계적 내구성을 포함한 엄격한 제조 스트레스 테스트를 통과한 최초의 제품입니다. PWG를 스태킹하면 최대 128개의 연결 채널을 사용할 수 있어 전례 없는 확장성을 제공합니다.
이 혁신은 최초의 2nm 노드 칩, 나노시트 트랜지스터, 수직 트랜지스터(VTFET)와 같은 발전을 바탕으로 반도체 기술 분야에서 IBM의 리더십과 일치합니다. CPO 기술은 AI의 증가하는 수요를 충족하는 새로운 방식을 도입하여 오프모듈 통신을 전기에서 광학으로 전환하고 지속 가능하고 확장 가능한 데이터 센터 운영을 가능하게 합니다.
생성적 AI 성장 지원
IBM의 수석 부사장 겸 연구 책임자인 Dario Gil은 CPO의 혁신적 잠재력을 강조했습니다.
"생성적 AI가 더 많은 에너지와 처리 능력을 요구함에 따라 데이터 센터는 진화해야 하며, 공동 패키지 광학은 이러한 데이터 센터를 미래에 대비할 수 있게 만들 수 있습니다. 이 획기적인 기술로 미래의 칩은 광섬유 케이블이 데이터 센터로 데이터를 전송하는 방식과 매우 유사하게 통신하여 미래의 AI 워크로드를 처리할 수 있는 더 빠르고 지속 가능한 통신의 새로운 시대를 열 것입니다."
IBM의 CPO 작업은 최근 발표된 National Semiconductor Technology Center(NSTC)의 본거지인 뉴욕 Albany에서 수행되었습니다. 프로토타입 조립 및 모듈 테스트는 칩 패키징 분야의 선두 주자인 IBM의 퀘벡주 Bromont 시설에서 이루어졌습니다. 이 협업은 미국과 캐나다 전역에서 반도체 혁신을 강화하는 것을 목표로 하는 Northeast Semiconductor Corridor 이니셔티브의 일부입니다.
IBM의 공동 패키지 광학 혁신은 데이터 센터 통신을 발전시키는 데 있어 중요한 진전을 나타냅니다. 랙 내에서 광속 연결을 통합함으로써 CPO 기술은 비교할 수 없는 효율성, 대역폭 및 에너지 절감을 제공하고, 데이터 센터의 역량을 재정의하고 생성적 AI 및 그 이상의 증가하는 수요에 대비할 것을 약속합니다.
아마존