VAST Data는 DeepL이 자사의 텍스트 및 실시간 음성 번역 연구 환경의 데이터 기반으로 VAST AI 운영 체제를 도입한다고 발표했습니다 . 현재 도입 계획에 따르면 DeepL은 기존에 사용 중인 NVMe 하드웨어보다 약 3배 많은 저장 용량을 확보할 것으로 예상하며, VAST의 SyncEngine을 사용하여 기존 환경에서 데이터를 마이그레이션할 예정입니다. DeepL 플랫폼은 20만 개 이상의 기업 팀에 서비스를 제공하고 있으며, 회사 측은 실시간 음성 학습이 새로운 데이터 수요를 견인하고 있다고 밝혔습니다.
NVMe 통합을 통해 가용 용량을 3배로 늘리는 것을 목표로 합니다.
3배 증가라는 수치는 DeepL의 기존 NVMe 인프라를 기준으로 산출되었으며, DeepL은 이를 물리적 하드웨어 증설 없이 모델 개발 규모를 확장할 수 있는 여유 공간 확보라고 설명합니다. 두 회사 모두 데이터 축소, 이레이저 코딩, 그리고 여러 스토리지 풀을 하나의 플랫폼으로 통합함으로써 얻은 이점을 구체적으로 밝히지 않았으며, VAST는 지난 1월 기존 SSD에서 최대 6배의 유효 용량을 제공한다고 주장하며 출시한 Amplify 프로그램과의 연관성을 언급하지 않았습니다. 드라이브 모델, 용량, 배포 일정은 공개되지 않았습니다.
데이터를 분류하고 마이그레이션하는 AI OS 구성 요소인 SyncEngine은 DeepL의 데이터를 기존 환경에서 VAST 플랫폼으로 옮깁니다. 이후 플랫폼은 단일 시스템에서 파일 및 객체 스토리지를 제공하며, DeepL은 이를 통해 연구팀의 데이터 구조가 간소화되고 모델 변화에 따른 워크로드 변화에 유연하게 대응할 수 있다고 설명합니다.
"VAST는 우리가 필요로 하는 성능과 안정성을 제공하는 동시에 이미 운영하고 있는 인프라를 훨씬 더 효율적으로 활용할 수 있도록 해줍니다."라고 DeepL의 수석 과학자인 스테판 안드레센은 말했습니다. "더욱 중요한 것은, VAST를 통해 자체 데이터 센터는 물론 향후 클라우드 환경 전반에 걸쳐 데이터에 더 쉽게 접근할 수 있게 되어 연구를 방해할 수 있는 수동 데이터 이동 작업을 줄일 수 있다는 점입니다."
2024년 11월 실시간 다국어 대화를 위해 도입된 DeepL Voice는 요구 사항을 높이는 워크로드의 주요 원인입니다. 최근 업데이트를 통해 화자의 음성 특성을 언어에 관계없이 유지할 수 있게 되었으며, DeepL 측은 이러한 기능을 학습하는 데 텍스트 학습보다 데이터 접근 및 인프라 성능에 더 큰 부담이 가해진다고 밝혔습니다. 따라서 학습 환경과 운영 환경 간의 효율적인 데이터 이동이 최우선 과제입니다.
온프레미스와 클라우드를 아우르는 하이브리드 데이터 관리
배포는 DeepL의 데이터 센터에서 시작되며, 향후 연구자들이 학습 클러스터 위치에 관계없이 동일한 데이터 세트에 접근하고 수동으로 데이터를 복사하는 작업을 중단할 수 있도록 VAST를 클라우드 환경으로 확장할 계획입니다. 두 회사 모두 클라우드 단계에서 어떤 VAST 서비스를 사용할지, 언제 시작할지는 밝히지 않았습니다.
VAST Data의 공동 창립자인 제프 덴워스는 “AI가 상용화됨에 따라 인프라의 안정성은 순수 성능만큼이나 중요해집니다.”라고 말했습니다. “문자 언어, 실시간 음성 및 차세대 AI 경험은 모두 데이터에 대해 서로 다른 요구 사항을 제시하지만, 연구원들은 모델이나 제품이 변경될 때마다 기본 인프라를 재설계할 필요가 없어야 합니다.”
VAST는 AI OS를 모델 개발, 학습 및 추론 전반에 걸쳐 공통 데이터 기반으로 자리매김하고, 분산 인프라 전반에서 일관된 액세스를 통해 파일 및 객체 서비스를 통합합니다. DeepL은 NVIDIA 기밀 컴퓨팅 환경에서 규제 대상 데이터에 대한 모델 실행을 위한 DataEnclave 와 9월에 출시된 CrowdStrike 통합을 포함하여 이번 가을에 발표된 일련의 VAST 관련 발표에 이어 공개되었습니다.
아마존