IBM은 Meta의 최신 오픈 소스 AI 모델인 Llama 4 Scout와 Llama 4 Maverick을 자사의 watsonx.ai 플랫폼에 통합했습니다. 이 차세대 전문가 혼합(MoE) 모델은 향상된 비용 효율성, 확장성 및 처리 능력을 통해 고성능 멀티모달 기능을 제공하도록 설계되었습니다. Llama 4의 추가로 IBM은 watsonx.ai에서 총 13개의 Meta 모델을 지원하게 되었으며, 이는 생성형 AI에 대한 개방형 멀티 모델 접근 방식에 대한 IBM의 노력을 더욱 강화하는 것입니다.
전문가의 조합 아키텍처: 타협 없는 효율성
메타의 새로운 Llama 4 모델은 AI 아키텍처의 획기적인 발전을 보여줍니다. 두 모델 모두 MoE를 활용하는데, 이는 전체 네트워크를 사용하는 대신 각 토큰에 대해 일부 모델 "전문가"만 지능적으로 활성화합니다. 이러한 집중적인 추론 전략은 처리량을 증가시키고 운영 비용을 절감하는 동시에 품질을 저하시키지 않습니다.
Llama 4 Scout는 16명의 전문가에게 분산된 총 109억 개의 파라미터를 자랑하지만, 추론 시에는 17억 개의 파라미터만 활성화됩니다. 이러한 효율적인 구성 덕분에 더 높은 동시성과 빠른 응답 속도를 제공하는 동시에 코딩, 장기 컨텍스트 추론 및 이미지 이해 작업에서 탁월한 성능을 발휘합니다. 작은 크기에도 불구하고 Scout는 40조 개의 토큰으로 학습되었으며, 훨씬 더 많은 활성 파라미터 세트를 가진 모델보다 뛰어난 성능을 보여줍니다.
Llama 4 Maverick은 4천억 개의 파라미터와 128명의 전문가를 활용하면서도 추론당 활성 파라미터는 400억 개에 불과합니다. Meta에 따르면 Maverick은 멀티모달 벤치마크에서 OpenAI의 GPT-17o와 Google의 Gemini 2.0 Flash를 전반적으로 능가하며, 훨씬 효율적임에도 불구하고 추론 및 코딩 워크로드에서는 DeepSeek-V3와 동등한 성능을 보입니다.
| 모델 | 총 매개변수 | 활성 매개변수 | 전문가 수 | 컨텍스트 창 |
|---|---|---|---|---|
| 라마 4 스카우트 | 109B | 17B | 16 | 10억 토큰 |
| 라마 4 매버릭 | 400B | 17B | 128 | 10억 토큰 |
롱 컨텍스트 AI 분야를 선도하다
Llama 4 Scout는 최대 10천만 토큰에 달하는 획기적인 컨텍스트 윈도우를 도입합니다. 이는 현재 업계 최장 기간입니다. 이러한 발전은 다중 문서 요약, 심층적인 코드베이스 분석, 그리고 장기적인 사용자 개인화를 가능하게 합니다. Meta는 이러한 획기적인 성과를 두 가지 아키텍처 혁신, 즉 위치 임베딩 없는 인터리브 어텐션 레이어와 추론 시간 어텐션 스케일링 기법 덕분이라고 생각합니다. "iRope"라고 통칭되는 이러한 향상된 기능들을 통해 Meta는 무한한 컨텍스트 길이의 AI라는 비전에 더욱 가까워졌습니다.
실제 사용 사례를 위한 기본 멀티모달리티
기존 LLM은 텍스트 데이터만 학습한 후 다른 데이터 유형에 맞춰 조정됩니다. 반면, Llama 4 모델은 "네이티브 멀티모달(native multimodal)"로 간주됩니다. 즉, 텍스트, 이미지, 비디오 데이터를 조합하여 처음부터 학습합니다. 이를 통해 다양한 입력 유형을 자연스럽게 처리하고 더욱 통합적이고 맥락을 고려한 결과를 제공할 수 있습니다.
훈련 과정에서 모델은 초기 처리 단계에서 시각 데이터와 언어 데이터를 융합하여 시스템이 여러 모달리티를 동시에 해석하고 추론하도록 효과적으로 학습시킵니다. 그 결과, 프롬프트당 여러 이미지를 처리하고 특정 시각 요소를 텍스트 응답과 연관시키는 기능을 포함하여 이미지 기반 추론에서 탁월한 성능을 발휘합니다.
IBM Watsonx에서의 엔터프라이즈 배포
watsonx.ai를 통해 개발자와 기업은 Llama 4 Scout 또는 Maverick에 액세스하여 클라우드, 온프레미스 또는 엣지 환경에 걸쳐 세부 조정, 정제 및 배포할 수 있습니다. IBM의 엔터프라이즈급 플랫폼은 전체 AI 라이프사이클을 지원하며, 코드 기반 환경부터 로우코드 및 노코드 환경까지 모든 수준의 개발자를 위한 도구를 제공합니다.
watsonx.ai는 벡터 데이터베이스, 에이전트 프레임워크, 고급 인프라와의 사전 구축된 통합 기능을 제공하여 대규모 AI 운영을 용이하게 합니다. 강력한 거버넌스 도구는 엔터프라이즈급 규정 준수, 보안 및 감사 기능을 보장하여 팀이 책임감 있게 구축하고 더 빠르게 배포할 수 있도록 지원합니다.
AI 혁신을 위한 전략적 제휴
IBM과 Meta의 파트너십은 개방형 혁신과 실질적인 기업 대응 능력을 결합합니다. Meta는 모델 아키텍처의 한계를 확장하여 IBM은 현대 기업이 제어력이나 비용 효율성을 희생하지 않고도 신속하게 움직이는 데 필요한 인프라, 거버넌스 및 배포 유연성을 제공합니다.
watsonx.ai에 출시된 Llama 4는 IBM 고객에게 다양한 사용 사례에서 가치를 창출할 수 있는 새로운 고성능 도구 세트를 제공하며, 공급업체에 종속되지 않고 기업용으로 설계된 플랫폼에서 운영한다는 확신을 제공합니다.
아마존