DeepSeek-R1이 하드웨어 한계를 극복하여 AI 혁신을 이룬 방법

인공지능의 세계에서 새로운 플레이어가 커뮤니티를 강타했습니다. 오픈소스 추론 모델인 DeepSeek-R1은 획기적인 성능으로 화제를 모으고 있습니다. 이 모델은 심각한 경쟁자로 떠올랐으며, OpenAI의 주력 모델인 O1 라인과 기능 면에서 경쟁하면서도 훨씬 더 비용 효율적입니다. 더욱 인상적인 것은 DeepSeek 팀이 훨씬 더 낮고 제한된 리소스로 이러한 업적을 달성했으며, 엄격한 GPU 수출 규정을 준수했다는 것입니다. 하지만 DeepSeek은 정확히 무엇이며, 이 개발이 AI 연구에서 왜 그토록 기념비적인 진전일까요?

DeepSeek은 누구이고, 추론 모델이란 무엇입니까?

DeepSeek는 중국에 있는 야심찬 AI 연구실로서, 인공지능에 대한 혁신적이고 접근하기 쉬운 접근 방식으로 빠르게 인정을 받고 있습니다. 오픈소스 개발에 집중함으로써, 그들은 AI 커뮤니티의 핵심 플레이어로 자리매김하여 더 광범위한 청중이 이용할 수 있는 고성능 모델을 만들었습니다. 그들의 최신 작품인 DeepSeek-R1은 논리적 추론, 문제 해결, 기본 패턴 인식을 넘어선 복잡한 관계 이해에 탁월하도록 설계된 AI 모델 유형인 "추론 모델"입니다.

DeepSeek-R1과 같은 추론 모델은 단계별 사고 과정을 시뮬레이션하여 기존의 대규모 언어 모델(LLM)과 다릅니다. R1은 단순히 데이터 패턴을 기반으로 답을 생성하는 대신 복잡한 문제를 더 작고 논리적인 단계로 분해한 후 해결책에 도달합니다. 이 접근 방식은 추론하는 동안 약간 더 오래 걸릴 수 있지만, 수학적 추론, 프로그래밍 지원, 의사 결정과 같이 심층적인 이해가 필요한 작업에서 모델이 상당히 더 나은 성능을 발휘할 수 있도록 합니다.

DeepSeek-R1이 게임 체인저인 이유

DeepSeek-R1을 진정으로 차별화하는 것은 오픈 소스라는 점입니다. 선도적인 AI 모델이 종종 장벽 뒤에 갇히는 산업에서 DeepSeek은 모델과 정확한 방법론을 설명하는 자세한 연구 논문을 발표했습니다. 이 대담한 움직임은 OpenAI와 같은 조직의 전형적으로 폐쇄적인 성격에서 크게 벗어났습니다.

이러한 개방성은 AI 커뮤니티에 실험의 물결을 일으켰습니다. 전 세계 개발자와 연구원들은 DeepSeek-R1을 호스팅하여 그 기능을 탐구하고 벤치마킹하고 있습니다. 특히, 논문에 제시된 전략을 재현하려는 여러 시도가 눈에 띄는데, 그중 하나가 GitHub에 있는 Huggingface의 Open-R1 프로젝트 입니다. 이 프로젝트 는 학습 코드를 포함하여 DeepSeek-R1을 완전히 개방적으로 재현한 개발 중인 프로젝트입니다. 이러한 노력은 R1의 접근성과 협업 가능성을 더욱 확대하여 더 많은 사람들이 그 혁신에 참여하고 이를 기반으로 발전시켜 나갈 수 있도록 합니다.

DeepSeek-R1의 공개는 AI 커뮤니티는 물론 그 너머까지 광범위한 영향을 미칠 것입니다. DeepSeek은 모델과 연구 결과를 공개적으로 제공함으로써 AI 혁신의 장벽을 낮췄습니다. 이제 독립 연구자, 스타트업, 그리고 취미로 AI를 개발하는 사람들도 일반적으로 막대한 재정적, 컴퓨팅 자원이 필요한 최첨단 추론 모델을 이용할 수 있게 되었습니다. 이번 공개의 오픈 소스 특성은 이미 커뮤니티 내에서 창의적인 실험을 촉발시켰습니다. 개발자들은 DeepSeek-R1의 추론 기능을 다른 모델과 결합하여 모델 성능을 향상시키는 실험을 진행하고 있습니다. 주목할 만한 예로, 뛰어난 코딩 성능으로 유명한 Anthropic의 Claude Sonnet 3.5와의 통합을 들 수 있습니다. DeepSeek-R1의 추론 기능과 결합했을 때, Claude Sonnet 3.5는 Aidar Bench와 같은 벤치마크 에서 훨씬 높은 점수를 기록했습니다.

Nvidia H800과 H100과의 주요 차이점 이해

언뜻 보기에 Nvidia H800은 H100의 약간 축소된 버전처럼 보이며, 가장 눈에 띄는 차이점은 FP64 컴퓨팅 성능입니다. H100은 H34의 64 TFLOP에 비해 1 TFLOP의 FP800 성능을 자랑합니다. 그러나 이 차이는 대부분의 AI 워크로드에 큰 문제가 되지 않습니다. 최신 AI 모델은 일반적으로 속도와 효율성을 위해 최적화된 BF16 또는 FP16과 같은 낮은 정밀도 형식을 사용하여 학습됩니다. FP64 정밀도는 주로 GPU에 포함되어 이중 정밀도 계산이 필수적인 레거시 도구 및 과학적 컴퓨팅 애플리케이션과의 호환성을 유지합니다. AI 학습의 경우 FP64 성능은 거의 병목 현상이 되지 않습니다.

H800의 진짜 과제는 상호 연결 속도입니다. H4.0이 제공하는 400GB/s의 절반에도 못 미치는 900GB/s의 NVLink 100 상호 연결 대역폭을 제공합니다. 대역폭이 50% 이상 감소하면 수천 개의 GPU가 상호 연결되어 대규모로 학습하는 다중 GPU 설정에 상당한 영향을 미칩니다.

상호 연결 속도가 중요한 이유: 교육에 미치는 영향

대규모 AI 훈련에서 GPU는 종종 다양한 병렬 처리 기술을 사용하여 함께 작동합니다. 일반적인 기술로는 데이터 병렬 처리, 모델 병렬 처리, 파이프라인 병렬 처리, 텐서 병렬 처리가 있습니다. 큰 텐서가 계산을 위해 여러 GPU에 분산되는 텐서 병렬 처리가 특히 상호 연결 대역폭에 민감합니다. 

하지만 텐서란 정확히 무엇일까요? 간단히 말해서, 텐서는 AI 모델에서 입력, 가중치, 중간 계산을 나타내는 데 사용되는 기본 데이터 구조입니다.

대규모 AI 모델을 훈련할 때 이러한 텐서는 너무 방대해져서 단일 GPU의 메모리에 맞지 않을 수 있습니다. 이를 처리하기 위해 텐서는 여러 GPU에 분할되고 각 GPU는 텐서의 일부를 처리합니다. 이러한 분할을 통해 모델을 여러 GPU에 걸쳐 확장할 수 있어 그렇지 않으면 불가능했을 훨씬 더 큰 모델을 훈련할 수 있습니다.

그러나 텐서를 분할하려면 GPU 간에 빈번한 통신이 필요하여 계산을 동기화하고 결과를 공유해야 합니다. 여기서 상호 연결 속도가 중요해집니다. H800의 감소된 NVLink 대역폭은 이 단계에서 GPU 간 통신을 느리게 하여 지연 시간이 증가하고 전반적인 훈련 효율성이 감소합니다.

이러한 병목 현상은 수십억 개의 매개변수가 있는 대형 모델과 관련된 시나리오에서 더욱 두드러지며, 텐서 계산을 동기화하기 위해 GPU 간의 빈번한 통신이 필요합니다. 텐서 병렬 처리가 느린 상호 연결에 가장 민감하지만 영향을 받는 측면은 이것뿐만이 아닙니다.

H800에서 AI 훈련을 확장하는 것은 느린 상호 연결로 인해 점점 더 어려워지고 있으며, 이는 효율적인 다중 GPU 통신에 크게 의존하는 작업 부하에는 적합하지 않습니다.

DeepSeek 모델 훈련

H800 GPU에서 학습 규모를 확장하는 데 어려움이 있다는 점을 고려할 때, DeepSeek이 R1과 같은 최첨단(SOTA) AI 모델을 어떻게 학습시켰는지에 대한 의문이 자연스럽게 제기됩니다. DeepSeek-R1은 671억 개의 파라미터를 가진 DeepSeek-v3 모델을 기반으로 구축되었습니다 . 이 기본 DeepSeek-v3 모델은 추론 행동을 유도하기 위해 추가적인 강화 학습(RL) 훈련을 거쳤습니다.

중요한 점은 앞으로 언급될 수치와 기술들이 DeepSeek-v3 연구 논문을 기준으로 한다는 것입니다 . DeepSeek-R1은 추가적인 학습 리소스를 필요로 했지만, 정확한 세부 정보는 공개되지 않았습니다. 하지만 DeepSeek-v3는 최첨단 모델이며, DeepSeek-v3 논문에 언급된 많은 기술들이 R1 학습에도 적용되었을 가능성이 높습니다.

또한, 이 수치는 최종적으로 성공한 훈련 실행에 대해서만 보고됩니다. 여기에는 아키텍처, 알고리즘 또는 데이터에 대한 실험은 고려되지 않습니다. 하지만 이를 고려하더라도 DeepSeek은 자체 보고서에 따르면 Meta의 Llama보다 훨씬 낮은 리소스로 이 업적을 달성했습니다.

자, 그럼 이제 DeepSeek이 어떻게 이렇게 인상적인 모델을 학습시켰는지 살펴보겠습니다. 이 글의 범위를 벗어나는 세부적인 내용은 생략하고, DeepSeek v3 학습에 사용된 기술은 크게 두 가지로 나눌 수 있습니다. 첫째, 저정밀도 FP8을 활용한 학습과 둘째, 비용이 많이 드는 연산을 최소화하기 위한 GPU 간 통신 최적화입니다. 대규모 FP8 혼합 정밀도 학습을 도입한 것은 가중치 크기를 줄이고 연산 처리량(TFLOP)을 높여 더욱 빠르고 효율적인 학습을 가능하게 한 최초의 사례입니다. 한편, 텐서 병렬 처리 필요성을 최소화하고 노드 간 통신을 개선하는 등의 통신 최적화는 H800 GPU의 제한된 상호 연결 대역폭으로 인한 문제를 해결했습니다.

역사적으로 FP8은 역전파 중 모델 가중치를 업데이트하는 데 중요한 그래디언트가 이처럼 낮은 정밀도 형식으로 표현될 때 수렴하지 못하는 경우가 많기 때문에 널리 사용되지 않았습니다. FP8의 제한된 동적 범위와 정밀도로 인해 사소한 가중치 업데이트를 정확하게 캡처하기 어려워서 학습이 불안정해집니다. DeepSeek-v3는 타일별 및 블록별 스케일링과 같은 몇 가지 세분화된 양자화 기술을 도입하여 이러한 과제를 극복했습니다. 이를 통해 모델이 활성화 및 가중치를 적응적으로 스케일링하여 이상치를 더 잘 처리할 수 있었습니다. 이는 중간 수준의 고정밀 FP32 프로모션을 통해 향상된 누적 정밀도와 결합되어 FP8을 사용한 학습이 가능해졌습니다.

통신 측면에서 "DualPipe 알고리즘"은 계산과 통신을 겹치도록 개발되어 파이프라인 버블을 크게 줄였습니다. 파이프라인 버블이란 무엇입니까? 파이프라인 병렬성에서 학습은 여러 단계로 나누어져 GPU에 분산됩니다. 이 전략을 활용할 때 일부 GPU가 파이프라인의 이전 단계 또는 후속 단계의 데이터가 준비될 때까지 기다리는 동안 유휴 시간이 발생할 수 있으며, 이는 학습 클러스터의 MFU를 줄입니다. DualPipe는 계산과 통신을 겹치고 지연 시간을 숨기고 GPU를 바쁘게 유지하여 이러한 비효율성을 최소화합니다. DualPipe와 함께 사용자 지정 노드 간 전체 대 전체 통신 커널도 구현되어 NVLink 및 InfiniBand 대역폭을 최대한 활용하여 노드 간 효율적인 확장을 보장합니다.

이러한 혁신은 제한된 하드웨어 한계를 극복하고 DeepSeek 모델의 효율적인 학습을 가능하게 하도록 세심하게 설계되었습니다.

이는 다른 AI 연구실과 AI 커뮤니티 전체에 어떤 의미를 갖는가?

DeepSeek-R1의 출시는 AI 커뮤니티 내에서 상당한 논의와 성찰을 불러일으켰습니다. 일부는 출시 시점과 방법에 대해 손가락질했지만, AI 모델 개발의 더 광범위한 맥락을 인식하는 것이 중요합니다. SOTA 모델을 훈련하는 것은 시간이 많이 걸리는 프로세스이며, 오늘날 우리가 보는 모델은 2023년 말이나 2024년 초에 훈련 주기를 시작했을 가능성이 큽니다.

또한 AI 모델 개발에서 진화하는 패러다임을 무시해서는 안 됩니다. 역사적으로 다른 모델에서 고품질 합성 데이터가 부족하고 사전 훈련을 확장하면 성능이 크게 향상되었기 때문에 방대한 데이터 세트에 대한 사전 훈련이 필수적이었습니다. 따라서 초기 모델은 스크래핑된 데이터와 사전 훈련 확장에 크게 의존하여 기능을 달성했습니다. 그러나 DeepSeek-R1을 포함한 현재 세대의 모델은 다양한 훈련 단계에서 합성 데이터의 이점을 크게 얻었습니다. OpenAI의 o1 모델 패밀리도 이전 GPT 4o 모델을 기반으로 하며 1.8조 개의 매개변수가 있는 방대한 GPT 4 모델에서 더 효율적인 Turbo 모델로, 마지막으로 오늘날 사용하는 훨씬 더 작은 4o 모델로 진화했습니다.

DeepSeek-R1이 시작에 불과하다는 점도 주목할 만합니다. Anthropic, Meta, Mistral, Cohere와 같은 다른 조직도 거의 확실히 유사한 추론 모델을 개발하고 있습니다. R1의 출시는 추론, 문제 해결 및 작업별 성능의 경계를 계속 넓힐 새로운 AI 모델의 시작을 알립니다. GPU 성능의 가용성이 증가함에 따라 이러한 추세가 더욱 가속화되어 연구실에서 미세 조정 및 강화 학습(RL)을 위한 더 많은 합성 데이터를 생성할 수 있습니다. 이를 통해 모델은 코드 생성 및 논리적 추론과 같은 복잡한 작업에서 탁월해질 수 있습니다.

DeepSeek의 오픈소스 이니셔티브는 AI 커뮤니티에 큰 영향을 미칠 것입니다. 모델과 방법론을 공개적으로 제공함으로써 오픈소스 커뮤니티 내에서 혁신이 촉진되었고 다른 랩에서도 유사한 접근 방식을 채택하도록 영감을 주었습니다. DeepSeek이 오픈소스 협업의 가치를 인식한 것은 Meta, Alibaba의 Qwen 팀 및 기타 조직이 세운 선례를 기반으로 합니다. 이러한 사전 기여가 없었다면 AI 커뮤니티는 오늘날보다 훨씬 덜 발전했을 것입니다.

맺음말