Lenovo ThinkSystem SR650 V4는 클라우드 서비스, 통신, 고성능 컴퓨팅(HPC)과 같은 산업 분야의 요구 사항을 충족하도록 설계된 유연하고 강력한 2소켓 2U 랙 서버입니다. 확장형 워크로드에 최적화하든 고밀도 컴퓨팅으로 데이터 센터의 미래를 보장하든, SR650 V4는 이전 모델인 SR650 V3에 비해 상당한 업그레이드를 제공합니다.
Lenovo SR650 V4와 SR650 V3의 차이점
프로세서
SR650 V4의 가장 중요한 업그레이드 중 하나는 프로세서 성능입니다. SR650 V3가 4세대 인텔 제온 스케일러블 프로세서를 사용했던 것과 달리, SR650 V4는 인텔 제온 6 플랫폼(이전 코드명 "Granite Rapids")을 도입했습니다. 본 리뷰에서는 연산 집약적인 워크로드에 특화된 P-코어(퍼포먼스 코어) 아키텍처에 초점을 맞추었습니다. V4는 소켓당 최대 86개의 P-코어(최대 172개의 스레드)를 지원하는 프로세서를 하나 또는 두 개 장착할 수 있으며, 이를 통해 최대 4GHz의 코어 속도와 최대 350W의 TDP를 제공합니다.
이러한 전환을 통해 기업은 서버당 더 많은 애플리케이션을 처리할 수 있으므로 물리적 공간을 절약할 수 있습니다. 이 아키텍처는 가상화 및 대규모 데이터베이스 작업을 위한 견고한 기반을 제공합니다. 또한 V4 아키텍처는 프로세서당 최대 88개의 PCIe 5.0 레인을 지원하여 막대한 PCIe 대역폭을 제공하며, 이는 최신 고속 네트워킹 어댑터와 NVMe 스토리지 어레이에 병목 현상 없이 원활한 트래픽을 공급하는 데 필수적입니다.
| CPU 모델 | 코어 / 스레드 | 기본 주파수 | 맥스 터보 | L3 캐시 | TDP |
|---|---|---|---|---|---|
| 6787P | 86 / 172 | 2.0 GHz | 3.8 GHz | 336 MB | 350 승 |
| 6781P | 80 / 160 | 2.0 GHz | 3.8 GHz | 336 MB | 350 승 |
| 6767P | 64 / 128 | 2.4 GHz | 3.9 GHz | 336 MB | 350 승 |
| 6761P | 64 / 128 | 2.5 GHz | 3.9 GHz | 336 MB | 350 승 |
| 6760P | 64 / 128 | 2.2 GHz | 3.8 GHz | 320 MB | 330 승 |
| 6747P | 48 / 96 | 2.7 GHz | 3.9 GHz | 288 MB | 330 승 |
| 6745P | 32 / 64 | 3.1 GHz | 4.3 GHz | 336 MB | 300 승 |
| 6741P | 48 / 96 | 2.5 GHz | 3.8 GHz | 288 MB | 300 승 |
| 6740P | 48 / 96 | 2.1 GHz | 3.8 GHz | 288 MB | 270 승 |
| 6737P | 32 / 64 | 2.9 GHz | 4.0 GHz | 144 MB | 270 승 |
| 6736P | 36 / 72 | 2.0 GHz | 4.1 GHz | 144 MB | 205 승 |
| 6732P | 32 / 64 | 3.8 GHz | 4.3 GHz | 144 MB | 350 승 |
| 6731P | 32 / 64 | 2.5 GHz | 4.1 GHz | 144 MB | 245 승 |
| 6730P | 32 / 64 | 2.5 GHz | 3.8 GHz | 288 MB | 250 승 |
| 6724P | 16 / 32 | 3.6 GHz | 4.3 GHz | 72 MB | 210 승 |
| 6714P | 8 / 16 | 4.0 GHz | 4.3 GHz | 48 MB | 165 승 |
| 6530P | 32 / 64 | 2.3 GHz | 4.1 GHz | 144 MB | 225 승 |
| 6527P | 24 / 48 | 3.0 GHz | 4.2 GHz | 144 MB | 255 승 |
| 6521P | 24 / 48 | 2.6 GHz | 4.1 GHz | 144 MB | 225 승 |
| 6520P | 24 / 48 | 2.4 GHz | 4.0 GHz | 144 MB | 210 승 |
| 6517P | 16 / 32 | 3.2 GHz | 4.2 GHz | 72 MB | 190 승 |
| 6515P | 16 / 32 | 2.3 GHz | 3.8 GHz | 72 MB | 150 승 |
| 6511P | 16 / 32 | 2.3 GHz | 4.2 GHz | 72 MB | 150 승 |
| 6507P | 8 / 16 | 3.5 GHz | 4.3 GHz | 48 MB | 150 승 |
| 6505P | 12 / 24 | 2.2 GHz | 4.1 GHz | 48 MB | 150 승 |
메모리
메모리 측면에서 SR650 V4는 V3의 기능을 크게 개선하여 서브시스템 성능을 극대화합니다. 최대 6400MHz(채널당 DIMM 1개)의 DDR5 메모리 속도를 지원하며, 이전 세대의 4800MHz 제한에서 크게 향상되었습니다. 이 시스템은 프로세서당 8개의 메모리 채널에 걸쳐 32개의 DIMM 슬롯(프로세서당 16개)을 갖추고 있습니다. 표준 RDIMM, 3DS RDIMM, 그리고 대역폭 요구량이 높은 애플리케이션을 위해 최대 8000MHz 속도로 동작할 수 있는 새로운 MRDIMM(Multiplexed Rank DIMM)을 지원합니다. 256GB 3DS RDIMM을 사용하면 서버는 총 8TB의 시스템 메모리를 지원할 수 있습니다.
또한, V4는 CXL 2.0(Compute Express Link) 메모리 확장을 지원합니다. 관리자는 E3.S 드라이브 베이(특히 E3.S 2T 폼 팩터)에 최대 12개의 CXL 메모리 모듈을 설치할 수 있습니다. 이를 통해 시스템은 기존 프로세서 연결 방식의 한계를 넘어 메모리 용량과 대역폭을 확장할 수 있으며, 차세대 워크로드의 컴퓨팅 지연 시간을 줄이고, 사용되지 않는 메모리 양을 줄여 총 소유 비용(TCO)을 절감할 수 있습니다.
스토리지
레노버 SR650 V4 스토리지 기능은 고성능 NVMe 고밀도 및 유연한 폼팩터로의 전환을 보여줍니다. 기존의 3.5인치 및 2.5인치 드라이브를 지원하는 동시에, V4는 E3.S NVMe 폼팩터에 대한 대규모 지원을 도입했습니다. 이 시스템은 최대 32개의 E3.S 1TB 드라이브 또는 12개의 E3.S 2TB 드라이브를 장착할 수 있어 기존 U.2 SSD에 비해 더 높은 밀도와 향상된 열 관리 기능을 제공합니다.
무엇보다 중요한 것은 V4가 오버서브스크립션(1:1) 없이 NVMe 직접 연결을 지원하여 고속 스토리지가 PCIe 레인 공유로 인해 병목 현상을 겪지 않도록 한다는 점입니다. M.2 핫스왑 부팅 드라이브 옵션이 포함되어 서비스 편의성이 더욱 향상되었습니다.
네트워킹
네트워킹 측면에서 SR650 V4는 PCIe Gen 5 x16을 지원하는 두 개의 전용 OCP 3.0 슬롯을 제공합니다. 이는 표준 PCIe 라이저 슬롯을 사용하지 않고도 이중화된 고속 네트워킹(예: 듀얼 포트 200GbE 또는 싱글 포트 400GbE)을 구현할 수 있도록 하는 핵심적인 업그레이드입니다. PCIe 5.0으로의 전환은 이론적인 대역폭을 두 배(32 GT/s 대 16 GT/s)로 늘려, V4가 가장 까다로운 클라우드 및 AI 네트워크 트래픽도 처리할 수 있도록 합니다.
전원 및 냉각
SR650 V4는 800W부터 최대 3200W까지 향상된 전원 공급 옵션을 제공하며, 티타늄 및 플래티넘 효율 등급으로 제공됩니다. 또한 데이터 센터의 특정 요구 사항을 충족하기 위해 -48V DC 및 HVAC/HVDC 옵션도 지원합니다.
레노버는 고출력 TDP 프로세서와 메모리에서 발생하는 열을 효과적으로 관리하기 위해 Neptune 액체 냉각 솔루션을 선보입니다. "Compute Complex Neptune Core Module"은 개방형 액체 냉각 방식을 사용하여 프로세서, 메모리 및 전압 조절기에서 발생하는 열을 제거하며, 서버 열의 80% 이상을 효과적으로 흡수하여 데이터센터 냉각 비용을 크게 절감합니다.
전반적으로 SR650 V4는 최신 기업 환경에 맞춰 성능, 밀도 및 열 효율 면에서 획기적인 발전을 이루었습니다.
Lenovo ThinkSystem SR650 V4 사양
| 스펙 | 세부 정보 |
|---|---|
| 시스템 사양 | |
| 폼 팩터 | 2U 랙 |
| 프로세서 | 최대 2개의 인텔 제온 6700/6400 시리즈(P-코어) CPU 지원; CPU당 최대 86개 코어; 최대 350W TDP |
| 메모리 | 32개의 DIMM 슬롯(프로세서당 16개); 최대 6400MHz의 TruDDR5 RDIMM 및 최대 8000MHz의 MRDIMM을 지원합니다. |
| 메모리 확장 | E3.S 2T 폼팩터의 CXL 2.0 메모리 모듈(최대 12개의 DIMM)을 지원합니다. |
| 메모리 최대 | 최대 8TB 시스템 메모리(256GB 3DS RDIMM 사용 시) |
| 디스크 드라이브 베이 | 전면 : 최대 24개의 2.5인치 NVMe/SAS/SATA, 16개의 3.5인치 SAS/SATA 또는 32개의 E3.S NVMe를 지원합니다. 중간 : 최대 8개의 2.5인치 간편 교체 후면 : 최대 8개의 2.5인치 또는 4개의 3.5인치 핫스왑 |
| 스토리지 컨트롤러 | 최대 36개의 온보드 NVMe 포트(1:1 연결); RAID/HBA 지원 |
| 네트워크 인터페이스 | PCIe 5.0 x16 호스트 인터페이스를 갖춘 2개의 OCP 3.0 SFF 슬롯 |
| PCI 확장 슬롯 | 최대 10개의 PCIe 5.0 슬롯(후면); 전면 PCIe 슬롯은 선택 사항입니다. |
| GPU Support | 최대 10x 단일 너비 GPU 또는 2x 이중 너비 GPU |
| 포트 | 전면 : 외부 진단 포트, 옵션 USB 및 Mini-DP 후면 : USB 3.0 포트 2개, VGA 포트 1개, RJ-45 관리 포트 1개, 시리얼 포트(선택 사항) |
| 냉각 | 최대 6개의 핫스왑 팬(N+1 이중화); 옵션으로 넵튠 액체 냉각 모듈 제공 |
| 전원 공급 장치 | 최대 2개의 핫스왑 방식의 이중화 AC/DC 전원 공급 장치(800W~3200W)를 지원합니다. |
| 시스템 관리 | XClarity 컨트롤러 3(XCC3); 옵션: XCC3 프리미어 |
| 보안 기능 | TPM 2.0, PFR 루트 오브 트러스트(NIST SP800-193), 섀시 침입 감지, 잠금식 베젤 |
| 운영체제 | 마이크로소프트 윈도우 서버, RHEL, SLES, 우분투 서버 |
| 품질 보증 | 3년 기본 보증 (구성 가능) |
| 크기 | 높이 87mm(3.4인치) x 너비 440mm(17.3인치) x 깊이 800mm(31.5인치) |
| 중량(평량) | 최대 무게: 38.8kg(85.5파운드) |
Lenovo ThinkSystem SR650 V4 디자인 및 빌드
레노버 ThinkSystem SR650 V4는 효율적인 공간 활용을 위해 설계된 표준 2U 플랫폼으로, 부품 밀도, 공기 흐름 및 유지보수 편의성의 균형을 잘 맞추고 있습니다. 섀시 크기는 높이 3.4인치, 너비 17.3인치, 깊이 31.5인치이며, 최대 구성 무게는 85.5파운드입니다. 이러한 크기는 다른 2U 엔터프라이즈 서버와 유사한 크기이면서도 고성능 CPU, 고밀도 메모리 구성 및 유연한 스토리지 백플레인을 위한 충분한 깊이를 제공합니다.
레노버의 전통적인 ThinkSystem 디자인은 견고한 스틸 섀시와 명확하고 기능적인 라벨링을 통해 한눈에 알아볼 수 있습니다. 내부 레이아웃은 깔끔하고 기능 중심적으로 설계되어 공기 흐름을 원활하게 하고, 모듈식 구성 요소를 배치하며, 공구 없이 접근 가능한 간편한 유지보수 방식을 채택했습니다. 전체적인 구조는 견고하고 정교하게 설계되었으며, 미적인 매력보다는 데이터 센터 환경에서 지속적인 작동을 위해 설계된 플랫폼임을 보여줍니다.
전면 패널
전면 패널은 구성이 매우 유연합니다. 테스트 시스템에는 8베이 2.5인치 드라이브 백플레인이 장착되어 있지만, 최소한의 노력으로 16베이 또는 24베이까지 쉽게 확장할 수 있습니다. 고객은 더 높은 기본 용량을 위해 3.5인치 베이를 선택하거나 고성능 NVMe 밀도를 위한 최신 E3.S 백플레인 옵션을 선택할 수도 있습니다. AnyBay 지원을 통해 SAS, SATA 및 NVMe 드라이브를 동일한 드라이브 케이지에 함께 사용할 수 있어 다양한 스토리지 구성에 상당한 유연성을 제공합니다.
전면 패널에는 전원 버튼, ID 버튼, 시스템 상태 및 네트워크 활동을 나타내는 상태 LED 등 필수적인 조작 제어 장치가 포함되어 있습니다. 당겨서 열 수 있는 정보 탭을 통해 XCC 네트워크 액세스 라벨과 일련 번호를 빠르게 확인할 수 있습니다. 옵션으로 제공되는 로컬 연결 기능에는 미니 디스플레이포트와 USB 포트가 포함되어 있어 비상시 문제 해결을 위한 긴급 카트 연결이 가능하며, 이는 무인 데이터 센터에서 매우 유용합니다.
후면 패널
섀시 후면은 최대 I/O 밀도를 위해 설계되었습니다. 라이저 구성에 따라 최대 10개의 PCIe Gen 5 슬롯을 수용할 수 있습니다. 두 개의 OCP 3.0 슬롯이 포함되어 있어 표준 PCIe 라이저 슬롯을 GPU 또는 스토리지 컨트롤러와 같은 다른 확장 카드에 사용할 수 있습니다.
확장 슬롯 외에도 후면 패널에는 온보드 BMC 관리 네트워크 포트, USB-A 포트 2개, 로컬 콘솔 접속을 위한 VGA 출력 포트가 있습니다. 듀얼 핫스왑 전원 공급 장치가 후면에 장착되어 있어 공기 흐름이나 확장 레이아웃에 영향을 주지 않으면서 유지보수성을 유지합니다.
내부의
내부 레이아웃은 깔끔하고 공기 흐름에 최적화되어 있습니다. 32개의 DIMM 슬롯은 듀얼 CPU 소켓을 중심으로 배치되어 있으며, 섀시 전면에 장착된 6개의 고성능 핫스왑 팬을 통해 전면에서 후면으로 원활한 냉각이 가능합니다. 팬은 완전 무공구 방식으로 쉽게 교체할 수 있으며, 팬 트레이 전체를 공구 없이 분리할 수 있습니다. 트레이를 제거하면 AnyBay 스토리지 영역에 직접 접근할 수 있어 서비스, 업그레이드 및 백플레인 교체가 간편해집니다.
저장 장치 케이블은 CPU와 메모리로의 공기 흐름을 방해하지 않도록 섀시 측면을 따라 깔끔하게 정리되어 있습니다. Neptune 액체 냉각 모듈을 사용하는 구성의 경우 냉각 루프를 수용하기 위해 내부 레이아웃이 약간 변경되지만, 핵심 부품의 유지보수 편의성은 그대로 유지됩니다. M.2 부팅 드라이브 모듈은 공기 차단판 또는 드라이브 케이지에 장착되어 있어 다른 구성 요소를 제거하지 않고도 쉽게 접근할 수 있습니다.
XClarity 컨트롤러 3
SR650 V4는 새로운 XClarity Controller 3(XCC3)을 탑재했습니다. 이 관리 엔진은 이전 세대 대비 성능이 크게 향상되었으며, 부팅 속도가 빨라지고 HTML5 인터페이스 반응 속도가 더욱 향상되었습니다. 플랫폼 리소스 관리자(PRM)는 전력 및 열 상태에 대한 자세한 원격 측정 데이터를 제공하여 관리자가 데이터센터 효율성을 최적화할 수 있도록 지원합니다.
XCC3는 원격 제어(KVM), 가상 미디어 마운팅, 펌웨어 업데이트 등 다양한 원격 관리 기능을 지원합니다. 직관적인 인터페이스를 통해 시스템 상태, 활성 이벤트, 하드웨어 인벤토리를 대시보드 형태로 확인할 수 있습니다. 자동화를 위해 XCC3는 Redfish REST API를 완벽하게 지원합니다.
Lenovo ThinkSystem SR650 V4 성능
이 섹션에서는 Blender, y-cruncher, vLLM 및 Phoronix 벤치마크 결과를 살펴봅니다. 초기 테스트는 Intel Xeon 6740P 프로세서가 탑재된 Lenovo ThinkSystem SR650 V4에서 진행하여, 성능 중심의 P-코어 아키텍처와 CPU 집약적인 작업 부하에서의 전반적인 처리량을 평가했습니다. 리뷰 중간에 시스템 구성을 변경하여 GPU 가속 테스트를 진행했습니다. Lenovo의 GPU 활성화 업그레이드 키트 덕분에 전환 과정은 간단했습니다. 이 키트에는 고성능 팬, 업그레이드된 방열판, 개선된 공기 흐름 덮개, 그리고 고전력 가속기를 지원하도록 설계된 GPU 지원 라이저가 포함되어 있습니다. 설치 과정에서 섀시를 크게 변경할 필요가 없었으며 기존 시스템 레이아웃과 깔끔하게 통합되었습니다.
업그레이드된 냉각 및 공기 흐름 구성 요소를 설치한 후, 플랫폼에 NVIDIA L40S GPU 하나를 추가했습니다. 이를 통해 Blender GPU 렌더링 및 추론 중심 벤치마크와 같은 GPU 가속 워크로드를 포함하는 테스트를 확장할 수 있었으며, 동시에 안정적인 발열과 일관된 시스템 동작을 유지할 수 있었습니다. 이러한 모듈식 업그레이드는 SR650 V4의 유연성을 잘 보여주며, 효율성 중심의 CPU 구성에서 혼합 컴퓨팅 워크로드에 적합한 균형 잡힌 CPU+GPU 플랫폼으로 손쉽게 전환할 수 있도록 해줍니다.
레노버 ThinkSystem SR650 V4 구성:
- CPU : 2x 인텔 제온 6740P
- 메모리 : 1TB RAM
- 스토리지 : 4 x 960GB SSD
- GPU : 엔비디아 L40S
블렌더 4.5
블렌더는 오픈소스 3D 모델링 애플리케이션입니다. 이 벤치마크는 블렌더 벤치마크 유틸리티를 사용하여 실행되었습니다. 점수는 분당 샘플 수로 측정되며, 값이 높을수록 성능이 우수함을 나타냅니다.
Blender CPU 벤치마크에서 Lenovo ThinkSystem SR650 V4는 모든 장면에서 안정적인 렌더링 성능을 보여주었으며, Monster에서 분당 1136.99 샘플, Junkshop에서 707.60 샘플, Classroom에서 562.53 샘플을 기록했습니다. 이러한 결과는 듀얼 Intel Xeon 6740P 프로세서의 강력한 멀티스레드 확장성을 반영하며, 장면 복잡성이 증가함에 따라 일관된 성능을 보여줍니다.
| 블렌더 CPU(분당 샘플 수, 높을수록 좋음) | 레노버 씽크시스템 SR650 V4 (인텔 제온 6740P 2개, 1TB RAM) |
|---|---|
| 몬스터 | 1136.99 |
| 정크샵 | 707.60 |
| 교실 | 562.53 |
Blender CPU 벤치마크(SMT 미사용)에서 SR650 V4는 렌더링 처리량에서 상당한 향상을 보여주며, Monster에서 분당 4686.40 샘플, Junkshop에서 2223.96 샘플, Classroom에서 2385.98 샘플을 기록했습니다. GPU 결과는 복잡한 렌더링 워크로드를 가속화하는 시스템의 능력을 보여주며, CPU 전용 렌더링에 비해 훨씬 높은 처리량을 제공합니다.
| Blender CPU (SMT 미사용) (분당 샘플 수; 높을수록 좋음) | 레노버 씽크시스템 SR650 V4 (인텔 제온 6740P 2개, 1TB RAM) |
|---|---|
| 몬스터 | 4686.40 |
| 정크샵 | 2223.96 |
| 교실 | 2385.98 |
y-크런처
y-cruncher는 파이(π)를 비롯한 여러 수학 상수를 수조 자리까지 계산할 수 있는 멀티스레드 방식의 확장 가능한 프로그램입니다. 2009년 출시 이후 오버클러커와 하드웨어 애호가들 사이에서 인기 있는 벤치마킹 및 스트레스 테스트 도구로 자리 잡았습니다.
y-cruncher 테스트에서 Lenovo SR650 V4는 문제 크기가 증가함에 따라 안정적인 확장성을 보여주며, 플랫폼의 강력한 멀티스레드 컴퓨팅 성능과 메모리 대역폭을 입증합니다. 듀얼 Intel Xeon 6740P 프로세서와 1TB RAM을 탑재한 이 시스템은 10억 자리 원주율(π) 계산을 20초 남짓 만에 완료하고, 최대 250억 자리까지 일관된 효율성을 유지하며 362초 만에 계산을 마칩니다. 이러한 결과는 지속적인 CPU 및 메모리 부하 조건에서도 예측 가능한 확장성을 보여주며, SR650 V4가 고강도 수학 연산 작업 및 스트레스 테스트 시나리오에 매우 적합함을 시사합니다.
| Y-Cruncher(총 계산 시간) | 레노버 씽크시스템 SR650 V4 (인텔 제온 6740P 2개, 1TB RAM) |
|---|---|
| 1 억 | 20.715들 |
| 2.5 억 | 44.412들 |
| 5 억 | 81.937들 |
| 10 억 | 152.743 |
| 25 억 | 362.566 |
vLLM 온라인 서비스 LLM 추론 성능
vLLM은 LLM을 위한 가장 널리 사용되는 고처리량 추론 및 서빙 엔진입니다. vLLM 온라인 서빙 벤치마크는 동시 요청 환경에서 이 추론 엔진의 실제 서빙 성능을 측정하는 성능 평가 도구입니다. 요청 속도, 입출력 길이, 동시 클라이언트 수 등 구성 가능한 매개변수를 사용하여 실행 중인 vLLM 서버에 요청을 전송하여 프로덕션 워크로드를 시뮬레이션합니다. 이 벤치마크는 처리량(초당 토큰), 첫 번째 토큰까지의 시간(Time to First To To), 출력 토큰당 시간(TPOT) 등의 주요 지표를 측정하여 사용자가 다양한 부하 조건에서 vLLM의 성능을 이해하는 데 도움을 줍니다.
다양한 아키텍처, 파라미터 규모 및 양자화 전략을 포괄하는 광범위한 모델 제품군에 걸쳐 추론 성능을 테스트하고 다양한 동시성 프로파일에서 처리량을 평가했습니다.
밀집 모델 성능
밀집 모델은 기존 LLM 아키텍처를 따르며, 추론 과정에서 모든 매개변수와 활성화 값이 사용되므로 희소 모델보다 계산 집약적인 처리가 필요합니다. 모델 규모 및 양자화 전략에 따른 성능 특성을 종합적으로 평가하기 위해 Llama 3.1 8B 제품군의 여러 밀집 모델 구성을 벤치마킹했습니다.
라마 3.1 8B 정밀 FP8
FP8 정밀도로 실행되는 Llama 3.1 8B 모델은 표준 정밀도 구성과 다른 확장 프로파일을 보여줍니다. 적당한 동시 접속 수준에서 효율성을 우선시하는 반면, 배치 크기가 클수록 최대 처리량은 다소 감소합니다. 단일 사용자 동시 접속(BS=1) 시, 이 모델은 사용자당 67.8 tok/s의 처리량을 제공하며, 총 처리량은 135.6 tok/s이고 TPOT는 약 3.1ms로, 전체 정밀도 대비 더 낮은 단일 스트림 기준선을 설정합니다.
배치 크기가 증가함에 따라 전체 처리량은 빠르게 증가하는 반면 사용자별 처리량은 안정적으로 감소합니다. 배치 크기(BS)가 2일 때 전체 처리량은 271 tok/s, 사용자당 처리량은 66.8 tok/s까지 증가합니다. BS가 4일 때는 전체 처리량이 523 tok/s에 도달하고, BS가 8일 때는 모델이 1,017 tok/s의 처리량을 제공하며 사용자당 처리량은 63.6 tok/s입니다. 이러한 낮은 동시 실행 수준에서도 지연 시간은 안정적으로 유지되므로 FP8은 가벼운 다중 사용자 추론 시나리오에 적합합니다.
스케일링은 BS=16까지 지속되며, 이 값에서 모델은 총 처리량 1,918 tok/s, 사용자당 처리량 60.0 tok/s를 유지합니다. BS=32에서는 총 처리량이 약 1,920 tok/s에서 안정화되고, 사용자당 처리량은 30.0 tok/s로 감소합니다. 이러한 안정화는 FP8 구성이 표준 정밀도보다 더 빨리 포화점에 도달하여 최대 총 처리량보다 효율성과 예측 가능성을 우선시함을 나타냅니다.
전반적으로 FP8은 배치 크기(BS)가 1에서 16~32까지 증가하여 총 처리량이 약 14배 향상됩니다. 지연 시간은 BS가 16까지 일정하게 유지되다가 그 이후에는 동시 처리량이 증가함에 따라 평탄해지는데, 이는 FP8이 극단적인 배치 확장보다는 균형 잡히고 지연 시간에 민감한 추론 워크로드에 적합한 실용적인 선택임을 보여줍니다.
라마 3.1 8B 표준 정밀도
표준 정밀도에서 Llama 3.1 8B 모델은 낮은 동시 접속 수준에서 예측 가능한 확장 동작을 보여주며, 작은 배치 크기에서 사용자별 성능이 우수하고 동시 접속 수준이 높아짐에 따라 총 처리량이 꾸준히 증가합니다. 단일 사용자 작동(BS=1)에서 이 모델은 사용자당 약 45.8 tok/s의 처리량을 제공하여 총 91.6 tok/s의 처리량을 달성하며, 지연 시간에 민감한 워크로드에 대한 견고한 기준을 제시합니다.
동시 접속자 수가 증가함에 따라 전체 처리량은 효율적으로 증가하는 반면 사용자당 처리량은 점진적으로 감소합니다. BS=2일 때 전체 처리량은 176 tok/s(사용자당 44.0 tok/s)까지 증가하고, BS=4일 때는 전체 처리량이 344 tok/s(사용자당 43.0 tok/s)에 도달합니다. 이러한 경향은 BS=8까지 지속되며, 이 경우 전체 처리량은 672 tok/s(사용자당 42.0 tok/s)를 유지하여 사용자당 처리량 저하 없이 양호한 활용률을 보여줍니다.
BS=16까지 확장이 지속되며, 이때 총 처리량은 약 1,280 tok/s로 정점을 찍고 사용자당 처리량은 40.0 tok/s에 이릅니다. BS=32에서는 총 처리량이 약 1,280 tok/s로 거의 일정하게 유지되는 반면, 사용자당 처리량은 20.0 tok/s로 떨어져 실행 파이프라인이 포화 상태에 도달했음을 나타냅니다. 이러한 평탄화는 표준 정밀도에서 모델이 처리량과 응답성의 균형을 이루는 최적의 작동 지점인 BS=16 부근에 도달함을 시사합니다.
전반적으로 표준 정밀도는 배치 크기(BS)가 1일 때와 비교하여 최대 처리량에서 약 14배의 총 처리량 증가를 달성하며, 적당한 동시 접속 수준에서 안정적인 사용자 성능을 유지합니다. 이러한 특성 덕분에 표준 정밀도는 공격적인 배치 확장보다는 일관된 지연 시간과 예측 가능한 확장성을 우선시하는 환경에 적합합니다.
희소 모델 성능
희소 모델, 특히 전문가 혼합(MoE) 아키텍처는 언어 모델을 효율적으로 확장하는 새로운 접근 방식입니다. 이러한 아키텍처는 토큰당 매개변수의 하위 집합만 활성화하면서 높은 총 매개변수 수를 유지하여, 활성 매개변수당 향상된 성능을 제공할 수 있습니다.
Qwen3-Coder-30B-A3B FP8 성능
FP8 정밀도로 실행되는 Qwen3-Coder-30B-A3B 모델은 적당한 동시 처리량에 최적화된 확장 프로파일을 보여주며, 더 작은 모델보다 더 빨리 포화 상태에 도달하면서도 사용자당 강력한 성능을 제공합니다. 단일 사용자 작동(BS=1) 시, 이 모델은 사용자당 약 98 tok/s의 처리량을 달성하고 총 처리량은 196 tok/s에 달하여 코드 생성 워크로드에 최적화된 모델의 특성을 반영하는 높은 단일 스트림 기준 성능을 보여줍니다.
동시 접속자 수가 증가함에 따라 전체 처리량은 효율적으로 증가하는 반면, 사용자별 처리량은 제어된 방식으로 감소합니다. 배치 크기(BS)가 2일 때 전체 처리량은 317 tok/s(사용자당 79 tok/s)까지 증가하고, BS가 4일 때는 전체 처리량 477 tok/s(사용자당 59 tok/s)를 제공합니다. 이러한 결과는 사용자별 응답성의 급격한 저하 없이 낮은 수준에서 중간 수준의 배치 처리를 통해 사용 가능한 컴퓨팅 리소스를 효율적으로 활용할 수 있음을 보여줍니다.
이 모델은 BS=8에서 최대 총 처리량을 달성하며, 총 처리량은 약 905 tok/s, 사용자당 처리량은 56 tok/s를 유지합니다. BS=16까지는 확장성이 미미하게 유지되는데, 이때 총 처리량은 920 tok/s로 약간 증가하는 반면 사용자당 처리량은 29 tok/s로 감소하여 추론 파이프라인이 포화 상태에 도달했음을 나타냅니다. 이 지점을 넘어서면 추가적인 동시 접속은 총 처리량 증가에 거의 도움이 되지 않는 반면 사용자당 성능에는 상당한 영향을 미칩니다.
전반적으로 Qwen3-Coder-30B-A3B FP8은 배치 레벨(BS)이 1일 때와 16일 때의 최대 처리량에서 총 처리량이 약 4.7배 증가합니다. 지연 시간 및 처리량 특성을 고려할 때, 이 구성은 요청당 높은 성능이 요구되는 중간 규모의 다중 사용자 코딩 워크로드에 가장 적합합니다. 하지만 극단적인 배치 확장은 주요 목표가 아닙니다.
마이크로스케일링 데이터 유형 성능
마이크로스케일링은 대규모 파라미터 그룹에 균일한 양자화를 적용하는 대신, 작은 가중치 블록에 세밀한 스케일링 계수를 적용하는 고급 양자화 방식입니다. NVIDIA의 NVFP4 포맷은 블록형 부동 소수점 표현을 통해 이 기술을 구현하며, 8~32개의 값으로 구성된 각 마이크로스케일 블록은 공통된 지수를 스케일링 계수로 사용합니다. 이러한 세밀한 접근 방식은 4비트 표현을 달성하면서도 수치 정밀도를 유지하고, 트랜스포머 아키텍처에 필수적인 동적 범위를 보장합니다. 이 포맷은 NVIDIA의 Tensor Core 아키텍처와 통합되어 행렬 연산 중 실시간 압축 해제를 통해 효율적인 혼합 정밀도 연산을 가능하게 합니다.
GPT-OSS-20b 성능
gpt-oss-20b 모델은 동시 접속자 수가 증가함에 따라 뛰어난 확장성을 보여주며, 특히 배치 크기가 클수록 총 처리량이 매우 높습니다. 단일 사용자 동시 접속(BS=1) 환경에서 이 모델은 사용자당 약 138 tok/s의 처리량을 제공하여 총 276 tok/s의 처리량을 달성함으로써 단일 스트림 추론을 위한 강력한 기준점을 제시합니다.
동시 접속자 수가 증가함에 따라 전체 처리량은 급격히 증가하는 반면, 사용자당 처리량은 예상대로 감소합니다. 배치 크기(BS)가 2일 때 전체 처리량은 420 tok/s(사용자당 105 tok/s)에 도달하고, BS가 4일 때는 전체 처리량이 690 tok/s(사용자당 86 tok/s)에 이릅니다. 이러한 꾸준한 증가는 낮은 배치 크기에서 중간 배치 크기까지 사용 가능한 컴퓨팅 리소스를 효율적으로 활용하고 있음을 보여줍니다.
BS=8까지 확장이 지속되어 사용자당 70 tok/s의 속도로 총 처리량 약 1,120 tok/s를 달성하고, BS=16에서는 사용자당 60 tok/s의 속도로 총 처리량이 1,900 tok/s까지 증가합니다. 이러한 결과는 gpt-oss-20b가 동시 접속자 수가 증가하더라도 사용자당 비교적 높은 성능을 유지함을 보여주며, 다중 사용자 서비스 시나리오에 매우 적합함을 시사합니다.
이 모델은 배치 크기(BS)가 32일 때 최대 총 처리량을 달성하여 약 3,250 tok/s의 총 처리량을 제공하며, 사용자당 처리량은 50 tok/s로 감소합니다. 이는 단일 사용자 성능 대비 총 처리량이 11.8배 증가한 것입니다. 배치 크기가 커질수록 사용자당 처리량은 계속 감소하지만, 전반적인 확장 효율성은 여전히 높게 유지되어 모델이 조기 포화점에 도달하지 않고도 높은 동시성을 활용할 수 있음을 보여줍니다.
전반적으로 gpt-oss-20b는 높은 단일 사용자 성능과 강력한 배치 확장성을 결합한 균형 잡힌 확장 프로필을 보여줍니다. 따라서 응답성이 뛰어난 개별 추론과 높은 집계 처리량이 모두 필요한 다중 사용자 부하 환경에 적합한 옵션입니다.
포로닉스 벤치마크
Phoronix Test Suite는 오픈 소스 자동 벤치마킹 플랫폼으로, OpenBenchmarking.org를 통해 450개 이상의 테스트 프로파일과 100개 이상의 테스트 스위트를 지원합니다. 종속성 설치부터 테스트 실행 및 결과 수집까지 모든 과정을 처리하므로 성능 비교, 하드웨어 검증 및 지속적 통합에 이상적입니다.
스트림 메모리 대역폭
SR650 V4는 369.6GB/s의 메모리 대역폭을 제공하여 데이터 집약적인 워크로드에 대한 강력한 처리량을 입증하고 안정적인 멀티채널 메모리 성능을 확인시켜 주었습니다.
7-Zip 압축
584,499 MIPS의 성능을 보여준 이 시스템은 뛰어난 압축 및 압축 해제 성능을 나타냈으며, 이는 견고한 멀티코어 효율성과 강력한 정수 연산 능력을 반영합니다.
커널 컴파일
서버는 allmod 커널 빌드를 256.175초 만에 완료했는데, 이는 병렬 컴파일 및 개발자 워크플로우를 효율적으로 처리할 수 있는 능력을 보여주는 훌륭한 결과입니다.
아파치 웹 서버
SR650 V4는 61,654 R/s의 응답 속도를 보여주며 강력한 웹 서버 성능을 발휘하여 프런트엔드 호스팅이나 경량 가상화 스택에 적합한 높은 요청 처리량을 유지했습니다.
OpenSSL 검증
초당 712.6억 바이트를 달성한 이 플랫폼은 강력한 암호화 검증 성능을 보여주었으며, CPU가 안전하고 인증서 관련 작업이 많은 환경에서도 작동할 수 있음을 입증했습니다.
| 포로닉스 벤치마크 | 레노버 씽크시스템 SR650 V4 |
|---|---|
| 흐름 | 369,58.3 MB / s의 |
| 7-ZIP | 584,499MIPS |
| 커널 컴파일(allmod) | 256.175 (초) |
| Apache(초당 요청 수) | 61,654.47 R/초 |
| SSL 열기 | 712,633,776,990 바이트/초 |
맺음말
ThinkSystem SR650 V4는 단순한 CPU 교체를 넘어 실질적인 성능 향상을 가져온 중요한 플랫폼입니다. 레노버는 이번 세대를 통해 실제 사용 환경에서 제약이 되는 여러 요소, 즉 메모리 대역폭, PCIe 레인 가용성, 스토리지 밀도, 그리고 필요에 따라 구성을 변경할 수 있는 유연성을 크게 개선했습니다. 인텔 제온 6 프로세서로의 전환은 더 많은 코어 옵션과 소켓당 더 넓은 I/O 여유 공간을 제공하며, MRDIMM 지원 및 옵션 CXL 확장 기능을 갖춘 더욱 빠른 DDR5 메모리를 포함한 플랫폼 개선을 통해 SR650 V4는 더욱 많은 메모리를 요구하는 워크로드 환경에서도 경쟁력을 유지할 수 있도록 설계되었습니다.
스토리지 측면에서, U.2를 사용한 제한적인 리뷰 구성에도 불구하고, 레노버의 E3.S는 1:1 연결성과 더욱 안정적인 발열 특성을 갖춘 더 높은 NVMe 밀도를 제공하여, 특히 로컬 플래시 메모리가 더 많이 필요한 가상화 스택이나 GPU에 대한 컴퓨팅 성능만큼 중요한 AI 관련 파이프라인 구축과 같은 최신 인프라 구축 방식에 부합합니다. 또한, 듀얼 OCP 3.0 Gen5 x16 슬롯은 실용적인 업그레이드입니다. 이를 통해 가속기, 스토리지 또는 특수 어댑터에 사용할 PCIe 슬롯을 희생하지 않고도 강력한 네트워킹 환경을 구축할 수 있습니다.
SR650 V3를 사용 중이시면서 메모리 속도, PCIe 여유 공간 또는 NVMe 밀도에 제약을 느끼신다면, SR650 V4는 탁월한 선택입니다. SR650 시리즈의 인기 요인이었던 뛰어난 서비스 편의성과 구성 가능성을 그대로 유지하면서, IT 팀이 향후 확장에 제약을 받지 않도록 충분한 플랫폼 확장성을 제공합니다. 가상화 클러스터 구축, 스케일아웃 서비스 현대화 또는 균형 잡힌 CPU/GPU 노드 구성 등 어떤 상황에서든 SR650 V4는 필수적인 요구 사항을 충족하고 미래 기술 발전을 위한 여유 공간을 제공합니다.
아마존