OVHcloud 미국 GPU 서버 검토

끊임없이 진화하는 인공 지능(AI) 개발 환경에서 클라우드 교육은 AI 모델의 생성, 개선, 배포 방식에 혁명을 일으켰습니다. 원격 클라우드 인프라를 사용하여 AI 모델을 훈련하는 방법인 클라우드 훈련은 AI 개발을 확장성, 효율성 및 접근성이라는 새로운 영역으로 추진하는 많은 이점을 제공합니다.

끊임없이 진화하는 인공 지능(AI) 개발 환경에서 클라우드 교육은 AI 모델의 생성, 개선, 배포 방식에 혁명을 일으켰습니다. 원격 클라우드 인프라를 사용하여 AI 모델을 훈련하는 방법인 클라우드 훈련은 AI 개발을 확장성, 효율성 및 접근성이라는 새로운 영역으로 추진하는 많은 이점을 제공합니다.

클라우드 컴퓨팅의 힘을 활용함으로써 조직과 개발자는 AI 교육 프로세스를 간소화하고 이전에는 달성할 수 없었던 방식으로 혁신을 가속화하는 다양한 이점을 얻을 수 있습니다. 손쉬운 확장성부터 특수한 하드웨어 활용까지, 클라우드 교육은 AI 실무자가 복잡한 문제를 민첩하게 탐색하고 모델의 잠재력을 최대한 활용할 수 있도록 지원합니다.

OVHcloud US는 누구입니까?

유명하지는 않지만 OVH Group의 미국 소재 자회사인 OVHcloud US는 베어메탈 서버, 호스팅된 프라이빗 클라우드 및 하이브리드 클라우드 솔루션을 제공합니다. 이들 솔루션은 비디오 게임 전용 서버부터 대기업을 위한 맞춤형 호스팅 프라이빗 클라우드 서비스까지 모든 것을 포괄합니다. 이번 리뷰에서는 퍼블릭 클라우드 컴퓨팅 서비스, 특히 NVIDIA Tesla V100S GPU로 구동되는 GPU 클라우드를 살펴보겠습니다. 이러한 GPU 인스턴스는 필수 기계 학습, 생성 AI 또는 특정 AI 모델 교육 등 병렬 처리의 이점을 누릴 수 있는 모든 것을 위해 설계되었습니다.

오늘 우리가 살펴보고 싶은 핵심 사항 중 하나는 클라우드 기반 GPU 처리와 온프레미스 솔루션의 이점입니다. 두 가지 모두에 대해 확실히 논쟁의 여지가 있지만 OVHcloud US는 개인 또는 비즈니스 AI 여정을 시작하기 위한 것일지라도 클라우드로 전환해야 하는 몇 가지 설득력 있는 이유를 제공합니다.

주요 판매 포인트는 의심할 여지 없이 가격입니다. 0.88GB VRAM, 100개 vCore 및 32GB 메모리를 갖춘 단일 Tesla V14S의 경우 시간당 45달러부터 시작하여 온프레미스 솔루션 비용에 가까워지기 전에 수천 시간의 사이클을 사용할 수 있습니다. 그런 다음 가끔 AI 모델을 재교육하는 등의 작업을 위해 기존 내부 GPU 시스템을 클라우드 기반 인스턴스로 보완하면 비용상의 이점이 있습니다.

OVHcloud US GPU 제품은 다음과 같은 인스턴스로 분류됩니다.

*새로 출시됨

OVHcloud 미국 GPU 서버 하드웨어

OVHcloud US가 제공하는 하드웨어 옵션을 자세히 살펴보겠습니다. GPU 인스턴스의 핵심에는 100GB HBM32 메모리를 갖춘 컴퓨팅에 최적화된 GPU인 NVIDIA Tesla V2S가 있습니다. 최신 Tesla A100이 주로 이러한 GPU를 대체했지만 V100S는 여전히 뛰어난 성능과 가치를 제공합니다.

이러한 인스턴스의 가장 중요한 측면은 클라우드 기반이므로 현장에 있는 시스템을 묶지 않으므로 "설정하고 잊어버리는" 워크플로에 이상적인 솔루션이 된다는 것입니다. 이러한 GPU는 가상화 계층 없이 PCI 패스스루를 통해 인스턴스에 직접 제공되므로 작업에 각 카드를 전용으로 사용할 수 있습니다.
CPU 측면에서는 어떤 특정 SKU를 얻을 것인지 지정하지 않지만 모든 코어에서 최소 2.2GHz를 보장하므로 대부분의 애플리케이션에 충분히 빠릅니다. 우리의 특정 사례에서는 6226개 스레드 중 14개를 사용할 수 있는 Intel Xeon Gold 32R이 있다고 보고했습니다. vCore 수의 범위는 14~56입니다.

OVHcloud US는 사용 사례에 필요한 경우 더 빠른 CPU로 다양한 옵션을 제공합니다. 메모리 옵션은 45GB에서 최대 180GB까지 다양하며 이는 대부분의 GPU 중심 워크플로우에 충분합니다. 300GB부터 전용 2TB NVMe 드라이브까지의 용량을 갖춘 스토리지에도 동일한 정신이 적용됩니다.

OVHcloud US GPU 서버 – 인기 있는 AI 사용 사례

개발

인스턴스를 가동하고 실행하는 것은 OVHcloud가 일반 개발자라도 괜찮은 GPU를 가지고 놀 수 있도록 설득력 있는 주장을 할 만큼 충분히 빠르고 저렴합니다. 이론적으로는 모든 훈련 데이터를 로컬에서 생성하고 이를 선택한 클라우드 데이터 공급자에 로드하고 인스턴스를 가동하고 온라인에서 사용 가능한 다양한 모델의 훈련/미세 조정을 시작할 수 있습니다.

이 시나리오에 대한 엄격한 테스트를 통해 우리는 다양하고 정교한 야마 알파카 코드와 Huggingface 변환 가중치를 활용하여 맛을 냅니다. 이러한 맛은 기기에서 원활하게 준비되고, Google Drive에 편리하게 업로드되고, 인스턴스에 쉽게 다운로드되며, 전문적으로 미세 조정할 수 있습니다. 이제 우리는 보유한 32GB VRAM에 맞게 더 낮은 매개변수 모델을 사용하고 있으며, RTX8000과 같은 유사한 카드를 구입하여 홈랩에 던지는 것보다 여전히 훨씬 관리하기 쉬운 옵션이었습니다.

소규모 기업은 이 전략을 사용하여 하드웨어나 상당한 예산 승인을 기다리지 않고 이제 개발자나 팀에게 GPU 컴퓨팅에 대한 액세스를 제공할 수 있습니다.

추론

V100S는 메모리에 들어갈 수 있는 LLM을 추론하는 데 탁월한 GPU입니다. 추론 시간은 ChatGPT와 같은 서비스에서 얻을 수 있는 것과 다르지만, 자체 비공개 모델을 실행할 수 있다는 장점이 있습니다. 평소와 마찬가지로 연중무휴 가동 시간으로 클라우드 서비스를 실행하면 비용이 발생하지만 온프레미스에서 수행하는 데 필요한 인프라에 가까워지려면 현재 시간당 24달러로 인스턴스를 실행하는 데 수개월이 걸릴 것입니다.

이미지 인식

실제 인상

처음에는 OVHcloud US 포털이 직관적이었고 설정도 간단했습니다. 계정을 만들고, 결제 방법을 추가하고, SSH 키를 만들고, 인스턴스를 선택하고, Red Bull을 선택하고, SSH를 통해 새 GPU 상자에 접속하세요. 우리는 Ubuntu Server를 사용했지만 Fedora, Arch, Debian CenOS, AlmaLinux 및 Rocky를 포함한 Linux 버전 및 버전에 다른 옵션을 사용할 수 있습니다.

Docker와 같은 앱이 포함된 다양한 OS 이미지를 설치하는 옵션도 있습니다.

OVHcloud US GPU 서버를 직접 사용해 보면서 우리는 놀라울 정도로 사용자 친화적이고 응답성이 뛰어난 경험을 발견했습니다. 인스턴스 설정은 매우 쉬웠으며 GPU 리소스에 액세스하는 것도 사실상 원활했습니다. 복잡한 기계 학습 모델을 테스트하든 대규모 데이터 처리 작업을 처리하든 OVHcloud US의 GPU 인스턴스는 놀라운 성능을 보여주었습니다.

또한 리소스 확장의 유연성 덕분에 특정 요구 사항에 맞게 환경을 맞춤 설정할 수 있었습니다. 사용자 인터페이스부터 기본 하드웨어까지 모든 것이 원활하고 효율적인 작업 흐름을 촉진하도록 설계되었습니다. 다양한 인기 AI 프레임워크에 대한 지원과 NVIDIA Tesla V100S GPU의 성능이 결합되어 우리의 실험과 모델 훈련 및 추론이 가능할 뿐만 아니라 매우 효과적이었습니다.

이러한 클라우드 기반 솔루션으로 사내 리소스를 강화할 수 있는 능력은 OVHcloud US가 AI의 첫 걸음을 내딛는 초보자와 안정적이고 비용 효율적인 솔루션을 찾는 노련한 전문가 모두에게 매력적인 옵션임을 확인시켜 주었습니다.

우리는 CPU 할당 성능과 V100 구현을 테스트하기 위해 몇 가지 벤치마크를 실행했습니다. 첫 번째는 Blender-CLI 벤치마크였고 그 다음은 우리가 가장 좋아하는 CPU 벤치인 y-cruncher였습니다.

테스트 시 t2-45le 인스턴스는 사양과 일치하는 결과를 제공하여 성능 지표에 놀라운 점이 없었습니다. V100이 탑재되어 있어 집중적인 추론 작업을 처리할 수 있고 성능과 비용 측면에서 클라우드 기반 교육 작업도 효과적으로 지원할 수 있다는 것이 분명합니다.

생각을 폐쇄

엔터프라이즈 IT의 모든 것과 마찬가지로 장단점이 있습니다. 클라우드 훈련 AI에도 마찬가지입니다. OVHcloud US GPU 서버를 사용한 클라우드 교육은 확장성, 비용 효율성 및 가속화된 개발을 제공하고 혁신과 실험의 문을 열어줍니다. 전문화된 하드웨어, 글로벌 접근성, 원활한 협업을 통해 클라우드 기반 AI는 획기적인 발견에 적합합니다.

이러한 이점은 데이터 보안 문제 및 네트워크 안정성의 현실과 함께 존재합니다. 잠재적으로 가파른 학습 곡선을 해결하려면 AI에 대한 클라우드 교육에 주의를 기울여 접근해야 하며, 조직이 고유한 요구 사항과 우선 순위에 맞는 전략적 과정을 계획하도록 경고해야 합니다.

특정 GPU 서버만 다루었지만 OVHcloud US에는 포괄적인 서비스 세트가 있습니다. 전반적으로 지원은 친절했고 초기 가입 후 도움이 필요한지 확인하기 위해 후속 조치를 취했습니다. 포털은 직관적이고 사용 및 이해가 쉬웠으며 시스템은 예상대로 정확하게 작동했습니다. 유일한 단점은 지역이 부족하다는 점일 수 있지만 비용과 단순성으로 인해 쉽게 간과될 수 있습니다. OVHcloud US는 확실한 추천을 받았으며 연구실 외부에 있어야 하거나 작업을 완료하기 위해 약간의 추가 마력을 임대해야 하는 향후 프로젝트를 위한 잠재적인 클라우드 공급자로서 우리의 뒷주머니에 들어갈 것입니다.

이러한 역동적인 환경을 탐색할 때 균형 잡힌 관점으로 AI를 위한 클라우드 교육에 접근하고 기회를 포용하는 동시에 문제를 실용적으로 해결하는 것이 중요합니다. 독창성과 실용성이 특징인 AI 우수성을 향한 여정은 이러한 장단점의 복잡한 상호 작용을 이해하고 전자를 활용하면서 후자를 완화하는 전략을 수립함으로써 형성됩니다.

OVH클라우드 미국

StorageReview에 참여

뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드