OVHcloud Amerikaanse GPU-serverrecensie

In het steeds evoluerende landschap van de ontwikkeling van kunstmatige intelligentie (AI) heeft cloudtraining een revolutie teweeggebracht in de manier waarop AI-modellen worden gemaakt, verfijnd en ingezet. Cloudtraining, een methode om AI-modellen te trainen met behulp van externe cloudinfrastructuur, brengt veel voordelen met zich mee die de AI-ontwikkeling naar nieuwe gebieden van schaalbaarheid, efficiëntie en toegankelijkheid stuwen.

In het steeds evoluerende landschap van de ontwikkeling van kunstmatige intelligentie (AI) heeft cloudtraining een revolutie teweeggebracht in de manier waarop AI-modellen worden gemaakt, verfijnd en ingezet. Cloudtraining, een methode om AI-modellen te trainen met behulp van externe cloudinfrastructuur, brengt veel voordelen met zich mee die de AI-ontwikkeling naar nieuwe gebieden van schaalbaarheid, efficiëntie en toegankelijkheid stuwen.

Door de kracht van cloud computing te benutten kunnen organisaties en ontwikkelaars een reeks voordelen ontsluiten die het AI-trainingsproces stroomlijnen en innovatie versnellen op manieren die voorheen onbereikbaar waren. Van moeiteloze schaalbaarheid tot gespecialiseerd hardwaregebruik: cloudtraining stelt AI-beoefenaars in staat om flexibel met complexe uitdagingen om te gaan en het volledige potentieel van hun modellen te benutten.

Wie is OVHcloud VS?

Hoewel het geen bekende naam is, biedt OVHcloud US, de in de VS gevestigde dochteronderneming van OVH Group, bare metal servers, gehoste private cloud en hybride cloudoplossingen. Hun oplossingen omvatten alles, van speciale servers voor videogames, op maat gemaakte gehoste privéclouddiensten voor grote ondernemingen en alles daartussenin. In deze review zullen we hun Public Cloud-computerservices verkennen, met name de GPU Cloud, mogelijk gemaakt door NVIDIA Tesla V100S GPU's. Deze GPU-instanties zijn ontworpen voor alles dat baat zou hebben bij parallelle verwerking, of het nu gaat om essentiële machine learning, generatieve AI of specifieke AI-modeltraining.

Een van de belangrijkste dingen waar we vandaag naar willen kijken, zijn de voordelen van cloudgebaseerde GPU-verwerking versus oplossingen op locatie. Er is zeker een argument voor beide, maar OVHcloud US biedt een aantal overtuigende redenen om naar de cloud te gaan, ook al is het alleen maar om aan de slag te gaan met uw persoonlijke of zakelijke AI-reis.

Het belangrijkste verkoopargument is ongetwijfeld de prijs. Vanaf $ 0.88/uur voor een enkele Tesla V100S met 32 ​​GB VRAM, 14 vCores en 45 GB geheugen, is het mogelijk om duizenden uren aan cycli te gebruiken voordat je zelfs maar in de buurt komt van de kosten van een lokale oplossing. Dan is er nog de kosten-batenverhouding van het aanvullen van bestaande interne GPU-machines met cloudgebaseerde instanties voor zaken als het af en toe opnieuw trainen van AI-modellen.

Het aanbod van OVHcloud US GPU's is onderverdeeld in de volgende gevallen:

Naam	Geheugen	vCore	GPU	Opbergen	Openbaar netwerk	Prive netwerk	Prijs/uur
t2-45	45 GB	14	Tesla V100S 32GB	400 GB SSD	2 Gbps	4 Gbps	$2.191
t2-90	90 GB	28	2x Tesla V100S 32GB	800 GB SSD	4 Gbps	4 Gbps	$4.38
t2-180	180 GB	56	4x Tesla V100S 32GB	50 GB SSD + 2 TB NVMe	10 Gbps	4 Gbps	$8.763
t2-le-45	45 GB	14	Tesla V100S 32GB	300 GB SSD	2 Gbps	4 Gbps	$0.88
t2-le-90*	90 GB	30	Tesla V100S 32GB	500 GB SSD	4 Gbps	4 Gbps	$1.76
t2-le-180*	180 GB	60	Tesla V100S 32GB	500 GB SSD	10 Gbps	4 Gbps	$3.53

*nieuw uitgebracht

OVHcloud Amerikaanse GPU-serverhardware

Laten we eens dieper kijken naar de hardwareopties die OVHcloud US biedt. De kern van de GPU-instanties wordt gevormd door de NVIDIA Tesla V100S, een GPU die is geoptimaliseerd voor rekenkracht met 32 ​​GB HBM2-geheugen. Hoewel de nieuwere Tesla A100's deze GPU's voornamelijk hebben vervangen, levert de V100S nog steeds uitstekende prestaties en waarde.

Het belangrijkste aspect van deze instances is dat ze cloudgebaseerd zijn, zodat ze geen beslag leggen op de systemen die u ter plaatse heeft, waardoor ze een ideale oplossing zijn voor 'instellen en vergeten'-workflows. Deze GPU's worden rechtstreeks aan de instance geleverd via PCI-passthrough, zonder virtualisatielaag, waardoor elke kaart specifiek voor uw werk kan worden gebruikt.
Aan de CPU-kant specificeren ze niet welke specifieke SKU's je krijgt, maar ze garanderen minimaal 2.2 GHz op alle cores, wat snel genoeg zal zijn voor de meeste toepassingen. Ons specifieke exemplaar meldde dat we een Intel Xeon Gold 6226R met 14 van de 32 threads tot onze beschikking hadden. Het vCore-aantal varieert van 14 tot en met 56.

OVHcloud US biedt verschillende opties met snellere CPU's als uw gebruiksscenario daarom vraagt. Geheugenopties variëren van 45 GB tot 180 GB, wat voldoende zou moeten zijn voor de meeste GPU-gerichte workflows. Hetzelfde ethos geldt voor opslag, met capaciteiten van 300 GB tot een speciale NVMe-schijf van 2 TB.

OVHcloud Amerikaanse GPU-servers – Populaire AI-gebruiksscenario's

Ontwikkeling

Het opstarten en uitvoeren van een instance is snel genoeg en goedkoop genoeg dat OVHcloud een overtuigend argument vormt voor zelfs de gewone ontwikkelaar om met een fatsoenlijke GPU te spelen. Theoretisch zou u al uw trainingsgegevens lokaal kunnen creëren, deze naar de cloudgegevensprovider van uw keuze kunnen laden, een exemplaar kunnen opstarten en kunnen beginnen met het trainen/verfijnen van verschillende online beschikbare modellen.

Door dit scenario rigoureus te testen, hebben we een verscheidenheid aan geavanceerde oplossingen ontwikkeld Lama smaken door gebruik te maken van de Alpaca-code en door Huggingface omgerekende gewichten. Deze smaken kunnen naadloos worden bereid op uw apparaat, gemakkelijk worden geüpload naar Google Drive, moeiteloos worden gedownload op de instantie en vakkundig worden verfijnd. Nu werken we met modellen met lagere parameters, zodat ze passen in de 32 GB VRAM die we hadden, en het was nog steeds een veel beter beheersbare optie dan proberen een vergelijkbare kaart zoals een RTX8000 aan te schaffen om in het thuislab te gooien.

Kleine bedrijven zouden deze strategie kunnen gebruiken om een ​​ontwikkelaar of team nu toegang te geven tot GPU-computing, in plaats van te wachten op hardware of aanzienlijke budgetgoedkeuringen.

Inferenties

De V100S is een geweldige GPU voor het afleiden van LLM's die in het geheugen passen. Hoewel de inferentietijden verschillen van wat u zou krijgen met diensten als ChatGPT, komt de afweging met het voordeel van het runnen van uw eigen privémodel. Zoals gewoonlijk zal het runnen van een cloudservice met 24/7 uptime kosten met zich meebrengen, maar het zou maanden duren om de instance tegen de huidige $ 0.88 per uur te laten draaien om in de buurt te komen van de infrastructuur die nodig is om dit op locatie te doen.

Beeldherkenning

Praktische indrukken

In het begin was het OVHcloud US-portaal intuïtief en de installatie was eenvoudig. Maak een account aan, voeg een betaalmethode toe, maak een aantal SSH-sleutels aan, selecteer de instantie, pak een Red Bull en SSH naar je nieuwe GPU-box. We gebruikten Ubuntu Server, maar er zijn andere opties beschikbaar voor Linux-versies en -smaken, waaronder Fedora, Arch, Debian CenOS, AlmaLinux en Rocky.

Er is ook de mogelijkheid om verschillende OS-images te installeren, waaronder apps zoals Docker.

Toen we aan de slag gingen met de OVHcloud US GPU Server, vonden we de ervaring ongelooflijk gebruiksvriendelijk en responsief. Het instellen van de instantie was een fluitje van een cent en de toegang tot de GPU-bronnen verliep vrijwel naadloos. Of het nu gaat om het testen van complexe machine learning-modellen of het uitvoeren van grootschalige gegevensverwerkingstaken, de GPU-instances van OVHcloud US lieten opmerkelijke prestaties zien.

Bovendien stelde de flexibiliteit bij het schalen van resources ons in staat de omgeving aan te passen aan onze specifieke behoeften. Alles is ontworpen om een ​​soepele en efficiënte workflow te faciliteren, van de gebruikersinterface tot de onderliggende hardware. De ondersteuning voor verschillende populaire AI-frameworks, gecombineerd met de kracht van NVIDIA Tesla V100S GPU's, maakte onze experimenten, modeltraining en gevolgtrekking niet alleen mogelijk maar ook zeer effectief.

De mogelijkheid om onze interne middelen uit te breiden met deze cloudgebaseerde oplossingen bevestigde OVHcloud US als een aantrekkelijke optie voor zowel beginners die hun eerste stappen in AI zetten als doorgewinterde professionals die op zoek zijn naar betrouwbare en kosteneffectieve oplossingen.

We hebben een aantal benchmarks doorgenomen om de prestaties van de CPU-toewijzing en de V100-implementatie te testen. Als eerste was er de Blender-CLI-benchmark en daarna onze favoriete CPU-bank, y-cruncher.

GPU-monster	1112.95022
GPU-junkshop	754.813874
GPU-klaslokaal	603.196188
CPU-monster	113.467036
CPU-junkshop	62.223543
CPU-klaslokaal	50.618349
y-breker 1b	40.867 seconden
y-breker 2.5b	113.142 seconden

Bij het testen leverde de t2-45le-instantie resultaten op die in overeenstemming waren met de specificaties, en vertoonden geen verrassingen in de prestatiestatistieken. Met de V100 aan boord is het duidelijk dat hij intensieve inferentietaken aankan en zelfs cloudgebaseerde trainingsoperaties effectief ondersteunt, zowel qua prestaties als qua kosten.

Sluiting Gedachten

Zoals met alles in zakelijke IT zijn er voor- en nadelen; Hetzelfde geldt voor AI voor cloudtraining. Cloudtraining met OVHcloud US GPU Servers biedt schaalbaarheid, kostenefficiëntie en versnelde ontwikkeling en opent de deur naar innovatie en experimenten. Gespecialiseerde hardware, wereldwijde toegankelijkheid en naadloze samenwerking maken cloudgebaseerde AI rijp voor baanbrekende ontdekkingen.

Deze voordelen bestaan ​​naast de realiteit van zorgen over gegevensbeveiliging en netwerkstabiliteit. Om de mogelijk steile leercurve aan te pakken, moet cloudtraining voor AI met de nodige voorzichtigheid worden benaderd, waarbij organisaties worden gewaarschuwd een strategische koers uit te stippelen die aansluit bij hun unieke behoeften en prioriteiten.

Hoewel we alleen de specifieke GPU-server hebben besproken, heeft OVHcloud US een uitgebreide reeks services. Over het algemeen was de ondersteuning vriendelijk en na onze eerste aanmelding kwamen ze erachter of we hulp nodig hadden. Het portaal was intuïtief, gemakkelijk te gebruiken en te begrijpen, en het systeem presteerde precies zoals verwacht. Het enige nadeel is misschien het gebrek aan regio's, maar dat wordt gemakkelijk over het hoofd gezien vanwege de kosten en eenvoud. OVHcloud US krijgt een solide aanbeveling en gaat in onze achterzak als potentiële cloudprovider voor toekomstige projecten die buiten het laboratorium moeten plaatsvinden of gewoon een klein beetje extra gehuurde pk's nodig hebben om de klus te klaren.

Terwijl we door dit dynamische landschap navigeren, is het essentieel om cloudtraining voor AI vanuit een evenwichtig perspectief te benaderen, waarbij we de kansen omarmen en tegelijkertijd de uitdagingen pragmatisch aanpakken. De reis naar AI-excellentie, gekenmerkt door vindingrijkheid en bruikbaarheid, wordt gevormd door het begrijpen van de ingewikkelde wisselwerking tussen deze voor- en nadelen en het ontwikkelen van strategieën die de eerste benutten en de laatste verzachten.

OVHcloud VS

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed