Granskning av OVHcloud US GPU-server

I det ständigt föränderliga landskapet för utveckling av artificiell intelligens (AI) har molnträning revolutionerat hur AI-modeller skapas, förfinas och distribueras. Molnträning, en metod för att träna AI-modeller med hjälp av fjärrmolninfrastruktur, ger många fördelar som driver AI-utveckling till nya områden av skalbarhet, effektivitet och tillgänglighet.

I det ständigt föränderliga landskapet för utveckling av artificiell intelligens (AI) har molnträning revolutionerat hur AI-modeller skapas, förfinas och distribueras. Molnträning, en metod för att träna AI-modeller med hjälp av fjärrmolninfrastruktur, ger många fördelar som driver AI-utveckling till nya områden av skalbarhet, effektivitet och tillgänglighet.

Genom att utnyttja kraften i molnberäkningar kan organisationer och utvecklare låsa upp en rad fördelar som effektiviserar AI-utbildningsprocessen och påskyndar innovation på sätt som tidigare varit ouppnåeliga. Från enkel skalbarhet till specialiserad hårdvaruanvändning, molnutbildning ger AI-utövare möjlighet att navigera i komplexa utmaningar med smidighet och utnyttja den fulla potentialen i sina modeller.

Vem är OVHcloud US?

Även om det inte är ett känt namn, erbjuder OVHcloud US, det USA-baserade dotterbolaget till OVH Group, blankmetallservrar, värdbaserade privata moln och hybridmolnlösningar. Deras lösningar täcker allt från dedikerade servrar för videospel, skräddarsydda privata molntjänster för stora företag och allt däremellan. I den här recensionen kommer vi att utforska deras Public Cloud Compute-tjänster, särskilt GPU-molnet som drivs av NVIDIA Tesla V100S GPU:er. Dessa GPU-instanser är designade för allt som skulle gynnas av parallell bearbetning, oavsett om det är viktig maskininlärning, generativ AI eller specifik AI-modellutbildning.

En av de viktigaste sakerna vi vill titta på idag är fördelarna med molnbaserad GPU-behandling kontra lokala lösningar. Det finns säkert ett argument för båda, men OVHcloud US erbjuder några övertygande skäl att gå moln, även om det bara är för att komma igång med din personliga eller affärsmässiga AI-resa.

Det primära försäljningsargumentet är utan tvekan priset. Från 0.88 USD/timme för en enda Tesla V100S med 32 GB VRAM, 14 vCores och 45 GB minne, är det möjligt att använda tusentals timmars cykler innan du ens kommer i närheten av kostnaden för en lokal lösning. Sedan finns det kostnadsfördelarna med att komplettera befintliga interna GPU-maskiner med molnbaserade instanser för saker som tillfällig omträning av AI-modeller.

OVHcloud US GPU-erbjudanden är uppdelade i följande instanser:

*nysläppt

OVHcloud US GPU-servrar hårdvara

Låt oss ta en djupare titt på hårdvarualternativen som OVHcloud US erbjuder. Kärnan i GPU-instanserna är NVIDIA Tesla V100S, en GPU optimerad för datorer med 32 GB HBM2-minne. Medan de nyare Tesla A100:erna i första hand har ersatt dessa GPU:er, levererar V100S fortfarande utmärkt prestanda och värde.

Den viktigaste aspekten av dessa instanser är att de är molnbaserade, så de kommer inte att binda upp några system du kan ha på plats, vilket gör dem till en idealisk lösning för "ställ in det och glöm det"-arbetsflöden. Dessa GPU:er levereras direkt till instansen via PCI-passthrough utan ett virtualiseringslager, vilket ger dedikerad användning av varje kort för ditt arbete.
På CPU-sidan anger de inte vilka specifika SKU:er du kommer att få, men de garanterar minst 2.2 GHz på alla kärnor, vilket kommer att vara tillräckligt snabbt för de flesta applikationer. Vårt specifika fall rapporterade att vi hade en Intel Xeon Gold 6226R med 14 av dess 32 trådar tillgängliga för oss. Antalet vCore sträcker sig från 14 upp till 56.

OVHcloud US erbjuder olika alternativ med snabbare processorer om ditt användningsfall kräver det. Minnesalternativen sträcker sig från 45 GB upp till 180 GB, vilket borde vara gott för de flesta GPU-fokuserade arbetsflöden. Samma princip gäller för lagring, med kapaciteter från 300 GB upp till en dedikerad 2TB NVMe-enhet.

OVHcloud US GPU-servrar – populära AI-användningsfall

Utveckling

Att snurra upp och köra en instans är tillräckligt snabbt och tillräckligt billigt för att OVHcloud gör ett övertygande argument för även den tillfälliga utvecklaren att leka med en anständig GPU. Teoretiskt kan du skapa all din träningsdata lokalt, ladda den till den molndataleverantör du väljer, snurra upp en instans och börja träna/finjustera olika modeller tillgängliga online.

Genom rigorösa tester av detta scenario utvecklade vi en mängd olika sofistikerade Lama smaker genom att använda Alpaca-koden och Huggingface-konverterade vikter. Dessa smaker kan sömlöst tillagas på din enhet, bekvämt laddas upp till Google Drive, enkelt laddas ner på instansen och finjusteras på ett sakkunnigt sätt. Nu arbetar vi med modellerna med lägre parameter för att passa in i de 32 GB VRAM vi hade, och det var fortfarande ett mycket mer hanterbart alternativ än att försöka köpa ett jämförbart kort som en RTX8000 att slänga i hemlabbet.

Små företag skulle kunna använda denna strategi för att ge en utvecklare eller ett team tillgång till GPU-datorer nu istället för att vänta på hårdvara eller betydande budgetgodkännanden.

Inferens

V100S är en utmärkt grafikprocessor för slutledning av LLM:er som kan passa in i dess minne. Medan slutledningstider skiljer sig från vad du skulle få med tjänster som ChatGPT, kommer avvägningen med fördelen att köra din egen privata modell. Som vanligt kommer det att medföra kostnader att köra en molntjänst med drifttid dygnet runt, men det skulle ta månader att köra instansen med nuvarande $24 per timme för att komma nära den infrastruktur som krävs för att göra det på plats.

Bildigenkänning

Praktiska intryck

Från början var OVHcloud US-portalen intuitiv, och det var enkelt att installera. Skapa ett konto, lägg till en betalningsmetod, skapa några SSH-nycklar, välj instans, ta en Red Bull och SSH över till din nya GPU-låda. Vi använde Ubuntu Server, men andra alternativ är tillgängliga för Linux-versioner och smaker, inklusive Fedora, Arch, Debian CenOS, AlmaLinux och Rocky.

Det finns också möjlighet att installera olika OS-bilder som inkluderar appar som Docker.

Genom att komma igång med OVHcloud US GPU Server, fann vi upplevelsen otroligt användarvänlig och lyhörd. Inställningen av instansen var en bris, och åtkomst till GPU-resurserna var praktiskt taget sömlös. Oavsett om man testade komplexa maskininlärningsmodeller eller hanterade storskaliga databearbetningsuppgifter, visade OVHcloud US:s GPU-instanser anmärkningsvärd prestanda.

Dessutom tillät flexibiliteten i att skala resurser oss att anpassa miljön till våra specifika behov. Allt designades för att underlätta ett smidigt och effektivt arbetsflöde, från användargränssnittet till den underliggande hårdvaran. Stödet för olika populära AI-ramverk, kombinerat med kraften hos NVIDIA Tesla V100S GPU:er, gjorde våra experiment och modellträning och slutledning inte bara möjliga utan mycket effektiva.

Möjligheten att utöka våra interna resurser med dessa molnbaserade lösningar bekräftade OVHcloud US som ett attraktivt alternativ för både nybörjare som tar sina första steg inom AI och erfarna proffs som letar efter pålitliga och kostnadseffektiva lösningar.

Vi gick igenom ett par riktmärken för att testa CPU-allokeringsprestanda och V100-implementering. Först ut var Blender-CLI benchmark och sedan vår favorit CPU-bänk, y-cruncher.

t2-45le-instansen, vid testning, levererade resultat som överensstämde med dess specifikationer och visade inga överraskningar i dess prestandamått. Med V100 ombord är det uppenbart att den kan hantera intensiva slutledningsuppgifter och till och med stöder molnbaserad utbildningsverksamhet effektivt både vad gäller prestanda och kostnad.

Utgående Tankar

Som med allt inom företags-IT finns det för- och nackdelar; detsamma gäller för molnträning AI. Molnträning med OVHcloud US GPU-servrar erbjuder skalbarhet, kostnadseffektivitet och accelererad utveckling och öppnar dörren till innovation och experimenterande. Specialiserad hårdvara, global tillgänglighet och sömlöst samarbete gör molnbaserad AI mogen för banbrytande upptäckter.

Dessa fördelar finns vid sidan av realiteterna med datasäkerhetsproblem och nätverksstabilitet. För att ta itu med den potentiellt branta inlärningskurvan, bör molnträning för AI behandlas med en viss försiktighet, varna organisationer att kartlägga en strategisk kurs som är i linje med deras unika behov och prioriteringar.

Även om vi bara berörde den specifika GPU-servern, har OVHcloud US en omfattande uppsättning tjänster. Sammantaget var supporten vänlig och de följde upp för att se om vi behövde hjälp efter vår första registrering. Portalen var intuitiv, lätt att använda och förstå, och systemet fungerade precis som förväntat. Den enda nackdelen kan vara bristen på regioner, men det är lätt att förbise baserat på kostnaden och enkelheten. OVHcloud US får en solid rekommendation och går i bakfickan som en potentiell molnleverantör för framtida projekt som behöver ligga utanför labbet eller bara lite hyrda extra hästkrafter för att få ett jobb gjort.

När vi navigerar i det här dynamiska landskapet är det viktigt att närma oss molnträning för AI med ett balanserat perspektiv, omfamna möjligheterna samtidigt som vi pragmatiskt tar itu med utmaningarna. Resan mot AI-excellens, präglad av uppfinningsrikedom och praktiska egenskaper, formas genom att förstå det intrikata samspelet mellan dessa för- och nackdelar och skapa strategier som utnyttjar det förra samtidigt som det mildrar det senare.

OVHcloud US

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde