Test du serveur GPU OVHcloud US

Dans le paysage en constante évolution du développement de l’intelligence artificielle (IA), la formation cloud a révolutionné la façon dont les modèles d’IA sont créés, affinés et déployés. La formation cloud, une méthode de formation de modèles d'IA à l'aide d'une infrastructure cloud distante, apporte de nombreux avantages qui propulsent le développement de l'IA dans de nouveaux domaines d'évolutivité, d'efficacité et d'accessibilité.

Dans le paysage en constante évolution du développement de l’intelligence artificielle (IA), la formation cloud a révolutionné la façon dont les modèles d’IA sont créés, affinés et déployés. La formation cloud, une méthode de formation de modèles d'IA à l'aide d'une infrastructure cloud distante, apporte de nombreux avantages qui propulsent le développement de l'IA dans de nouveaux domaines d'évolutivité, d'efficacité et d'accessibilité.

En exploitant la puissance du cloud computing, les organisations et les développeurs peuvent bénéficier d’une série d’avantages qui rationalisent le processus de formation en IA et accélèrent l’innovation d’une manière auparavant inaccessible. De l’évolutivité sans effort à l’utilisation de matériel spécialisé, la formation cloud permet aux praticiens de l’IA de relever des défis complexes avec agilité et d’exploiter tout le potentiel de leurs modèles.

Qui est OVHcloud US ?

Bien que ce ne soit pas un nom familier, OVHcloud US, la filiale américaine du groupe OVH, propose des serveurs nus, des solutions de cloud privé hébergé et de cloud hybride. Leurs solutions couvrent tout, des serveurs dédiés pour les jeux vidéo aux services de cloud privé hébergés sur mesure pour les grandes entreprises, et tout le reste. Dans cette revue, nous explorerons leurs services de calcul Public Cloud, en particulier le GPU Cloud alimenté par les GPU NVIDIA Tesla V100S. Ces instances GPU sont conçues pour tout ce qui pourrait bénéficier d'un traitement parallèle, qu'il s'agisse d'un apprentissage automatique essentiel, d'une IA générative ou d'une formation de modèles d'IA spécifiques.

L’un des éléments clés que nous souhaitons examiner aujourd’hui concerne les avantages du traitement GPU basé sur le cloud par rapport aux solutions sur site. Il y a certainement des arguments à faire valoir pour les deux, mais OVHcloud US offre des raisons impérieuses de passer au cloud, même si ce n'est que pour se lancer dans votre parcours personnel ou professionnel en matière d'IA.

Le principal argument de vente est sans aucun doute le prix. À partir de 0.88 $/heure pour un seul Tesla V100S avec 32 Go de VRAM, 14 vCores et 45 Go de mémoire, il est possible d'utiliser des milliers d'heures de cycles avant même de se rapprocher du coût d'une solution sur site. Il y a ensuite l’avantage de compléter les machines GPU internes existantes par des instances basées sur le cloud pour des choses comme le recyclage occasionnel des modèles d’IA.

Les offres GPU OVHcloud US se répartissent dans les instances suivantes :

Prénom	Mémoire	vCore	GPU	Stockage	Réseau public	Réseau privé	Prix/h
t2-45	45 GB	14	Tesla V100S 32 Go	400 Go SSD	2 Gbps	4 Gbps	$2.191
t2-90	90 GB	28	2x Tesla V100S 32 Go	800 Go SSD	4 Gbps	4 Gbps	$4.38
t2-180	180 GB	56	4x Tesla V100S 32 Go	50 Go SSD + 2 To NVMe	10 Gbps	4 Gbps	$8.763
t2-le-45	45 GB	14	Tesla V100S 32 Go	300 Go SSD	2 Gbps	4 Gbps	$0.88
t2-le-90*	90 GB	30	Tesla V100S 32 Go	500 Go SSD	4 Gbps	4 Gbps	$1.76
t2-le-180*	180 GB	60	Tesla V100S 32 Go	500 Go SSD	10 Gbps	4 Gbps	$3.53

*nouvellement publié

Matériel pour les serveurs GPU OVHcloud US

Examinons de plus près les options matérielles proposées par OVHcloud US. Au cœur des instances GPU se trouve le NVIDIA Tesla V100S, un GPU optimisé pour le calcul avec 32 Go de mémoire HBM2. Bien que les nouveaux Tesla A100 aient principalement remplacé ces GPU, le V100S offre toujours d'excellentes performances et un excellent rapport qualité-prix.

L'aspect le plus important de ces instances est qu'elles sont basées sur le cloud, elles n'encombrent donc aucun système que vous pourriez avoir sur site, ce qui en fait une solution idéale pour les flux de travail « configurez-le et oubliez-le ». Ces GPU sont livrés directement à l'instance via un relais PCI sans couche de virtualisation, permettant une utilisation dédiée de chaque carte pour votre travail.
Du côté du processeur, ils ne précisent pas quels SKU spécifiques vous obtiendrez, mais ils garantissent au moins 2.2 GHz sur tous les cœurs, ce qui sera suffisamment rapide pour la plupart des applications. Notre cas particulier a signalé avoir un Intel Xeon Gold 6226R avec 14 de ses 32 threads à notre disposition. Le nombre de vCores va de 14 à 56.

OVHcloud US propose différentes options avec des processeurs plus rapides si votre cas d'utilisation l'exige. Les options de mémoire vont de 45 Go à 180 Go, ce qui devrait suffire pour la plupart des flux de travail axés sur le GPU. La même philosophie s’applique au stockage, avec des capacités allant de 300 Go jusqu’à un disque NVMe dédié de 2 To.

Serveurs GPU OVHcloud US – Cas d’utilisation populaires de l’IA

Développement

La création et l'exécution d'une instance sont suffisamment rapides et suffisamment bon marché pour qu'OVHcloud constitue un argument convaincant, même pour le développeur occasionnel, pour jouer avec un GPU décent. Théoriquement, vous pouvez créer toutes vos données d'entraînement localement, les charger vers le fournisseur de données cloud de votre choix, lancer une instance et commencer à entraîner/affiner divers modèles disponibles en ligne.

Grâce à des tests rigoureux de ce scénario, nous avons développé une variété de solutions sophistiquées Lama saveurs en utilisant le code Alpaca et les poids convertis Huggingface. Ces saveurs peuvent être préparées en toute transparence sur votre appareil, facilement téléchargées sur Google Drive, téléchargées sans effort sur l'instance et affinées de manière experte. Maintenant, nous travaillons avec des modèles à paramètres inférieurs pour les adapter aux 32 Go de VRAM dont nous disposions, et c'était toujours une option beaucoup plus gérable que d'essayer d'acheter une carte comparable comme une RTX8000 à jeter dans le homelab.

Les petites entreprises pourraient utiliser cette stratégie pour fournir dès maintenant à un développeur ou à une équipe un accès au calcul GPU plutôt que d'attendre des approbations matérielles ou budgétaires importantes.

Inférence

Le V100S est un excellent GPU pour inférer des LLM pouvant tenir dans sa mémoire. Bien que les temps d'inférence diffèrent de ceux que vous obtiendriez avec des services comme ChatGPT, le compromis présente l'avantage d'exécuter votre propre modèle privé. Comme d'habitude, l'exécution d'un service cloud avec une disponibilité 24h/7 et 0.88j/XNUMX entraînera des coûts, mais il faudrait des mois d'exécution de l'instance au tarif actuel de XNUMX $ par heure pour se rapprocher de l'infrastructure requise pour le faire sur site.

Reconnaissance d'image

Impressions pratiques

Au départ, le portail OVHcloud US était intuitif et sa mise en place simple. Créez un compte, ajoutez un mode de paiement, créez des clés SSH, sélectionnez l'instance, récupérez un Red Bull et connectez-vous en SSH à votre nouveau boîtier GPU. Nous avons utilisé Ubuntu Server, mais d'autres options sont disponibles pour les versions et versions de Linux, notamment Fedora, Arch, Debian CenOS, AlmaLinux et Rocky.

Il existe également la possibilité d'installer diverses images de système d'exploitation incluant des applications telles que Docker.

En nous familiarisant avec le serveur GPU OVHcloud US, nous avons trouvé l’expérience incroyablement conviviale et réactive. La configuration de l'instance a été un jeu d'enfant et l'accès aux ressources GPU a été pratiquement transparent. Qu'il s'agisse de tester des modèles de machine learning complexes ou de gérer des tâches de traitement de données à grande échelle, les instances GPU d'OVHcloud US ont démontré des performances remarquables.

De plus, la flexibilité de mise à l'échelle des ressources nous a permis de personnaliser l'environnement en fonction de nos besoins spécifiques. Tout a été conçu pour faciliter un flux de travail fluide et efficace, de l'interface utilisateur au matériel sous-jacent. La prise en charge de divers frameworks d'IA populaires, combinée à la puissance des GPU NVIDIA Tesla V100S, a rendu nos expériences, notre formation et notre inférence de modèles non seulement possibles, mais également très efficaces.

La possibilité d'augmenter nos ressources internes avec ces solutions basées sur le cloud a confirmé OVHcloud US comme une option attractive aussi bien pour les débutants faisant leurs premiers pas dans l'IA que pour les professionnels chevronnés à la recherche de solutions fiables et rentables.

Nous avons effectué quelques tests pour tester les performances d'allocation du processeur et la mise en œuvre du V100. Le premier était le benchmark Blender-CLI, puis notre banc de processeur préféré, y-cruncher.

Monstre GPU	1112.95022
Junkshop GPU	754.813874
Salle de classe GPU	603.196188
Monstre du processeur	113.467036
Junkshop CPU	62.223543
Salle de classe CPU	50.618349
croque-y 1b	en 40.867 secondes
croque-y 2.5b	en 113.142 secondes

L'instance t2-45le, lors des tests, a fourni des résultats conformes à ses spécifications, sans surprise dans ses mesures de performances. Avec le V100 intégré, il est évident qu'il peut gérer des tâches d'inférence intensives et même prendre en charge efficacement les opérations de formation basées sur le cloud, tant en termes de performances que de coûts.

Réflexions de clôture

Comme pour tout ce qui concerne l'informatique d'entreprise, il y a des avantages et des inconvénients ; il en va de même pour l’IA de formation dans le cloud. La formation cloud avec les serveurs GPU américains OVHcloud offre évolutivité, rentabilité et développement accéléré et ouvre la porte à l'innovation et à l'expérimentation. Un matériel spécialisé, une accessibilité mondiale et une collaboration transparente rendent l’IA basée sur le cloud propice aux découvertes révolutionnaires.

Ces avantages coexistent avec les réalités des problèmes de sécurité des données et de stabilité du réseau. Face à la courbe d’apprentissage potentiellement abrupte, la formation cloud à l’IA doit être abordée avec prudence, en invitant les organisations à tracer une voie stratégique qui correspond à leurs besoins et priorités uniques.

Bien que nous n’ayons évoqué que le serveur GPU spécifique, OVHcloud US propose un ensemble complet de services. Dans l’ensemble, le support a été sympathique et ils ont fait un suivi pour voir si nous avions besoin d’aide après notre inscription initiale. Le portail était intuitif, facile à utiliser et à comprendre, et le système fonctionnait exactement comme prévu. Le seul inconvénient pourrait être le manque de régions, mais cela est facilement négligé en raison du coût et de la simplicité. OVHcloud US reçoit une solide recommandation et entre dans notre poche en tant que fournisseur de cloud potentiel pour les futurs projets qui doivent être en dehors du laboratoire ou juste un peu de puissance supplémentaire louée pour faire un travail.

Alors que nous naviguons dans ce paysage dynamique, il est essentiel d’aborder la formation cloud pour l’IA avec une perspective équilibrée, en saisissant les opportunités tout en abordant les défis de manière pragmatique. Le parcours vers l’excellence de l’IA, marqué par l’ingéniosité et l’aspect pratique, est façonné par la compréhension de l’interaction complexe de ces avantages et inconvénients et par l’élaboration de stratégies qui exploitent les premiers tout en atténuant les seconds.

OVHcloud France

S'engager avec StorageReview

Newsletter |  YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS