Análise do servidor GPU dos EUA da OVHcloud

No cenário em constante evolução do desenvolvimento da inteligência artificial (IA), o treinamento em nuvem revolucionou a forma como os modelos de IA são criados, refinados e implantados. O treinamento em nuvem, um método de treinamento de modelos de IA usando infraestrutura remota em nuvem, traz muitas vantagens que impulsionam o desenvolvimento de IA para novos domínios de escalabilidade, eficiência e acessibilidade.

No cenário em constante evolução do desenvolvimento da inteligência artificial (IA), o treinamento em nuvem revolucionou a forma como os modelos de IA são criados, refinados e implantados. O treinamento em nuvem, um método de treinamento de modelos de IA usando infraestrutura remota em nuvem, traz muitas vantagens que impulsionam o desenvolvimento de IA para novos domínios de escalabilidade, eficiência e acessibilidade.

Ao aproveitar o poder da computação em nuvem, as organizações e os desenvolvedores podem desbloquear uma série de benefícios que agilizam o processo de treinamento em IA e aceleram a inovação de maneiras anteriormente inatingíveis. Da escalabilidade sem esforço à utilização especializada de hardware, o treinamento em nuvem capacita os profissionais de IA a enfrentar desafios complexos com agilidade e aproveitar todo o potencial de seus modelos.

Quem é a OVHcloud EUA?

Embora não seja um nome familiar, a OVHcloud US, subsidiária do Grupo OVH com sede nos EUA, oferece servidores bare metal, nuvem privada hospedada e soluções de nuvem híbrida. Suas soluções cobrem tudo, desde servidores dedicados para videogames, serviços de nuvem privada hospedados sob medida para grandes empresas e tudo mais. Nesta análise, exploraremos seus serviços de computação em nuvem pública, especificamente a GPU Cloud alimentada por GPUs NVIDIA Tesla V100S. Essas instâncias de GPU são projetadas para qualquer coisa que possa se beneficiar do processamento paralelo, seja aprendizado de máquina essencial, IA generativa ou treinamento de modelo de IA específico.

Uma das principais coisas que queremos analisar hoje são os benefícios do processamento de GPU baseado em nuvem em comparação com soluções locais. Há certamente um argumento a favor de ambos, mas a OVHcloud US oferece algumas razões convincentes para migrar para a nuvem, mesmo que seja apenas para começar a sua jornada pessoal ou empresarial de IA.

O principal ponto de venda é, sem dúvida, o preço. A partir de US$ 0.88/hora para um único Tesla V100S com 32 GB de VRAM, 14 vCores e 45 GB de memória, é possível usar milhares de horas de ciclos antes mesmo de chegar perto do custo de uma solução local. Depois, há o custo-benefício de complementar as máquinas GPU internas existentes com instâncias baseadas em nuvem para coisas como retreinamento ocasional de modelos de IA.

As ofertas de GPU da OVHcloud para os EUA estão divididas nas seguintes instâncias:

*recém-lançado

Hardware de servidores GPU dos EUA da OVHcloud

Vamos dar uma olhada mais aprofundada nas opções de hardware que a OVHcloud US oferece. No centro das instâncias de GPU está a NVIDIA Tesla V100S, uma GPU otimizada para computação com 32 GB de memória HBM2. Embora os Tesla A100s mais recentes tenham substituído principalmente essas GPUs, o V100S ainda oferece excelente desempenho e valor.

O aspecto mais importante dessas instâncias é que elas são baseadas na nuvem, portanto não prendem nenhum sistema que você possa ter no local, tornando-as uma solução ideal para fluxos de trabalho do tipo “configure e esqueça”. Essas GPUs são entregues diretamente à instância por meio de passagem PCI sem camada de virtualização, proporcionando uso dedicado de cada placa para o seu trabalho.
Do lado da CPU, eles não especificam quais SKUs específicos você obterá, mas garantem pelo menos 2.2 GHz em todos os núcleos, o que será rápido o suficiente para a maioria dos aplicativos. Nossa instância específica relatou ter um Intel Xeon Gold 6226R com 14 de seus 32 threads disponíveis para nós. As contagens de vCore variam de 14 a 56.

A OVHcloud US oferece diferentes opções com CPUs mais rápidas se o seu caso de uso assim o exigir. As opções de memória variam de 45 GB a 180 GB, o que deve ser suficiente para a maioria dos fluxos de trabalho focados em GPU. O mesmo espírito se aplica ao armazenamento, com capacidades de 300 GB até um drive NVMe dedicado de 2 TB.

Servidores GPU OVHcloud dos EUA – Casos de utilização populares de IA

Desenvolvimento

Criar e executar uma instância é rápido e barato o suficiente para que a OVHcloud apresente um argumento convincente até mesmo para o desenvolvedor casual brincar com uma GPU decente. Teoricamente, você poderia criar todos os seus dados de treinamento localmente, carregá-los no provedor de dados em nuvem de sua escolha, criar uma instância e começar a treinar/ajustar vários modelos disponíveis online.

Através de testes rigorosos deste cenário, desenvolvemos uma variedade de soluções sofisticadas LLaMa sabores utilizando o código Alpaca e pesos convertidos Huggingface. Esses sabores podem ser preparados perfeitamente em seu dispositivo, carregados convenientemente no Google Drive, baixados sem esforço na instância e ajustados habilmente. Agora, estamos trabalhando com modelos de parâmetros mais baixos para caber nos 32 GB de VRAM que tínhamos, e ainda era uma opção muito mais gerenciável do que tentar comprar uma placa comparável como uma RTX8000 para jogar no homelab.

As pequenas empresas poderiam usar essa estratégia para fornecer a um desenvolvedor ou equipe acesso à computação GPU agora, em vez de esperar por hardware ou aprovações orçamentárias significativas.

Inferência

O V100S é uma ótima GPU para inferir LLMs que cabem em sua memória. Embora os tempos de inferência sejam diferentes daqueles que você obteria com serviços como o ChatGPT, a compensação vem com a vantagem de executar seu próprio modelo privado. Como de costume, executar um serviço em nuvem com tempo de atividade 24 horas por dia, 7 dias por semana, incorrerá em custos, mas levaria meses de execução da instância aos atuais US$ 0.88 por hora para chegar perto da infraestrutura necessária para fazê-lo no local.

Reconhecimento de Imagem

Impressões práticas

No início, o portal OVHcloud US era intuitivo e a configuração era simples. Crie uma conta, adicione uma forma de pagamento, crie algumas chaves SSH, selecione a instância, pegue um Red Bull e faça SSH em sua nova caixa de GPU. Usamos o Ubuntu Server, mas outras opções estão disponíveis para versões e sabores do Linux, incluindo Fedora, Arch, Debian CenOS, AlmaLinux e Rocky.

Também existe a opção de instalar várias imagens de sistema operacional que incluem aplicativos como o Docker.

Ao experimentar o servidor GPU dos EUA da OVHcloud, descobrimos que a experiência é incrivelmente fácil de usar e ágil. A configuração da instância foi muito fácil e o acesso aos recursos da GPU foi praticamente perfeito. Seja testando modelos complexos de machine learning ou lidando com tarefas de processamento de dados em grande escala, as instâncias GPU da OVHcloud US demonstraram um desempenho notável.

Além disso, a flexibilidade no dimensionamento de recursos nos permitiu personalizar o ambiente de acordo com nossas necessidades específicas. Tudo foi projetado para facilitar um fluxo de trabalho tranquilo e eficiente, desde a interface do usuário até o hardware subjacente. O suporte para várias estruturas de IA populares, combinado com o poder das GPUs NVIDIA Tesla V100S, tornou nossos experimentos, treinamento de modelo e inferência não apenas possíveis, mas altamente eficazes.

A capacidade de aumentar os nossos recursos internos com estas soluções baseadas na nuvem confirmou a OVHcloud US como uma opção atraente tanto para iniciantes que estão a dar os primeiros passos na IA como para profissionais experientes que procuram soluções fiáveis ​​e económicas.

Executamos alguns benchmarks para testar o desempenho de alocação de CPU e a implementação do V100. O primeiro foi o benchmark Blender-CLI e depois nosso banco de CPU favorito, o y-cruncher.

A instância t2-45le, ao ser testada, apresentou resultados consistentes com suas especificações, não apresentando surpresas em suas métricas de desempenho. Com o V100 integrado, é evidente que ele pode lidar com tarefas intensivas de inferência e até mesmo oferecer suporte eficaz a operações de treinamento baseadas em nuvem, tanto em termos de desempenho quanto de despesas.

Pensamentos de Encerramento

Tal como acontece com tudo na TI empresarial, existem prós e contras; o mesmo vale para IA de treinamento em nuvem. A formação na nuvem com os servidores GPU dos EUA da OVHcloud oferece escalabilidade, rentabilidade e desenvolvimento acelerado e abre a porta à inovação e à experimentação. Hardware especializado, acessibilidade global e colaboração perfeita tornam a IA baseada em nuvem pronta para descobertas inovadoras.

Essas vantagens existem paralelamente às realidades das preocupações com segurança de dados e estabilidade da rede. Ao abordar a curva de aprendizagem potencialmente acentuada, a formação em nuvem para IA deve ser abordada com cautela, alertando as organizações para traçarem um curso estratégico que se alinhe com as suas necessidades e prioridades únicas.

Embora tenhamos abordado apenas o servidor GPU específico, a OVHcloud US dispõe de um conjunto abrangente de serviços. No geral, o suporte foi amigável e eles nos acompanharam para ver se precisávamos de ajuda após nossa inscrição inicial. O portal era intuitivo, fácil de usar e entender, e o sistema funcionou exatamente como esperado. A única desvantagem pode ser a falta de regiões, mas isso é facilmente esquecido devido ao custo e à simplicidade. A OVHcloud US recebe uma recomendação sólida e está investindo em nosso bolso como um potencial fornecedor de nuvem para projetos futuros que precisam estar fora do laboratório ou apenas um pouco de potência extra alugada para realizar um trabalho.

À medida que navegamos neste cenário dinâmico, é essencial abordar a formação em nuvem para IA com uma perspetiva equilibrada, abraçando as oportunidades e abordando os desafios de forma pragmática. A jornada rumo à excelência em IA, marcada pela engenhosidade e praticidade, é moldada pela compreensão da intrincada interação desses prós e contras e pela elaboração de estratégias que aproveitem os primeiros e mitiguem os últimos.

OVHcloud EUA

Envolva-se com a StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed