Nuestras revisiones actuales de sistemas de IA se centran en la inferencia en el laboratorio, con modelos de peso abierto de las familias Llama, Qwen, DeepSeek y gpt-oss que se ejecutan a través de vLLM o SGLang y se miden en función del rendimiento de salida y la latencia del primer token. La cobertura abarca desde el borde hasta el nodo GPU completo: la NVIDIA RTX PRO 4500 Server Edition ofreció una mediana de 2.7 veces los tokens de salida por segundo de la L4 que fue diseñada para reemplazar dentro de un HPE ProLiant DL145 Gen11, con un consumo de aproximadamente 105 W más; las versiones de Dell, GIGABYTE y HP de DGX Spark ejecutaron inferencia distribuida como clústeres de dos nodos sobre la estructura de 200 Gb; y Supermicro JumpStart nos permitió probar de primera mano un sistema NVIDIA HGX B200 y un sistema AMD Instinct MI350X. El almacenamiento recibe el mismo tratamiento porque la ruta de datos determina la carga de trabajo de las GPU, por lo que medimos el rendimiento del almacenamiento GPUDirect con GDSIO y probamos la descarga de caché KV a la memoria flash para cargas de trabajo de contexto largo y con agentes.
Si está dimensionando el hardware para IA, la página Mejores servidores enumera nuestras selecciones actuales de inferencia de IA y computación perimetral basadas en los datos de estas reseñas, Mejores SSD empresariales cubre las unidades que alimentan las GPU y Mejores matrices de almacenamiento cubre las plataformas de almacenamiento de IA detrás de los clústeres de entrenamiento y las neonubes.
La NVIDIA RTX PRO 4500 Blackwell Server Edition es la tarjeta que NVIDIA diseñó para los servidores que la mayoría de las empresas ya poseen. Es una tarjeta de una sola ranura, con refrigeración pasiva, de 165 W, 32 GB de GDDR7 y todas las características de Blackwell: núcleos Tensor de quinta generación con FP4, núcleos RT de cuarta generación, tres codificadores y tres decodificadores, y compatibilidad con GPU de instancia múltiple.
La NVIDIA RTX PRO 4500 Blackwell Server Edition es la tarjeta que NVIDIA diseñó principalmente para reemplazar la L4 en servidores que se encuentran fuera del centro de datos: ranura única, PCIe Gen5, refrigeración pasiva, 165 W, con 32 GB de GDDR7 y el conjunto completo de características Blackwell, incluidos los núcleos Tensor FP4 y la GPU Multi-Instance. HPE nos envió un ProLiant DL145
La infraestructura de IA empresarial ha pasado de optimizar los modelos de entrenamiento a servirlos, y eso cambia la economía. El entrenamiento es un proyecto de capital con un punto final. La inferencia es una carga de trabajo de producción que se ejecuta mientras el servicio esté activo, con una salida medida en tokens. Este es el problema de la tokenómica al que se enfrentan ahora los operadores de IA: una vez que la
Dos cosas suelen surgir primero cuando la conversación gira en torno a la NVIDIA DGX Spark. La primera es la especificación principal: 128 GB de memoria unificada en una caja de escritorio de aproximadamente 4,000 dólares, una cifra que habría parecido improbable poner en el escritorio de un ingeniero incluso hace dos años. La segunda es la de 200
Cuando publicamos nuestro artículo sobre la investigación de imágenes de plancton de la Universidad Estatal de Oregón el pasado noviembre, el titular era la ciencia: infraestructura acelerada por IA a bordo de buques de investigación, procesando terabytes de datos oceánicos en tiempo casi real antes de que el barco llegara a puerto. Pero algo más sucedió silenciosamente en las semanas siguientes. Se corrió la voz por todo el campus sobre lo que
El programa JumpStart de Supermicro se ha consolidado como una de las herramientas más útiles para la evaluación previa a la compra de infraestructura de IA. En lugar de una demostración programada en un entorno compartido, JumpStart ofrece a los usuarios cualificados acceso gratuito y limitado en el tiempo a servidores de producción reales mediante SSH, IPMI y VNC, lo que les permite ejecutar cargas de trabajo en hardware real.
Pasamos una semana probando un HGX B200 a través de Supermicro JumpStart para ver cómo el acceso remoto al hardware acelera las decisiones de la plataforma de IA.
La Universidad Estatal de Oregón está impulsando la investigación oceanográfica con IA utilizando GPU, capacidad de cómputo y almacenamiento NVMe de alta densidad para analizar datos de plancton en tiempo real en el mar.
El L40S es especialmente valioso para la generación de datos sintéticos, el desarrollo de IA multimodal y las aplicaciones Omniverse que requieren rendimiento informático y gráfico.
Pliops XDP LightningAI mejora la inferencia LLM al descargar el caché KV, lo que permite una IA más rápida y escalable con la integración de NVIDIA Dynamo.
Amazon