Recenziile noastre actuale ale sistemelor de inteligență artificială se concentrează pe servirea inferenței în laborator, cu modele open-weight din familiile Llama, Qwen, DeepSeek și gpt-oss care rulează prin vLLM sau SGLang și sunt măsurate în funcție de debitul de ieșire și latența primului token. Acoperirea se întinde de la edge până la nodul GPU complet: NVIDIA RTX PRO 4500 Server Edition a furnizat o medie de 2.7 ori mai multe token-uri de ieșire pe secundă decât L4-ul pe care a fost construit să îl înlocuiască în interiorul unui HPE ProLiant DL145 Gen11, pentru aproximativ 105W mai mult la perete; versiunile Dell, GIGABYTE și HP ale DGX Spark au rulat inferență distribuită ca clustere cu două noduri pe structura de 200 Gb; iar Supermicro JumpStart ne-a oferit timp practic cu un sistem NVIDIA HGX B200 și un sistem AMD Instinct MI350X. Stocarea este tratată în același mod, deoarece calea de date decide cât de ocupate rămân acele GPU-uri, așa că măsurăm debitul GPUDirect Storage cu GDSIO și testăm descărcarea cache-ului KV către flash pentru sarcini de lucru cu context lung și agențice.
Dacă dimensionați hardware pentru inteligență artificială, pagina Cele mai bune servere prezintă inferențele noastre actuale despre inteligență artificială și recomandările noastre avantajoase pe baza datelor din aceste recenzii, Cele mai bune SSD-uri pentru întreprinderi acoperă unitățile care alimentează GPU-urile, iar Cele mai bune matrice de stocare acoperă platformele de stocare inteligență artificială din spatele clusterelor de antrenament și neocloud-urilor.
AMD Instinct MI350P este prima nouă placă grafică PCIe Instinct de la AMD din ultimii patru ani, după MI210 lansată în 2022. Aceasta aduce arhitectura CDNA 4 a companiei pe o placă de extensie convențională, cu o performanță MXFP4 de până la 4.6 PFLOPS, 144 GB de HBM3E și o lățime de bandă a memoriei de 4 TB/s. Toate acestea încap într-un procesor cu două sloturi, de 600 W.
NVIDIA RTX PRO 4500 Blackwell Server Edition este placa de bază construită de NVIDIA pentru serverele pe care majoritatea companiilor le dețin deja. Este o placă de bază cu un singur slot, răcită pasiv, de 165 W, cu 32 GB de memorie GDDR7 și setul complet de caracteristici Blackwell: nuclee Tensor de a cincea generație cu FP4, nuclee RT de a patra generație, trei encodere și trei decodere și suport pentru GPU multi-instanță.
NVIDIA RTX PRO 4500 Blackwell Server Edition este placa de bază construită de NVIDIA în principal pentru a înlocui L4 în serverele care se află în afara centrului de date: cu un singur slot, PCIe Gen5, răcire pasivă, 165W, cu 32GB de memorie GDDR7 și setul complet de funcții Blackwell, inclusiv nuclee Tensor FP4 și GPU multi-instanță. HPE ne-a trimis o placă ProLiant DL145.
Infrastructura de inteligență artificială a întreprinderilor a trecut de la optimizarea modelelor de instruire la servirea acestora, iar acest lucru schimbă aspectele economice. Instruirea este un proiect de capital cu un punct final. Inferența este o sarcină de lucru de producție care rulează atâta timp cât serviciul este activ, cu ieșire măsurată în token-uri. Aceasta este problema tokenomică cu care se confruntă acum operatorii de inteligență artificială: odată ce...
Două lucruri apar de obicei primele ori de câte ori se vorbește despre NVIDIA DGX Spark. Primul este specificația principală: 128 GB de memorie unificată într-o cutie desktop de aproximativ 4,000 de dolari, o cifră care ar fi părut neverosimilă de pus pe biroul unui inginer chiar și acum doi ani. Al doilea este cel de 200
Când am publicat articolul nostru despre cercetarea în domeniul imagisticii planctonului de la Universitatea de Stat din Oregon, în noiembrie anul trecut, titlul era știința: infrastructură accelerată de inteligență artificială la bordul navelor de cercetare, care procesează terabytes de date oceanice aproape în timp real, înainte ca nava să ajungă în port. Dar altceva s-a întâmplat în liniște în săptămânile care au urmat. Vestea s-a răspândit în campus despre ce...
Programul JumpStart de la Supermicro s-a impus ca unul dintre cele mai utile instrumente din setul de instrumente de evaluare pre-achiziție pentru infrastructura AI. În loc de o demonstrație scriptată într-un mediu partajat, JumpStart oferă utilizatorilor calificați acces gratuit, limitat în timp, bare-metal la servere de producție reale prin SSH, IPMI și VNC, permițându-le să ruleze sarcini de lucru pe hardware real.
Am petrecut o săptămână testând un HGX B200 prin Supermicro JumpStart pentru a vedea cum accesul bare-metal de la distanță accelerează deciziile legate de platforma de inteligență artificială.
Universitatea de Stat din Oregon avansează cercetarea oceanică bazată pe inteligență artificială cu ajutorul GPU, sistemelor de calcul și NVMe dens pentru a analiza datele despre plancton în timp real pe mare.
L40S este deosebit de valoros pentru generarea de date sintetice, dezvoltarea multimodală de inteligență artificială și aplicațiile Omniverse care necesită atât performanță de calcul, cât și grafică.
Amazon