Nasze obecne przeglądy systemów AI koncentrują się na wnioskowaniu laboratoryjnym, z modelami o otwartej wadze z rodzin Llama, Qwen, DeepSeek i gpt-oss, działającymi w vLLM lub SGLang i mierzonymi pod kątem przepustowości wyjściowej i opóźnienia pierwszego tokena. Pokrycie rozciąga się od brzegu sieci do pełnego węzła GPU: karta NVIDIA RTX PRO 4500 Server Edition zapewniła medianę 2.7 razy większą liczbę tokenów wyjściowych na sekundę niż L4, którą miała zastąpić w serwerze HPE ProLiant DL145 Gen11, przy około 105 W większym zużyciu energii na wyjściu; wersje DGX Spark firmy Dell, GIGABYTE i HP uruchomiły rozproszone wnioskowanie jako dwuwęzłowe klastry w strukturze 200 Gb; a Supermicro JumpStart umożliwił nam praktyczne testy z systemami NVIDIA HGX B200 i AMD Instinct MI350X. Pamięć masowa traktowana jest w ten sam sposób, ponieważ ścieżka danych decyduje o tym, jak zajęte są poszczególne procesory GPU. Dlatego mierzymy przepustowość pamięci masowej GPUDirect za pomocą GDSIO i testujemy odciążanie pamięci podręcznej KV do pamięci flash w przypadku obciążeń długokontekstowych i agentowych.
Jeśli planujesz wielkość sprzętu pod kątem sztucznej inteligencji, strona Best Servers przedstawia nasze aktualne wnioski dotyczące sztucznej inteligencji oraz wybrane rozwiązania brzegowe na podstawie danych z tych recenzji; Best Enterprise SSDs obejmuje dyski zasilające procesory GPU, a Best Storage Arrays omawia platformy pamięci masowej dla sztucznej inteligencji, na których opierają się klastry szkoleniowe i neochmury.
NVIDIA RTX PRO 4500 Blackwell Server Edition to karta graficzna firmy NVIDIA stworzona z myślą o serwerach, które większość przedsiębiorstw już posiada. To jednoslotowa, chłodzona pasywnie karta o mocy 165 W, z 32 GB pamięci GDDR7 i pełnym zestawem funkcji Blackwell: rdzeniami Tensor piątej generacji z FP4, rdzeniami RT czwartej generacji, trzema enkoderami i trzema dekoderami oraz obsługą wielu instancji GPU.
NVIDIA RTX PRO 4500 Blackwell Server Edition to karta firmy NVIDIA stworzona głównie z myślą o zastąpieniu L4 w serwerach zlokalizowanych poza centrum danych: jednoslotowa, PCIe Gen5, chłodzona pasywnie, o mocy 165 W, z 32 GB pamięci GDDR7 i pełnym zestawem funkcji Blackwell, w tym rdzeniami Tensor FP4 i wieloinstancyjnym procesorem graficznym. Firma HPE przesłała nam serwer ProLiant DL145.
Infrastruktura sztucznej inteligencji (AI) w przedsiębiorstwach przeniosła się z optymalizacji modeli szkoleniowych na ich obsługę, co zmienia ekonomię. Szkolenie to projekt inwestycyjny z punktem końcowym. Wnioskowanie to obciążenie produkcyjne, które działa tak długo, jak usługa jest aktywna, a dane wyjściowe są mierzone w tokenach. To jest problem tokenomiki, z którym borykają się obecnie operatorzy AI: gdy
Dwie rzeczy zazwyczaj pojawiają się jako pierwsze, gdy mowa o NVIDIA DGX Spark. Pierwsza to specyfikacja: 128 GB zunifikowanej pamięci w obudowie desktopowej za około 4,000 dolarów – liczba, która wydawałaby się nieprawdopodobna do postawienia na biurku inżyniera jeszcze dwa lata temu. Druga to 200 GB pamięci RAM.
Kiedy w listopadzie ubiegłego roku opublikowaliśmy artykuł o badaniach nad obrazowaniem planktonu na Oregon State University, nagłówek brzmiał naukowo: infrastruktura przyspieszona przez sztuczną inteligencję na pokładach statków badawczych, przetwarzająca terabajty danych oceanicznych w czasie niemal rzeczywistym, zanim statek w ogóle dopłynął do portu. Ale w kolejnych tygodniach po cichu wydarzyło się coś jeszcze. Wieść rozeszła się po kampusie o tym, co…
Program JumpStart firmy Supermicro ugruntował swoją pozycję jako jedno z bardziej użytecznych narzędzi w zestawie narzędzi do ewaluacji przed zakupem infrastruktury AI. Zamiast skryptowanej demonstracji w środowisku współdzielonym, JumpStart oferuje kwalifikującym się użytkownikom bezpłatny, ograniczony czasowo dostęp do fizycznych serwerów produkcyjnych za pośrednictwem SSH, IPMI i VNC, umożliwiając im uruchamianie obciążeń na rzeczywistym sprzęcie.
Przez tydzień testowaliśmy HGX B200 za pośrednictwem Supermicro JumpStart, aby sprawdzić, w jaki sposób zdalny dostęp do zasobów fizycznych przyspiesza podejmowanie decyzji dotyczących platformy AI.
Oregon State rozwija badania nad sztuczną inteligencją w dziedzinie oceanów, wykorzystując procesory graficzne, procesory obliczeniowe i gęste NVMe do analizy danych dotyczących planktonu w czasie rzeczywistym na morzu.
Urządzenie L40S jest szczególnie przydatne w przypadku generowania danych syntetycznych, opracowywania multimodalnych rozwiązań sztucznej inteligencji oraz zastosowań Omniverse wymagających zarówno wydajności obliczeniowej, jak i graficznej.
Pliops XDP LightningAI przyspiesza wnioskowanie LLM poprzez odciążenie pamięci podręcznej KV, umożliwiając szybszą, skalowalną sztuczną inteligencję dzięki integracji z NVIDIA Dynamo.
Amazon