OpslagReview. com

NVIDIA levert Dynamo-recepten voor AX K2, K-EXAONE, Solar Open 2 en Motif-3 op B200, waarmee naar eigen zeggen tot 2x de prijs kan worden verhoogd.

AI  ◇  Enterprise

NVIDIA heeft tijdens AI Day Seoul Dynamo-implementatierecepten uitgebracht voor vier Koreaanse open modellen: SK Telecom's AX K2, LG AI Research's K-EXAONE 2.0, Upstage's Solar Open 2 en Motif Technologies' Motif-3. De recepten zijn geoptimaliseerd voor NVIDIA B200 GPU's en NVIDIA beweert dat ze tot wel twee keer betere prestaties leveren, zonder de basislijn, workload of serverconfiguratie te specificeren. De recepten werden gepresenteerd naast een bredere reeks aankondigingen over Korea, waaronder agentbeveiliging, soevereine infrastructuur en investeringen in startups.

Een render van NVIDIA van rijen donkere serverracks met een gloeiende groene chip en een omtrek van Zuid-Korea met de vlag op de voorgrond, ter illustratie van NVIDIA Dynamo-recepten voor Koreaanse open modellen.

Dynamo-recepten voor vier Koreaanse open modellen

Dynamo is NVIDIA's open-source framework voor gedistribueerde inferentie-servering voor implementaties met meerdere knooppunten op datacenterschaal. Het beheert de routering van verzoeken en de communicatie tussen GPU's wanneer een model zich over meerdere GPU's uitstrekt. Een recept bundelt de serverconfiguratie voor een specifiek model, zodat een team dit in productie kan nemen zonder alles opnieuw te hoeven configureren.

NVIDIA zegt dat de vier recepten bedoeld zijn om de open modellen van Korea sneller in productie te nemen en te integreren in de diensten die worden gefinancierd in het kader van het overheidsinitiatief AI for All. In het kader van dat initiatief zal NVIDIA samenwerken met drie geselecteerde consortia en vier Koreaanse stichtingen die modellen ontwikkelen om de inferentie op Dynamo te optimaliseren en op te schalen.

Agentbeveiliging

Hyundai Motor Group onderzoekt de mogelijkheden van NVIDIA NemoClaw en de NVIDIA OpenShell runtime voor AI-agents in zakelijke omgevingen. OpenShell maakt deel uit van NVIDIA's Open Agent Safety Platform en biedt een afgeschermde uitvoeringsomgeving en op beleid gebaseerde controle over gevoelige gegevens, toegang tot tools voor bedrijven en autonome acties van agenten.

Afbeelding van de NVIDIA OpenShell Reference Architecture met drie donkere panelen: een BlueField DPU-chip met pictogrammen voor beleid, vergrendeling en monitoring, een Vera Rubin NVL72-rekenmodule en een Vera CPU-chip met pictogrammen voor doorvoer, efficiëntie en beveiliging.

AIM Intelligence, een Koreaans bedrijf gespecialiseerd in AI-beveiliging, integreert zijn Starfort-agentbesturingsplatform met OpenShell. Hierbij worden de runtime-toegangscontroles van OpenShell gecombineerd met de detectie van kwaadaardige instructies en datalekken door Starfort. AIM Intelligence onderzoekt een eerste proof of concept in de publieke energiesector, met latere implementaties in het bedrijfsleven, de industrie en de robotica als mogelijke opties.

LG AI Research stelt API-toegang beschikbaar tot K-EXAONE-2.5, dat het bedrijf heeft ontwikkeld met behulp van NVIDIA Nemotron-datasets, waaronder Nemotron-Personas-Korea, een set van 7 miljoen volledig synthetische Koreaanse persona's. NVIDIA gebruikt in haar berichten twee versienummers voor het LG-model: in de API-aankondiging wordt K-EXAONE-2.5 genoemd, terwijl het Dynamo-recept is gericht op K-EXAONE 2.0.

Soevereine AI-infrastructuur en startups

NVIDIA en het Koreaanse Ministerie van Wetenschap en ICT breiden hun samenwerking uit van AI-halfgeleiders en datacenterinfrastructuur naar talent, startups, modellen, agents en beveiliging. De overeenkomst biedt Koreaanse NPU- en XPU-bedrijven de mogelijkheid om het NVLink Fusion-ecosysteem te verkennen. Het eerste concrete resultaat is het Rebellions R200-project en het SK Telecom-plan , waarbij NVIDIA GPU's worden gebruikt voor de pre-fill, Rebellions NPU's voor de decode en systemen die naar verwachting in 2028 operationeel zullen zijn. De samenwerking omvat ook NVIDIA-trainings- en certificeringsprogramma's, hackathons en technische seminars gericht op het verhogen van het GPU-gebruik.

Aan de startupkant kondigde NVIDIA een investering aan in Point2 en geplande investeringen in Motif Technologies, RLWRLD en Upstage, waarvan er twee behoren tot de vier ontwikkelaars van Dynamo-receptmodellen. Vice-minister van Wetenschap en ICT Ryu Je-myung ontmoette meer dan 20 Koreaanse startups tijdens een MSIT-NVIDIA AI Startup Partnership Forum, en NVIDIA telt meer dan 1,000 in Korea gevestigde leden in haar Inception-programma.

NVIDIA Dynamo

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-feed

Harold Frits

Ik zit in de technische industrie sinds IBM Selectric heeft gemaakt. Mijn achtergrond is echter schrijven. Dus besloot ik om uit de pre-sales biz te stappen en terug te keren naar mijn roots, een beetje te schrijven maar nog steeds betrokken te zijn bij technologie.