NVIDIA hat auf dem AI Day Seoul Dynamo-Bereitstellungsrezepte für vier koreanische Open-Source-Modelle veröffentlicht: SK Telecoms AX K2, LG AI Researchs K-EXAONE 2.0, Upstages Solar Open 2 und Motif Technologies' Motif-3. Die Rezepte sind auf NVIDIA B200-GPUs optimiert und bieten laut NVIDIA eine bis zu doppelt so hohe Leistung direkt nach der Installation. Die zugrundeliegende Basiskonfiguration, die Workload oder die Serverkonfiguration wurden jedoch nicht genannt. Die Bereitstellungsrezepte wurden zusammen mit weiteren Ankündigungen aus Korea veröffentlicht, die Agentensicherheit, staatliche Infrastruktur und Investitionen in Startups betrafen.
Dynamo-Rezepte für vier koreanische Open-Modelle
Dynamo ist NVIDIAs Open-Source-Framework für verteilte Inferenzverarbeitung in Rechenzentren mit mehreren Knoten. Es übernimmt das Routing von Anfragen und die Kommunikation zwischen GPUs, wenn ein Modell mehrere GPUs umfasst. Ein Rezept bündelt die Konfiguration für ein bestimmtes Modell, sodass ein Team es ohne manuelle Anpassungen in der Produktion einsetzen kann.
NVIDIA zufolge sollen die vier neuen Ansätze die Entwicklung offener koreanischer KI-Modelle beschleunigen und deren Integration in die im Rahmen der Regierungsinitiative „KI für alle“ geförderten Dienste ermöglichen. Im Rahmen dieser Initiative arbeitet NVIDIA mit drei ausgewählten Konsortien und vier koreanischen Stiftungen zusammen, die KI-Modelle entwickeln, um die Inferenz auf Dynamo zu optimieren und zu skalieren.
Agentensicherheit
Die Hyundai Motor Group prüft die NVIDIA NemoClaw-Architektur und die NVIDIA OpenShell- Laufzeitumgebung für KI-Agenten in Unternehmen. OpenShell ist Teil der NVIDIA Open Agent Safety Platform und bietet eine geschützte Ausführung sowie richtlinienbasierte Kontrollen für sensible Daten, den Zugriff auf Unternehmenswerkzeuge und die Aktionen autonomer Agenten.
AIM Intelligence, ein koreanisches KI-Sicherheitsunternehmen, integriert seine Agentenkontrollplattform Starfort mit OpenShell. Dadurch werden die Laufzeitzugriffskontrollen von OpenShell mit der Erkennung schädlicher Anweisungen und Datenlecks durch Starfort kombiniert. AIM Intelligence plant einen ersten Machbarkeitsnachweis im öffentlichen Energiesektor; der Einsatz in Unternehmen, der Industrie und im Robotikbereich ist später denkbar.
LG AI Research stellt die API für K-EXAONE-2.5 zur Verfügung, das mithilfe von NVIDIA Nemotron-Datensätzen entwickelt wurde, darunter Nemotron-Personas-Korea, ein Set mit 7 Millionen vollständig synthetischen koreanischen Personas. NVIDIA verwendet in seinen Veröffentlichungen zwei Versionsnummern für das LG-Modell: Die API-Ankündigung nennt K-EXAONE-2.5, während das Dynamo-Rezept auf K-EXAONE 2.0 abzielt.
Souveräne KI-Infrastruktur und Startups
NVIDIA und das koreanische Ministerium für Wissenschaft und IKT weiten ihre Zusammenarbeit von KI-Halbleitern und Rechenzentrumsinfrastruktur auf Talente, Startups, Modelle, Agenten und Sicherheit aus. Die Vereinbarung ermöglicht koreanischen NPU- und XPU-Unternehmen die Erschließung des NVLink-Fusion-Ökosystems. Erstes konkretes Ergebnis ist der Plan von Rebellions R200 und SK Telecom , der NVIDIA-GPUs für die Vorbelegung und Rebellions-NPUs für die Dekodierung nutzt. Die Systeme sollen 2028 einsatzbereit sein. Die Zusammenarbeit umfasst außerdem NVIDIA-Schulungs- und Zertifizierungsprogramme, Hackathons und technische Seminare zur Steigerung der GPU-Auslastung.
Im Startup-Bereich kündigte NVIDIA eine Investition in Point2 an und plant weitere Investitionen in Motif Technologies, RLWRLD und Upstage. Zwei dieser Unternehmen gehören zu den vier Dynamo-Rezeptmodellentwicklern. Der stellvertretende Minister für Wissenschaft und IKT, Ryu Je-myung, traf sich mit über 20 koreanischen Startups auf einem MSIT-NVIDIA-KI-Startup-Partnerschaftsforum. NVIDIA zählt über 1,000 in Korea ansässige Mitglieder in seinem Inception-Programm.
Amazon