10月5日にリリースされたAMD ROCm 10.1は、ストレージとGPU間の経路に重点を置いています。チェックポイントファイル、キーバリューキャッシュ、モデル重みは、アクセラレータメモリの容量を日常的に超えるようになり、そうなると、データの移動にかかる時間が、計算処理よりも反復処理時間を左右するようになります。このリリースでは、ROCm 7.14で導入されたダイレクトストレージスタックであるAMD Infinity Storageを拡張し、ストレージアクセスをHIPランタイムに組み込み、NUMA対応のホストメモリを追加することで、データがCPUメモリを経由せずにGPUに直接アクセスできるようにしています。
ダイレクトGPUストレージパイプラインとNUMA対応メモリ
AMD Infinity Storage 内の hipFILE ライブラリに、非同期高速パス バックエンドが追加されました。読み取りおよび書き込み要求は HIP ストリーム上で直接実行され、従来のパスで必要となるホスト メモリのステージング ステップがスキップされます。AMD によると、これによりチェックポイント エンジンと KV キャッシュ オフロードのレイテンシが低減され、持続的な帯域幅が維持されるとのことです。リリース ノートでは、hipFileReadAsync() と hipFileWriteAsync() という呼び出しが高速パスをサポートするようになったと説明されています。
バッチI/O APIは、複数のファイル要求を一度に送信し、それらを内部のワーカー スレッド プールに分散します。これにより、トレーニング ジョブが大規模なデータセットを取得している場合でも、ストレージ キューが常に満杯の状態を維持します。テレメトリもそれに合わせて拡張されます。hipFileGetStatsL1、L2、L3 は、段階的に詳細なI/O統計情報を返し、これらのカウンタはROCmプロファイラにフィードされるため、オペレーターはパイプラインが計算能力、メモリ、またはデータ配信のいずれによって制限されているかを判断できます。
2ソケットホストでは、誤ったソケットに割り当てられたバッファは、転送のたびにソケット間ペナルティが発生します。ROCm 10.1では、hipMemLocationTypeHostNumaとhipMemLocationTypeHostNumaCurrentを追加することでHIP仮想メモリ管理APIを拡張し、ホストメモリを完全な作成、予約、マッピング、およびティアダウンのライフサイクルを通じて特定のNUMAノードに配置できるようにしました。RCCLなどのライブラリは、その上にNUMAローカルのゼロコピー通信バッファを構築し、ホストとデバイス間のトラフィックをソケットインターコネクトから切り離すことができます。
ROCm CLI v1.0.0 および AI エージェントワークフロー
ROCm CLIは、Linux、Windows、WSL2に対応した単一バイナリとしてバージョン1.0.0に到達しました。このバイナリは、AMD GPU上でローカルAIワークロードをインストール、構成、実行します。vLLMに必要なflash-attnおよびamd-aiterホイールを検出し、更新されたROCm 10パッケージレイアウトをサポートし、スクリプト環境またはCI環境での完全非対話型インストール用のフラグを追加しました。フルスクリーンTUIダッシュボードには、モデルサービングの横にリアルタイムのGPUテレメトリが表示され、エンドポイントが応答しているかどうかを確認するためのローカルチャットウィンドウも備えています。
Claude CodeやCodexなどのコーディングエージェント向けのパッケージ化された統合機能であるAMD Skillsには、さらに2つの機能が追加されました。quark-installは、対応するPyTorchビルドでAMD Quarkをセットアップし、quark-torch-llm-ptqは、FP8やINT4などのスキームを使用して、PyTorchおよびHugging Face LLMでトレーニング後の量子化を実行します。
プロファイリングとテレメトリの近代化
ROCprofiler-SDK にカーネル リプレイ機能がベータ版として追加されました。GPU ハードウェアはディスパッチごとに限られた数のパフォーマンス カウンターを公開するため、完全なカウンター セットを収集するには、カウンター グループごとにアプリケーション全体を 1 回再実行する必要がありました。カーネル リプレイは、各ディスパッチをその場で再実行し、パス間で GPU メモリをリセットして、完全なセットを 1 回の実行で収集します。また、この SDK では、PyTorch Kineto および Triton Proton の実行中の任意の時点でプロファイリングを開始および停止できるほか、rocprofv3 PC サンプリングを使用して計算の停止箇所を見つけるための PC サンプリング エージェント スキルが同梱されています。
ROCm Compute Profiler のルーフライン レポートがインタラクティブな HTML ページになったため、エンジニアは単一のカーネルを分離し、キャッシュ レベル間で算術強度軸を切り替えることができます。PC サンプリング レポートはカーネルごとに、個々の命令のサンプル数とストール数まで表示され、新しいガイドでは vLLM のプロファイリングについて説明しています。ROCm Systems Profiler には Gorgon Point 1、2、および 3 APU (gfx1150、gfx1152、および gfx1153) の Linux トレースが追加され、ROCm Optiq では rocprofv3 プロファイルが Systems Profiler トレースおよび Compute Profiler 分析と並べて表示されるようになりました。
AMD SMI (amd-smi) は、今回のリリースで標準ビルドから削除された ROCm SMI の後継です。Linux および Windows 上の AMD GPU、CPU、APU を、ベアメタル環境と仮想化環境の両方でサポートし、CLI、C ライブラリ (amd_smi_lib)、Python、Go、Rust バインディングを備えています。コンテナ認識機能は containerd、CRI-O、Podman、LXC、LXD に拡張され、Kubernetes ポッドもサポートされるため、クラスタ管理者は GPU プロセスと使用率を、それらを実行しているコンテナに紐付けることができます。
コアコンパイラのアップデート、ライブラリ、およびランタイムサポート
ツールチェーンがLLVM 23からLLVM 24に移行し、clang_majorマクロも24を報告するようになりました。コンパイラバージョンを固定しているユーザーやlibLLVMにリンクしているユーザーは、アップグレード前にこの値を確認する必要があります。デバイスコードのリンク時最適化によって作成されるパーティションをキャッシュすることで、増分ビルドが高速化され、変更されていないパーティションは次のビルドで再利用されます。
Composable Kernel は Radeon GPU のアテンション処理を高速化し、ディスパッチャに量子化された行列乗算型を追加します。MIGraphX はバックエンドコンパイラを rocMLIR から rocMLIRTriton に切り替えます。AMD によると、これにより推論パフォーマンスが向上し、多くの場合モデルのコンパイル時間が短縮され、コンパイラは上流の Triton と同期を保つことができます。rocSPARSE は、変換ステップなしで ELLPACK (ELL) 形式で保存された行列に対して直接三角行列ソルバーを実行します。
ROCm Core SDKのスレッドライブラリに新たに加わったhipThreadsは、標準的なC++のスレッド処理の概念をLinuxおよびWindows上のAMD GPUにもたらします。その目的は、既存のCPUスレッド処理コードをHIPカーネルや同期プリミティブに完全に書き換えることなく、GPU上で高速化することです。
Windows Subsystem for Linux 2 がテクニカル プレビュー版となり、標準の Linux パッケージがゲストにインストールされ、GPU 準仮想化処理は Windows ホスト ドライバに委ねられるようになりました。プレビュー版では .deb パッケージと Python ホイールが対象ですが、RPM パッケージは対象外です。また、プロファイリング、デバッグ、KFD 依存ツールは WSL2 内ではまだ動作しません。仮想化に関しては、KVM SR-IOV がホストとゲストの両方で Ubuntu 26.04 LTS でサポートされ、AMD の GIM 仮想化ドライバ バージョン 9.3.0.K と組み合わされています。
サポート対象ハードウェアリストには、Instinct MI355X、MI350X、MI350P、MI300およびMI200シリーズ、Radeon AI PRO R9700ファミリーの残りの製品、およびRyzen AIプロセッサに加え、Radeon AI PRO R9600が追加されました。
Amazon