StorageReview.com

Dell PowerEdge R7725レビュー:AIコンピューティングとNVMeストレージの万能ツール

Enterprise  ◇  サーバー

Dell PowerEdge R7725は、Dellの最新世代PowerEdgeサーバーの一つです。R7725は、最も高密度で高性能なマシンの一つであり、卓越した処理密度と高速化機能を必要とするあらゆるエンタープライズワークロードに合わせて構成可能です。この2Uラックサーバーは、AMDの最新第5世代EPYC 9005プロセッサーを搭載し、計算負荷の高いワークロードやデータ量の多いワークロードを容易に処理します。R7725は、AI/ML、ハイパフォーマンスコンピューティング、仮想化において優れた性能を発揮し、要求の厳しい環境に最適です。

デル PowerEdge R7725

DellはR7725をAIおよび機械学習ワークロード向けプラットフォームとして位置付け、PCIe拡張とアクセラレーション専用に設計されたハードウェアでこれをサポートします。このシステムは、最大450基の5Wダブル幅GPUまたは6基のシングル幅アクセラレータを搭載し、高負荷のコンピューティングタスクに柔軟に対応します。PCIe Gen5接続、高密度NVMeストレージオプション、最大7725TBのDDRXNUMXメモリを備えたRXNUMXは、現代のAIおよびHPC環境のニーズを満たすように特別に設計されています。

Dell PowerEdge R7725の仕様

PowerEdge R7725の演算コアは、AMDのEPYC 9005プロセッサーシリーズを中核としており、Zen 5アーキテクチャによるマイクロアーキテクチャの大幅な進化を体現しています。これらのプロセッサーは、ソケットあたり最大192個のコアを搭載し、最大熱設計電力は500Wで、エンタープライズワークロードにおいてかつてない並列処理能力を実現します。

製品仕様 デル PowerEdge R7725
プロセッサ プロセッサあたり最大5コアの第9005世代AMD EPYC 192シリーズプロセッサXNUMX基
メモリ 24個のDDR5 DIMMスロット、最大6TBのRDIMMをサポート、最大速度6400 MT/s
登録済みのECCDDR5DIMMのみをサポート
ストレージコントローラ
  • 内部: PERC H365i、H965i、H975i
  • ブーツ: BOSS-N1 DC-MHS
  • 外部: HBA465e
ドライブベイ
  • 12 x 3.5インチSAS/SATA
  • 8/16/24 x 2.5インチSAS/SATA
  • 16 x 2.5 インチ SAS/SATA + 8 x U.2
  • 最大 40 x EDSFF E3.S
直流安定化電源 プラチナ(800W、1100W)、チタン(最大3200W)、Telco 1400W -48VDC
冷却オプション 空冷、直接液冷(DLC)
扇 最大6個のホットプラグファン
寸法 高さ86.8mm x 幅482mm x 奥行き802.4mm(ベゼルを含む)
フォームファクター 2Uラックサーバー
組込み管理 iDRAC 10、ダイレクト、RESTful API、Redfish、Racadm CLI、クイック同期 2
OpenManageコンソール OME スイート、AIOps、vCenter、System Center、WAC
セキュリティ SEV、SME、TPM 2.0、セキュアブート、SED、ルートオブトラスト、ロックダウン
GPUオプション 最大2 x 450W DWまたは6 x 75W SW
ポート 前面: USB-A/C、mDP
背面: VGA、USB-A、BMC ETH
内部: USB 3.1
PCIeスロット 最大 8 個の Gen5 (x8/x16)、OCP 3.0 スロットを含む
OCPネットワーク 1GbE~400GbE、最大2倍のGen5 OCP 3.0
NIC(アドイン) 100/400GbE、NDR VPI、FC 32/64
OSとハイパーバイザー Ubuntu、RHEL、SUSE、Windows Server、VMware ESXi

PowerEdge R7725のアーキテクチャとプラットフォームの強化

PowerEdge R7725は、単なるリフレッシュにとどまらない、プラットフォームレベルの進化を複数導入しています。AMD EPYC 9005シリーズプロセッサーを192基搭載し、ソケットあたり最大5個のZen 500コアとCPUあたり最大6WのTDPを実現します。さらに、5個のDIMMスロットに最大24TBのDDRXNUMXメモリを搭載し、最新のHPCワークロードに対応するのに必要なメモリ帯域幅を提供します。

プラットフォームの重要な機能強化の一つは、Compute Express Link(CXL)2.0のサポートです。これにより、新しいクラスのメモリ拡張とキャッシュコヒーレントデバイスが可能になります。AMD EPYC 9005 CPUは2.0種類のCXL 2.0デバイスすべてをサポートしていますが、DellはR7725におけるCXL 3のサポートをType XNUMX(メモリ拡張)デバイスに限定しています。この対策により、検証が効率化され、エンタープライズ環境におけるシステムの信頼性が向上します。

R7725は、OCP DC-MHS(Open Compute Project Data Center – Modular Hardware System)に完全準拠しています。これは、プラットフォーム間で一貫した機械設計を採用し、標準化されたコネクタ配置とフォームファクタにより、統合と検証を簡素化することを意味します。これらの機能により、ハードウェアの統合とシステム検証が効率化され、大規模なインフラストラクチャの導入と保守が容易になります。

これらのアップデートにより、PowerEdge R7725は単なるデュアルソケットのパワフルなマシンではなく、次世代のワークロードに必要なモジュール性、スピード、柔軟性をサポートするように設計されたプラットフォームとなっています。

Dell PowerEdge R7725 の設計と構築

PowerEdge R7725は、保守性、エアフロー、そして堅牢な構造に重点を置いた、デルの一貫した設計アプローチを採用しています。シャーシは工具不要でアクセスできる設計で、ダウンタイムや専用工具を必要とせず、日常的なメンテナンスやコンポーネント交換を効率的に行うことができます。オプションでロック可能なフロントベゼルも用意されており、物理的なセキュリティと、よりすっきりとした統一感のある外観を両立しています。フロントベイや内部コンポーネントに素早くアクセスする必要がある場合は、簡単に取り外すことができます。機能面では、全体的なレイアウトとシャーシデザインは、デルの第17世代サーバラインナップの他のサーバとほぼ同等です。

ベゼルを取り外すと、フロントレイアウトへのアクセスと管理が容易になります。右側面には、システム電源ボタン、アウトオブバンド管理を容易にするUSB​​-C iDRACポート、iDRACステータスインジケーターボタンを含むメインコントロールクラスターがあります。

Dell PowerEdge R7725 フロントベイストレージ構成オプション

Dell PowerEdge R7725は、従来モデルと比較して構成の自由度が大幅に向上しており、あらゆる要件に対応できる豊富なフロントベイオプションが用意されています。最小限の構成やコンピューティング負荷の高い構成では、従来の2.5インチブートドライブやシンプルなU.2 NVMe構成を選択できます。さらに、最大24個の2.5インチSAS/SATAベイや、16個の2.5インチSAS/SATAベイと8個のU.2 NVMeドライブを組み合わせたハイブリッド構成など、より汎用性の高い構成にアップグレードすることも可能です。これらのハイブリッド構成は、階層型ストレージやキャッシュレイヤリングが必要な環境に特に適しています。

このプラットフォームは、従来の大容量ユースケースに対応する12基の3.5インチSAS/SATAベイもサポートしており、回転式ディスクや大容量SATA SSDとの互換性を提供します。よりパフォーマンス重視のビルド向けに、R7725は高密度EDSFF構成をサポートし、最大40基のE3.S Gen5 NVMeベイを利用できます。

Dell R7725 メディアサポート

PowerEdge R7725システムは、EDSFF E40.S NVMeドライブ3台を搭載し、PCIe Gen5のx2レーン接続を採用しています。エンタープライズシステムではGen5のx4構成が一般的ですが、当社のアプローチは帯域幅とレーン使用率の両方を最適化します。Gen5ではレーンあたりのスループットが向上しているため、x2接続でも高いパフォーマンスを維持しながら、アクセラレータや追加I/Oなどの重要なコンポーネントのためにPCIeレーンを解放できます。

ドライブは完全にホットスワップ対応で、システムをシャットダウンすることなく、インプレース交換や容量拡張が可能です。この設計により保守性が向上し、実稼働環境における動的な拡張をサポートします。ドライブバンク間の専用通気口がエアフローを調整し、ドライブ密度やパフォーマンスを損なうことなく、システムが熱負荷を効果的に管理できるようにします。

Dell の新しい E3S ドライブ バックプレーン構成は、非常に気に入っています。この構成では、非常に高密度な 40 ドライブ構成でも、ドライブへの空気の流れがさらに良くなり、背面のアドイン PCIe カードを十分に冷却するのに十分なパススルー空気が得られます。

PCIe拡張

PCIe拡張サポートは7725つのライザースロットに分散されており、フルハイトPCIeアドインカードとOCP NICの組み合わせに対応しています。Dell PowerEdge R2は複数のPCIeライザー構成をサポートし、企業は幅広いパフォーマンスと導入ニーズに合わせて拡張オプションを柔軟にカスタマイズできます。下図に示す構成では、x16フルハイト、デュアル幅、Gen5スロットが450基搭載され、6000つ目のOCP NICがサポートされています。このサーバーは、XNUMXW NVIDIA RTX PRO XNUMX Blackwell GPUをデュアルで搭載しています。

この構成は、シャーシに過負荷をかけることなく、高速ネットワークや低負荷のアクセラレータワークロードを必要とする標準的なユースケースに最適です。より高いPCIe密度が求められるシステムでは、R7725に4基のx16フルハイトGen5スロットとXNUMX基目のOCP NICを搭載できます。この構成は、複数のアドインカードを必要とするシステムに最適です。

R7725のトップカバーを取り外すと、PowerEdgeシリーズに期待される、Dellらしい整然としたエアフロー最適化された内部設計が現れます。まず目を引くのは、広範囲に広がるエアフローガイド(ボード中央部分を覆う黒いプラスチック製のシュラウド)です。これらはCPUソケット、メモリDIMM、拡張カードに効率的に空気を導き、負荷時の熱安定性を高めます。PCIeライザーは背面に配置され、識別しやすいようにラベルが貼られています。Dellはシャーシ全体にお馴染みの青いタブとクリップを採用しており、工具不要のメンテナンスとコンポーネントへのアクセスを容易にしています。

液冷導入向けの構成もご用意しています。2基のx16フルハイトGen5スロットとXNUMX基目のOCP NICはそのままに、直接液冷(DLC)システムとの互換性が検証されています。これにより、DLCに最適化されたシャーシ内で高電力コンポーネントを配置するための十分なスペース、熱対策、そしてエアフローを確保できます。

Dell BOSSと管理モジュール

Dellの新しい第17世代サーバー製品ラインの重要な特徴は、DC-MHSに完全準拠していることです。これには、サーバー背面下部のDC-SCM(セキュア・コントロール・モジュール)に配置されたI/Oも含まれます。SCMには、3.1つのUSB XNUMXポート、ローカルディスプレイアクセス用のVGAポート、そしてiDRAC経由のアウトオブバンド管理用の専用BMC Ethernetポートが搭載されています。

Dellのモジュラーブートインフラストラクチャを利用する場合、BOSS-N1 DC-MHSスロットにRAID対応のM.2ベースOSドライブを搭載できます。これらのドライブはホットスワップ構成で提供され、優れた放熱性を実現するヒートシンクを内蔵した優れた設計のスレッドを備えています。また、内部アクセス専用のBOSSカードもご注文いただけます。

出力

電源面では、サーバ背面の両側にホットスワップ対応のデュアル電源ベイを備えています。R7725は、800W、1100W、1500W、3200Wの容量を備えたホットプラグ対応モジュラーユニットを含む、幅広い電源オプションを提供します。TitaniumおよびPlatinumの効率定格に対応しています。サポートされる構成は、完全冗長(1+1)、非冗長(2+0)、およびシングルPSU(1+0)モードです。200~240V AC環境では、高ライン3200W Titanium PSUが利用可能で、1400W -48VDC電源もサポートされています。

デル iDRAC10

iDRAC (Integrated Dell Remote Access Controller) は、Dell の組み込みアウトオブバンド管理ソリューションで、サーバーへの物理的なアクセスを必要とせずに、リモート監視、ファームウェアの更新、トラブルシューティングを可能にします。Dell PowerEdge R7725 は、機能豊富な iDRAC 9 をベースに、次世代の iDRAC 10 を搭載しています。最新の iDRAC 10 を搭載した PowerEdge R7725 は、セキュリティ、制御、ユーザビリティの向上を目的とした複数のアップデートの恩恵を受け、DC-SCM を介してシームレスに統合されます。iDRAC 10 は高度な自動化および監視機能もサポートしており、IT 管理者がパフォーマンスや信頼性を損なうことなく、大規模な展開を効率的に管理できるようにします。この自動化により、企業はこれらのサーバーを AI ファクトリーに展開し、数分以内にラックに設置、完全に構成して運用を開始できます。

セキュリティはDellの管理機能の根幹を成す要素であり、堅牢なプリブートおよびブート検証メカニズムが実装されています。シリコンベースのRoot of Trustテクノロジーを採用したiDRAC 10は、BIOSやiDRACを含むすべてのファームウェアが実行前に暗号化検証されることを保証します。この不変のハードウェアベースのセキュリティ対策は、マルウェアによる改ざんやサプライチェーン攻撃から保護し、システム運用の安全な基盤を提供します。さらに、R7725は量子耐性ブートプロトコルを組み込むことで、新たな暗号化の脅威を軽減し、重要インフラの保護における役割をさらに強化しています。

Dellのサプライチェーンセキュリティへの取り組みは、包括的な信頼チェーン認証プロセスを採用したR7725の設計に表れています。各ハードウェアコンポーネントは、製造工程で埋め込まれた暗号署名による徹底的な検証を受けます。これにより、承認されたファームウェアとコンポーネントのみが使用されることが保証され、不正な改造や偽造部品のリスクが低減されます。

Dell PowerEdge R7725 のパフォーマンス

Dell PowerEdge R7725 の性能を評価するため、以前に検証した 2 つのサーバー、シングルソケットのPowerEdge R7715とデュアルソケットの Intel ベースのPowerEdge R770 との比較評価を実施しました。前述のとおり、R7725 はデュアル AMD EPYC 9965 プロセッサを搭載し、合計 384 コアを備えています。R7715 はシングル AMD EPYC 9955P プロセッサを搭載し、96 コアを備えています。一方、R770 はデュアル Intel Xeon 6787P プロセッサを搭載し、合計 172 コアを備えています。

テストシステムの仕様

  • プラットフォーム: デル PowerEdge R7725
  • CPU: デュアルAMD EPYC 9965 192C
  • メモリ: 24x 64GB 6400 MT 合計: 1.5 TB
  • ストレージ: ボスRAID1

yクランチャー

y-cruncherは、円周率をはじめとする数学定数を数兆桁まで計算できる、マルチスレッド対応のスケーラブルなプログラムです。2009年のリリース以来、オーバークロッカーやハードウェア愛好家の間で人気のベンチマークおよびストレステストアプリケーションとなっています。

徐々に大きな桁数の計算にかかる計算時間を測定するy-cruncherベンチマークにおいて、デュアルAMD EPYC 7725プロセッサーを搭載したDell PowerEdge R9965は、ワークロードのスケールに応じてその強さを発揮しました。1億桁や2.5億桁といった最小のテストサイズでは、R7725はIntelベースのR770に遅れをとりましたが、RXNUMXはこれらのテストをより高速に完了しました。しかし、複雑さが増すにつれて、優位性は変化しました。

5億桁と10億桁の段階では、R7725はR770とほぼ互角の性能を発揮し、その差を縮めました。ワークロードが25億桁を超えると、7725は明確なリードを確立し、100億桁の計算を481秒で完了しました。一方、R569は770秒でした。

この進化は、R7725のデュアル192コアアーキテクチャが、大規模な計算集約型処理に最適化され、需要の増加に応じてより効率的にスケーリングできることを浮き彫りにしています。R770は短期的な実行に優れていますが、7725はワークロードが集中した際に最高のパフォーマンスを発揮するため、持続的な並列処理が不可欠な科学技術計算や高性能コンピューティング環境に最適です。

y-cruncher の合計計算時間 (低いほど良い) Dell PowerEdge R7725 (デュアル AMD EPYC 9965 192C) Dell PowerEdge R7715 (シングル AMD EPYC 9955P 96C) Dell PowerEdge R770 (デュアル Intel Xeon 6787P 86C)
1億 7.879 seconds 5.007 seconds 3.233 seconds
2.5億 13.811 seconds 11.035 seconds 8.678 seconds
5億 22.107 seconds 22.422 seconds 19.012 seconds
10億 40.111 seconds 47.827 seconds 40.958 seconds
25億 98.445 seconds 136.606 seconds 114.587 seconds
50億 211.567 seconds 304.780 seconds 254.755 seconds
100億 481.207 seconds 688.888 seconds 569.849 seconds

ブレンダー4.0

Blender 4.0はオープ​​ンソースの3Dモデリングアプリケーションです。このベンチマークは、Blender Benchmark CLIユーティリティを使用して実行されました。スコアはXNUMX分あたりのサンプル数で測定され、値が高いほどパフォーマンスが優れていることを示します。

Blender 4.0 CPU レンダリングでは、7725 分あたりのサンプル数で測定し、デュアル AMD EPYC 9965 プロセッサを搭載した Dell PowerEdge RXNUMX が、テストされたすべてのシーンで圧倒的なリードを示しました。

Monsterワークロードでは、R7725は毎分4,304サンプルを達成し、IntelベースのR2,179の770サンプルのほぼ7725倍を記録しました。JunkshopとClassroomでも同様の傾向が見られ、R2,870はそれぞれ2,079と770サンプルを記録し、R1,433の984とXNUMXという結果を大きく上回りました。

同時マルチスレッド(SMT)を無効にした場合でも、R7725はMonsterで3,193サンプル、Junkshopで2,174サンプルを記録し、再びIntelシステムを上回り、決定的な優位性を維持しました。R7715との差はさらに広がり、SMTテストと非SMTテストの両方で一貫して低い結果となりました。R7725が際立っているのは、ワークロードの種類に関わらず高いスループットを維持できる能力であり、192コアデュアル構成のスケーラビリティを際立たせています。

この効率性により、このプラットフォームはレンダリング環境において特に魅力的なものとなっています。フレーム完了の高速化は、制作期間の短縮とリソース利用率の向上に直接つながります。R7725は、標準および非SMTワークロードにおいて大幅なパフォーマンスマージンを維持することで、高性能3Dレンダリングタスクに最適なシステムとしての地位を確立しています。

Blender 4.0 CPU サンプル数/分 (高いほど良い) Dell PowerEdge R7725 (デュアル AMD EPYC 9965 192C) Dell PowerEdge R7715 (シングル AMD EPYC 9955P 96C) Dell PowerEdge R770 (デュアル Intel Xeon 6787P 86C)
モンスター 4,304.21 1,310.01 2,179.97
ジャンクショップ 2,870.34 895.39 1,433.18
教室 2,079.79 612.96 984.08
モンスター(非SMT) 3,193.11 1,024.27 1,650.24
ジャンクショップ(SMT以外) 2,174.63 686.02 1,113.67
教室(SMT以外) 1,608.79 495.01 780.91

Phoronixベンチマーク

Phoronix Test Suiteは、OpenBenchmarking.org経由で450以上のテストプロファイルと100以上のテストスイートをサポートするオープンソースの自動ベンチマークプラットフォームです。依存関係のインストールからテストの実行、結果の収集まですべてを処理するため、パフォーマンス比較、ハードウェア検証、継続的インテグレーションに最適です。本稿では、R7725と他のテスト対象サーバーを、Stream、7-Zip、Linuxカーネルビルド、Apache、OpenSSLの各テストと比較します。

ストリームメモリ帯域幅

メモリスループットを測定するStreamベンチマークにおいて、PowerEdge R7725は883GB/秒という驚異的なパフォーマンスを記録しました。これは、IntelベースのR472の770GB/秒のほぼ273倍、R7715の7725GB/秒の192倍以上です。この結果は、RXNUMXのデュアルXNUMXコア設計と広大なメモリ帯域幅の優位性を浮き彫りにしています。これは、持続的なメモリパフォーマンスに大きく依存する科学モデリングやAIトレーニングなどのワークロードにとって重要な要素です。

7-Zip圧縮

圧縮ベンチマークは、R7725の演算密度をさらに際立たせています。1.33万MIP/秒という性能は、R770(628MIP)の7715倍以上の性能であり、R413(7725MIP)を大きく引き離しています。バックアップ、アーカイブ、科学データパイプラインなど、圧縮と解凍が頻繁に行われるデータ量の多い環境において、RXNUMXはスループットを大幅に向上させました。

カーネルコンパイル

カーネルのコンパイル時間は、コード集約型のワークロードに関する実用的な洞察を提供します。この結果、R7725は139秒で終了しました。これは、R189の770秒、R217の7715秒と比べて大幅に改善されています。コンパイル時間の短縮は、開発者がより迅速に反復処理を実行できることを意味し、R7725は大規模なソフトウェアエンジニアリングや継続的インテグレーション環境にとって非常に魅力的な選択肢となります。

Apache Webサーバー

Apacheベンチマークには意外な結果が見られました。シングルソケットのR7715が驚くべきことに、166,000秒あたり7725万97,000リクエスト以上を記録し、デュアルソケットの両システムを上回りました。しかし、R770も60,000秒あたり約7725万XNUMXリクエストという堅実なパフォーマンスを示し、RXNUMXのXNUMX万リクエストを上回りました。これは、RXNUMXが高負荷の並列ワークロードで優れた性能を発揮する一方で、Webサーバーなどのシナリオでは異なるアーキテクチャ上のトレードオフが求められる可能性があることを示唆しています。

OpenSSL検証

暗号化処理もR7725が圧倒的な性能を発揮する分野の一つで、毎秒4.4兆回以上の検証処理を実行できます。これは、R770の2.2兆回の7715倍、R1.3の7725兆回のXNUMX倍以上のスループットです。セキュア通信や金融サービスなど、セキュリティと暗号化の要件が極めて高い環境において、この規模の暗号化処理能力を持つRXNUMXは、まさに理想的な選択肢と言えるでしょう。

Phoronixベンチマーク Dell PowerEdge R7725 (デュアル AMD EPYC 9965 192C) Dell PowerEdge R770 (デュアル Intel Xeon 6787P 86C) Dell PowerEdge R7715 (シングル AMD EPYC 9955P 96C)
Stream  883,312.0 MB /秒 472,135.6 MB /秒 273,281.2 MB /秒
7-zip 1,326,967 MIP/秒 628,206 MIP/秒 413,082 MIP/秒
カーネルコンパイル (allmod) 139.356秒数 188.793秒数 217.496秒数
Apache(1秒あたりのリクエスト数) 96,782.75 R/s 60,258.5 R/s 166,081.54 R/s
OpenSSLの 4,409,642,672,307 検証/秒 2,216,883,554,350 検証/秒 1,306,853,488,230 検証/秒

結論

Dell PowerEdge R7725は、DellのデュアルソケットAMDサーバーラインナップにおける確かな世代交代を象徴する製品です。AMDの最新EPYC 9005プロセッサーを搭載したこの2Uプラットフォームは、圧倒的なCPUコア密度、高速DDR5メモリサポート、そしてライザー全体にわたるPCIe Gen5レーンとフロントベイNVMeストレージを含む多彩なI/Oオプションを備えています。ハードウェアの観点から見ると、R7725は、今日のコンピューティング集約型インフラストラクチャに求められる拡張性とパフォーマンスを明確に提供します。

当社のベンチマークテストでもこの性能が実証され、R7725は様々な高負荷ワークロードにおいて、一貫して前世代機を上回るパフォーマンスを発揮しました。コア数の増加とメモリ帯域幅の拡張は、演算負荷の高いアプリケーション、特にマルチスレッド演算ワークロードや3Dレンダリングタスクにおいて目に見えるメリットを示しました。さらに、GPUアクセラレータ、PCIe Gen5、そして大容量NVMeストレージのサポートは、混在環境における柔軟性を実証しました。CXL 2.0メモリ拡張や、プラットフォームのモジュラーOCP DC-MHS準拠といった補完的なテクノロジーも、将来を見据えた設計に貢献しています。

総じて、R7725は、仮想化、HPC、アナリティクス、そして特にAI/MLパイプラインといった、リソースを大量に消費するワークロードを実行する企業にとって優れた選択肢となります。高密度GPUオプション、高度なストレージ機能、そして拡張可能なメモリサポートにより、現在のインフラストラクチャニーズと将来のインフラストラクチャニーズの両方に対応できる柔軟性を提供します。R7725は、単独の高性能コンピューティングノードとして導入する場合でも、より大規模なスケールアウト環境の一部として導入する場合でも、デルの第17世代サーバーポートフォリオに包括的かつ汎用的な追加機能を提供します。

R7725 コンフィギュレーター

StorageReview と連携する

ニュースレター| YouTube | ポッドキャスト(iTunes / Spotify) | Instagram | Twitter | TikTok | RSSフィード

ディラン・ドハティとディヴィアンシュ・ジェイン