Kubernetes (K8s) について考えるとき、よく頭に浮かぶ用語は、「クラウドスケール」、「無制限の拡張性」、さらには「巨大」などの大規模環境に関連したものです。しかし、現実には、IT 世界のかなりの部分が、開発と運用のためにはるかに小規模な K8s 環境から始める必要があります。クラウド レベルの利便性、柔軟性、拡張性を提供し、オンプレミスおよびハイブリッド クラウド インフラストラクチャのコスト上の利点を実現するために、Supermicro は業界をリードするハードウェアと最上位のハードウェアを組み合わせたターンキー ソリューションを導入しました。 -ラインソフトウェアの統合。この記事では、この Supermicro ラック プラグ アンド プレイ ソリューションの構成要素、その仕組み、および社内の K8s プラットフォームとクラウドベースのプラットフォームを実行する場合の経済性について説明します。
Supermicro ラック プラグ アンド プレイ クラウド インフラストラクチャ
K8s のインストールを構成する XNUMX つのコンポーネントは、コンピューティング、ストレージ、ネットワーキング、およびソフトウェアです。できるだけ多くの顧客にリーチするために、Supermicro はこのプログラムに基づいてさまざまなシステムおよびラックレベルの構成を設計しました。このソリューションのハードウェアは、Intel の実績のある第 XNUMX 世代 Xeon CPU と Optane Persistent Memory (PMem) を利用しています。これについては後で説明します。同社のソリューションのアーキテクチャは、業界標準の分類に従ったさまざまな分類の計算ノードで構成されています。
- 要塞ノードと SCC VM デプロイメントを有効にすると、OpenShift インストールを実行するために要塞ノードが 1 つのノードにプロビジョニングされました。踏み台ノードは Red Hat Enterprise Linux を実行して、コンパクト クラスターをプロビジョニングするためのスクリプト、ファイル、ツールをホストします。このノードは、OpenShift クラスターを管理および監視するために SuperCloud Composer をホストする VM にも電力を供給します。
- マスターノード は、API サーバー、コントローラー マネージャー サーバーなどに可用性と回復力の高いプラットフォームを提供します。K8s クラスターを管理し、その操作をスケジュールするには、K8s クラスターに単一障害点がないことを保証するために複数のマスター ノードが必要です。
- インフラストラクチャ (インフラ) ノード インフラストラクチャのワークロードを分離して、メンテナンスと管理の目的で分離と抽象化を可能にします。
- アプリケーションノード コンテナ化されたアプリケーションを実行します。
- OpenShift データ ファンデーション (ODF) ノード (以前は OpenShift Container Storage [OCS] と呼ばれていました) は、コンテナーが複数の環境にわたってスピンアップおよびスピンダウンするときに、データに永続的な場所を提供するソフトウェア デファインド ストレージ (SDS) をホストします。 ODF は、ファイル、ブロック、またはオブジェクト ストレージもサポートします。
Supermicro は、X3 BigTwin に基づいてコンパクトな 12 ノード クラスターを構築し、この記事で説明する JumpStart プログラムに追加のストレージ容量を提供する X12 Ultra システムを組み込みました。エントリーレベルのクラスターの場合、Ceph ストレージは必要ありません。
X12 BigTwin は、デュアル Intel Xeon Platinum 2N プロセッサを搭載した 4U 6338 ノード システムです。ノードごとに 72 個の Intel コンピューティング コア、4TB Intel Optane PMem、512GB の DDR4 メモリ、および 184TB の NVMe 対応ストレージが含まれています。接続に関しては、NVMe-oF 用の 100Gb インターフェイスがあり、3 ノードにわたる永続ストレージと、オブジェクト ストレージ クラスターとのインターフェイス用の 25Gb をサポートしています。 X12 Ultra サーバーのうち 1.1 台は、それぞれ最大 80 PB のオブジェクト ストレージと最大 XNUMX 個のコンピューティング コアを搭載できるストレージ ノードです。このソリューションに特に適した業種の XNUMX つは、ビデオ ストリーミング、コンテンツ配信、分析を目的としたメディアとエンターテイメントです。
前述したように、BigTwin システムは Intel Optane PMem シリーズ 200 と従来の DDR4 メモリを使用します。これにより、Optane PMem の価格は DDR4 (GB あたり) の約半分であるため、Supermicro は可能な限り経済的にメモリ容量を増やすことができます。
X12 BigTwin は、OPEX を削減するために電源と冷却を共有する設計になっていることに注意してください。 Supermicro は、金融分野の顧客の 20 社に関する具体的な使用例を私たちに共有してくれました。 X12 BigTwin システムでは、X12 1U システムと比較して 675% 以上の省電力を確認することができました。これは、同じワークロードを実行するときに X980 12U システムが消費する電力が 1 W であるのに対し、BigTwin システムは XNUMX W しか消費しなかったためです。
大規模システムは誰にでも適しているわけではありません。Supermicro のコンパクトなクラスターは、すぐに導入できるエントリーレベルの DevOps 環境を求める組織に最適です。 Supermicro は、IT および開発者がワークフローをテストし、使いやすさとパフォーマンスを評価できるコンパクト クラスター用の Rack Plug and Play JumpStart と呼ばれる無料のリモート アクセス プログラムを提供しています。 X12 BigTwin は、620 インチ SAS/SATA ドライブをサポートする 8U 2 ノード SKU である SYS-2BT-DNC3.5R を使用して、オブジェクト ストレージをスケールアウトするようにカスタマイズできます。この構成では、100 ドルあたりのパフォーマンスを最適化するために XNUMXGb インターフェイスは必要ありません。コンパクト クラスターは、Red Hat OpenShift がプリインストールされたトータル ラック ソリューションとしても利用できます。これについては、この記事で詳しく説明します。
ニーズが小さくなったり大きくなったりした場合でも、Supermicro には、必要な容量に合わせて簡単に拡張できるエッジ、リージョナル、およびコア データセンター ソリューション用のリファレンス アーキテクチャが用意されています。
Supermicro は、他の 4 つのラック プラグ アンド プレイ構成、つまりエッジ、パフォーマンス、高密度、エクストリーム (インテル コンピューティング コアの数が少ない順に) を設計しました。
Supermicro ラック プラグ アンド プレイ クラウドの実践
各構成に含まれるハードウェアをより詳しく把握するため、Edge（SKU：SRS-OPNSHFT-3N）の部品表（BOM）を確認しました。Edgeは、マスターノード3台、アプリケーションノード3台、ODF併設ノード3台で構成されています。ノード数を最小限に抑えるため、インフラストラクチャノードは省略され、その役割は他のノード間で分担されます。
このソリューションには、72 個の Intel コンピューティング コア、768 GB の RAM、および 138 TB のストレージ (そのうち 46 TB は NVMe ストレージ) が搭載されています。冗長相互接続のために、管理とデータの両方をデュアル SX10X-350 スイッチ経由でスイッチングするデュアル 12Gb ネットワーク (合計 6 つ) を備えています。これらすべてはわずか 120U のラックスペースを必要とし、オフィスや家庭で一般的に見られる XNUMX つの標準 XNUMXV 電気回路によって電力を供給できます。
Supermicro は、エッジで AI/ML を実行し、小売、ヘルスケア、製造、エネルギーといったターゲット市場を対象としたエッジ構成のユースケースを想定しています。また、これは小規模な開発チームや分散型コンテンツ配信ネットワークにとって優れた低コストのソリューションになると考えています。
パフォーマンス SKU (SRS-OPNSHFT-10) の BOM は、288 つのマスター ノード、同じ場所に配置された 3 つのインフラ ノード、138 つのアプリケーション ノード、および 1 つの ODF ノードで構成されます。このソリューションには、25 個の Intel コンピューティング コア、350 TB の RAM、12 TB の NVMe ストレージが搭載されています。冗長相互接続のために、管理用に 3648 Gb ネットワーク (合計 42 つ) と、デュアル SXXNUMXX-XNUMX スイッチを介してスイッチングされるデータ用のクアッド XNUMX Gb ネットワークがあり、管理トラフィックは SSE-GXNUMXBR スイッチを通過します。これらすべてが XNUMXU のラックスペースを占有します。
高密度 SKU (SRS-OPNSHFT-20) には、336TB の RAM と 3 ノードを備えた 18 個の Intel コンピューティング コアが搭載されています。この高密度 SuperRack ソリューションはコンパクト クラスターのスケールアウト バージョンですが、コントローラー ノードとインフラストラクチャ ノードとして 220 つの SYS-2BT-HNTR (4U 620 ノード システム) と SYS-8BT-DNC2R (2U XNUMX ノード システム) を使用します。アプリケーションノードとして。
さらに、Extreme SKU（SRS-OPNSHFT-30）は、640個のIntel演算コア、8TBのRAM、22ノードを備えています。以下に、Supermicroの4つのSKUすべての詳細な仕様を示します。
Supermicro ラック プラグ アンド プレイ ソフトウェア
すべてのSKUにプリインストールされているソフトウェアは、Red Hatの非常に人気のあるOpenShiftです。これは、K8デプロイメントを管理するためのフルスタック自動化機能を備えたエンタープライズクラスのK8sプラットフォームです。Red HatはK8sコミュニティの強力なサポーターであり、OpenShiftはコミュニティから高く評価されています。OpenShiftは、システムレベルの管理だけでなく、開発チーム向けのセルフサービスプロビジョニングも可能にします。OpenShiftの利点の1つは、パブリッククラウドのリソースを使用する必要が生じた場合でも、同じインターフェースワークフローを使用できることです。これは非常に重要で、学習曲線を短縮し、ワークフローの変更によるエラーを防ぐことができます。
簡単に概要を説明すると、OpenShift は 8 年以上前に開発され、その間 Red Hat の Platform-as-a-Service (PaaS) として使用されてきたため、非常に成熟した製品であり、完全にオープンソースです。そのソフトウェア コンポーネントは、最も人気のある最高のコンポーネントを使用する高度に厳選されたスタックに基づいています。オーケストレーションとスケジューリングには、KXNUMX とコンテナー ランタイムの Docker を組み合わせて使用し、もちろん OS には Red Hat を使用します。
ソフトウェア スタックの主要コンポーネントは OpenShift Container Platform (OCP) と Red Hat Enterprise Linux CoreOS (RHCOS) で、どちらも CoreOS (Red Hat が 2018 年に買収した企業) に付属していました。
RHCOS は、コンテナーでの使用に特化して設計された Red Hat Enterprise Linux の機能を簡素化したバージョンです。 OCP は、K8s によって調整および管理される Linux コンテナー用に構築されたサービスとしてのプラットフォーム (PaaS) です。どちらも Red Hat によって完全にテストされており、現場で広く使用されています。これらは、このソリューションのベアメタル コストを削減するための重要な要素です。
途中で開発とデプロイメントを迅速化するために、OpenShift には Operator フレームワークが含まれています。 K8s 用語での Operator は、K8s 上でアプリケーションを展開および管理するために必要な人間の知識をカプセル化したソフトウェアです。 Operator Framework は、Operator の開発とマルチテナント クラスタでの集中管理を支援するツールと K8s コンポーネントのセットです。 OpenShift には、Redis や Cassandra などの一般的なアプリケーション用の Operator があります。オペレーターを使用すると、アプリケーションを展開する人のスキル レベルに関係なく、アプリケーションを展開する際のかなりの時間とストレスを軽減できます。
スーパークラウドコンポーザー
Supermicroの隠れた逸品の一つがSuperCloud Composer（SCC）です。これは、サーバーの監視と管理、そしてコンピュータへのOSの展開を可能にする単一のインターフェースです。Redfish互換の統合機能を提供するAPIを備えており、電源管理から資産管理まで幅広い機能を提供します。ハードウェアレベルのサポートを提供することで、ソリューションスタックを完成させる秘訣の一つと言えるでしょう。
Supermicro のコンパクト クラスターの前提条件は、Red Hat の標準的な OpenShift インストールと似ています。これらの前提条件には次のものが含まれますが、これらに限定されません。
- ネットワーク接続が確立されていることを確認する
- API と Ingress のロードバランサを設定またはインストールする
- クラスタの適切な DNS エントリ
- 必要な CLI ツール
- DHCP アドレス予約または静的 IP の使用
すべての前提条件が満たされていれば、コンパクト クラスターは簡単にプロビジョニングできます。 Supermicro は将来、NVMe M.1 ブート ドライブの HW RAID 2 構成や OpenShift クラスターのインストールなど、セットアップ プロセスの調整に役立つ Ansible Playbook をリリースする予定です。基本的に、これはゼロタッチ プロビジョニングを有効にするのに役立ちます。これは通常、OEM アプライアンスを備えた ISV からのみ行われます。
ノード D は物理的に 2U エンクロージャ内にありますが、JumpStart プログラムを積極的にサポートしている Supermicro 管理者のために別の BMC ネットワークに分離されています。このノードには、SCC VM の「プロビジョニング ブリッジ」用の 1Gb NIC があります。ネットワーク トポロジに基づいて、JumpStart プログラムを使用すると、リモート ユーザーが SCC VM と OpenShift クラスターに安全にアクセスして、ポッド上で実行されるビデオ オン デマンドのデモなどのクラスターの機能を探索できるようになります。デモのワークフローを以下に示します。
Supermicro ラック プラグ アンド プレイ クラウド ジャンプスタート プログラム
新しいソリューションへの投資には、ワークロードやワークフローとの互換性に関する不安がつきものです。こうした不安を解消するため、Supermicroは、購入前にソリューションを試用できる充実したJumpstartプログラムを用意しました。
コスト
パブリック クラウドは、オンプレミス展開よりもコストが低いという全面的な誤解に基づいて成長してきました。ただし、多くの状況では、安定した価格体系とクラウド ソリューションに関連する継続的なコストを比較すると、ハードウェアを所有する方が魅力的です。はい、クラウド プロバイダーには、数千のノードにわたって運用要員のコストを償却できるスケールの利点があります。ただし、Supermicro は、Red Hat がソリューションのテストと保守の負担を引き受ける OpenShift を使用することで、この問題を軽減しました。これは、Supermicro の顧客が、時間と費用がかかるプロセスとなる可能性があるシステムのアップデートとパッチを検証する必要がないことを意味します。
価格の安定性も Supermicro に有利な要因です。パブリック クラウドの利用者がリソースを過剰に消費して予算を超過したという恐ろしい話は、確かに複数あります。実際には、K8s のような高度に自動化されたソリューションでは、単純な構成ミスにより、パブリック クラウド リソースを消費するアプリケーションのホストが生成される可能性があります。対照的に、オンプレミス ソリューションでは、これはまったく不可能です。
このソリューションはパブリック クラウドとコスト競争力があるだけでなく、Supermicro はコストを削減するための他の提案も提供しています。たとえば、Red Hat Open Data Foundation (ODF) をハイパーバイザー上で実行するのではなく、通常は安価な Red Hat Open Data Foundation (ODF) のベアメタル サブスクリプションを実行するなどです。そしてハイパーバイザー税を回避します。
私たちは、顧客が OpenShift (ソリューションのソフトウェア コンポーネント) を購入する方法について Supermicro に尋ねたところ、OpenShift は単一の請求書に含まれるか、Red Hat から直接購入できるとのことでした。
Supermicro は、OpenShift をベアメタルにデプロイする場合とハイパーバイザーを使用する場合のコストの違いについて、親切にもいくつかの数字を計算してくれました。私たちは、ハイパーバイザーではなくベアメタルで実行することで、どれだけコストを節約できるかに驚きました。 K8s アプリケーションはストレージを必要とするため、ファイル システム、ブロック ストレージ、オブジェクト ストレージを必要とするアプリケーションには 4 コアのみという見積もりも含まれています。
数値から、OpenShift をベアメタルで実行する方が、ハイパーバイザーで実行するよりも、クラスターごとに必要なコンピューティング リソースとストレージ リソースの量に応じて 3 ～ 9 倍コスト効率が高いことがわかります。コスト削減を推定するために、2 つのシナリオが分析されました。最小のシナリオでは、16 の OCP サブスクリプション (32 コア) と 2 つの ODF (4 コア) が考慮されました。最大のシナリオでは、ノードごとに 64 コアすべてがコンピューティングとストレージの両方に考慮されました。各ノードは、デフォルトで最大 250 個の Pod をサポートできます。Supermicro は、OpenShift のデプロイメントを慎重に計画することを推奨しています。まずは、このOpenShift 4.8 の計画ドキュメントを参照してください。
データガバナンス
データの局所性は難しい問題です。多くの企業や政府は、データの保存場所に関して非常に強力な規制を設けています。オンプレミス ソリューションを使用すると、あなたと監査人は、たとえデータが存在する場所に手を出さなくても、安心できます。パブリック クラウドのストレージに物理的にアクセスすることはまったく不可能です。これで話は終わりです。
結論
Supermicro は、これまでよく行ってきたように、市場を特定し、それを満たすための信頼できる手頃なソリューションを作成しました。この場合、市場は信頼性の高いインテルの実績のある第 8 世代 Xeon プロセッサーと、パフォーマンスに影響を与えることなくコストを抑えるためのインテル Optane PMem および Red Hat の実績のある K8s ソフトウェアを使用するオンプレミス K8s クラスターを対象としています。これらの事前定義されたソリューションは Supermicro から提供され、事前に設計、検証、テストされているため、顧客は KXNUMXS クラスターを迅速に導入できます。
同社のソリューションは、独自のソリューションを展開する場合に通常数週間かかるのではなく、数日で展開できます。また、Supermicro のソリューションは互換性について広範にテストされているため、時間やコストがかかる問題に遭遇することはありません。新しいテクノロジーの展開中に発生します。コストについて言えば、Supermicro のソリューションの価格モデルは、パブリック クラウドの使用時に起こり得るひどいショックを防ぎます。
お客様のニーズが何であっても、Supermicro はお客様に対応するソリューションを開発しました。エッジ AI/ML 作業や小規模開発チーム向けに設計された Edge SKU から、パブリック クラウド展開の置き換えに使用できる実稼働ワークロード用の地域およびコア データ センター向けに設計された Extreme SKU までです。
SupermicroのK8sソリューションに関する詳細情報については、こちらのWebポータルをご覧ください。
このソリューションを実際に体験するには、ジャンプスタートプログラムをご覧ください。
Amazon