幾乎一周過去了，我們沒有從 IT 供應商那裡聽到他們的解決方案對涉及人工智能、深度學習、機器學習或邊緣智能的組織的影響。 然而，問題是缺乏關於這些解決方案如何影響每項任務的性能的實質性見解。 最近，我們決定通過與位於波蘭的 AI 和 HPC 解決方案構建商 byteLAKE 合作，看看我們是否可以為此做點什麼。 主要目標是評估存儲和 GPU 對 AI 工作負載的影響。
存儲對人工智能的影響
最初，我們想驗證一個普遍的觀點：本地儲存會影響 AI 模型的效能。我們在實驗室裡使用了一台Dell EMC PowerEdge R740xd伺服器，配置了兩顆 Intel Xeon Gold 6130 CPU 和 256GB 記憶體。我們使用三種不同的本機儲存方案運行了 byteLAKE AI 測試。測試中，我們使用了傳統的KIOXIA PX04S SSD，以及速度更快的Samsung 983 ZET和Intel Optane 900P。
在基準測試中，我們分析了人工智慧學習過程的表現。測試中，我們針對真實場景運行學習過程。本次測試是byteLAKE產品之一－EWA Guard的訓練流程的一部分。該產品基於最新的YOLO（You Only Look Once）模型，YOLO是一款先進的即時檢測模型。模型包含一個輸入層、22個卷積層、5個池化層、2個路由層、一個重組層和一個偵測層。
作為性能的基本指標，我們使用了 5000 個 epoch 的訓練執行時間。 對每個存儲配置重複基準測試 XNUMX 次，平均值如下所示。
結果：
- 鎧俠 98h 24m
- 三星 98 小時 44 小時
- 英特爾 98h 42
數據清楚地表明，本地存儲對性能沒有影響。 測試範圍從 SATA SSD 到最新最好的 Optane，沒有任何影響。 也就是說，在數據進出方面，存儲可能發揮更重要的作用，但對於 AI 的計算而言，在這種情況下沒有影響。
GPU 和存儲對 AI 的影響
有了存儲數據，我們將單個 NVIDIA T4 添加到 PowerEdge 以衡量 GPU 對 AI 的影響。 對於此測試，我們也運行了相同的三種存儲配置。
結果：
- 鎧俠 4 小時 30
- 三星 4 小時 28 米
- 英特爾 4 小時 27 分鐘
正如預期的那樣，GPU 產生了影響，實際上是指數級的影響，推動了 22 倍的改進。 隨著 GPU 加速 AI 的整體性能，有人認為更快的存儲可能會產生影響。 然而，情況並非如此，因為 SATA 驅動器正好符合高速 NVMe。
結論
在此測試中，我們發現使用更快的存儲設備不會提高學習性能。 這裡的主要原因是 AI 模型的複雜結構。 學習的時間要長於數據讀取的時間。 換句話說，使用當前一批圖像進行學習的時間比閱讀下一批圖像所需的時間要長。 因此，存儲操作隱藏在 AI 計算之後。
在添加 NVIDIA T4 時，有人認為人工智能的更快處理會導致存儲對性能產生影響。 在本次測試中情況並非如此，因為即使使用 T4，AI 模型仍然具有更重的學習組件並且不需要特別快速的存儲。
雖然需要做更多的工作來進一步測試特定組件和系統對 AI 的影響，但我們相信這些初始數據是有用的，並且是對話的良好起點。 我們需要應用程序數據，以便能夠從 IT 的角度更好地了解哪裡是正確的槓桿，以及哪裡的預算支出可以產生最有影響力的結果。 當然，這在很大程度上也取決於此活動發生的位置，無論是在數據中心還是邊緣。 現在，我們歡迎 byteLAKE 和其他處於 AI 矛尖的人的參與，以幫助提供有用的數據來幫助回答這些緊迫的問題。
這是我們首次進行人工智慧測試，但絕對不會是最後一次。 byteLAKE 共同創辦人 Mariusz Kolanko 表示，他們一直在開發一款名為CFD Suite（用於計算流體動力學 (CFD) 的人工智慧，旨在加速求解器）的產品，該產品中的深度學習過程需要大量資料才能完成每個訓練週期。事實上，這種模型可能會對大數據領域的模型訓練造成更高的儲存負載，並可能影響深度學習過程本身的效能。歸根結底，與任何應用程式一樣，了解應用程式的需求並分配合適的資料中心資源至關重要。人工智慧顯然並非萬能的解決方案。
Amazon