作者：George Teixeira， DataCore Software執行長兼總裁
2012年，“大數據”這個詞掛在每個人的嘴邊，就像五年前的虛擬化一樣。 同樣，就像虛擬化和雲計算一樣，大量的炒作掩蓋了圍繞 IT 挑戰、所需技能集以及如何實際構建可支持有效大數據技術的基礎設施的更重要的討論。
當人們對虛擬化的奇蹟充滿詩意時，他們未能認識到支持服務器和桌面計劃所需的新性能需求和存儲容量的巨大增長。 對更高性能和持續可用性的需求付出了高昂的代價，而且顯然，預算超支的影響隨後延遲或取消了許多項目。
這些問題現在正在通過採用存儲虛擬化來解決，存儲虛擬化利用行業性能創新，推動昂貴設備的更大程度的商品化，並使用企業範圍的自動分層軟件等新技術實現存儲管理自動化。
同樣的動力再次發揮作用，只是這次是大數據。
商業智能公司會讓您相信您只需將他們的分析平台放在 Hadoop 框架和 BINGO 之上——您就擁有了一個大數據應用程序。 事實上，Hadoop 生產部署在大型企業中幾乎不存在。 根本沒有多少人了解並能夠利用這些新技術。 此外，支撐技術和方法論的生態系統還不夠成熟，這意味著該行業正在經歷一個痛苦的試錯過程，就像五年前的虛擬化一樣。 同樣，低估存儲需求正在成為採用的主要障礙，因為“拋出硬件解決問題”的古老做法通常會產生難以承受的成本和復雜性。
說白了，大數據不僅僅需要大存儲，還需要大智能存儲。 不幸的是，該行業有可能重蹈過去的覆轍！
在我轉向技術之前，讓我指出我們進入大數據世界時面臨的最大挑戰——我們需要培養能夠推動和實施有用的大數據系統的人才。 福布斯最近的一篇文章指出，我們的學校沒有跟上大數據帶來的教育需求。 我認為以下段落很好地總結了這個問題：“我們面臨著巨大的人才短缺，不僅要處理大數據，更重要的是要擁有從數據中產生價值的知識和技能——應對永不停息的海嘯。 你如何聚合和過濾數據，你如何呈現數據，你如何分析它們以獲得洞察力，你如何使用洞察力來幫助決策，然後你如何從行業的角度將這些整合到你的業務流程？”
現在，回到將產生影響的產品技術——尤其是那些與為這種新模式管理存儲相關的技術。
眾所周知，數據呈爆炸式增長，擴展存儲和處理的傳統方法已開始達到計算、運營和經濟極限。 需要一種新的策略來智能地管理和滿足快速增長的數據集的性能和可用性需求。 就在短短幾年前，幾乎聞所未聞的組織討論超過數百 TB 的擴展，現在討論涉及數 PB。 同樣在過去，公司選擇將大部分內容存檔在磁帶上。 然而，在當今以社交媒體為中心的按需點播世界中，這已不再可行。 用戶現在需要即時訪問，並且不會容忍延遲從慢速和/或遠程磁帶庫恢復數據。
即時滿足是當今的流行語，性能至關重要。
新的存儲系統必須自動且無中斷地將數據從一代系統遷移到另一代系統，以有效解決長期歸檔問題。 還增加了這個問題的是需要在多個數據中心之間分配存儲，用於災難恢復或將內容放置在更靠近請求用戶的地方，以便將延遲保持在最低限度並縮短響應時間。
這對於對企業日常運行至關重要的應用程序的性能尤其重要，例如數據庫、企業資源規劃和其他面向事務的工作負載。 除了這些資源密集型應用程序產生的數據外，IT 部門還必須處理 Facebook 和 YouTube 等大規模新媒體。 傳統存儲系統並不能很好地解決這些問題，IT 架構師別無選擇，只能嘗試自行開發解決方案，否則就會受困於復雜、低性能的系統。
存儲系統在大數據和雲環境中面臨著很大的挑戰，因為它們被設計為部署在越來越大的存儲陣列上，通常位於一個位置。 這些高端專有系統在資本和運營成本以及敏捷性和供應商鎖定方面付出了高昂的代價。 它們提供的機制不足以創建一個公共的、集中管理的資源池。 這使得 IT 架構師需要解決大量單獨存儲系統的問題，這些存儲系統通常受到不同品牌、品牌和型號的影響，需要不同的方法來跨站點複製和某種形式的自定義管理。
考慮到這一點，有四個大問題需要解決：
- 虛擬資源管理和靈活性：需要智能軟件才能將當前單一、獨立解決方案的格局轉變為虛擬存儲資源池，該資源池整合併利用當今可用的各種存儲硬件和設備。 高資本和運營成本：要降低運營成本，通過自動化和集中管理實現更高的生產力至關重要。 同樣重要的是，賦予公司更多的商品化能力和允許硬件互換性對於具有成本效益的存儲可擴展性至關重要。 沒有人能負擔得起“大筆資金”，向大數據世界投入更昂貴的“大盒子”解決方案。 VMware 和 Microsoft Hyper-V 等管理程序為用戶打開了購買力。 如今，使用戴爾、惠普、IBM 或英特爾服務器在很大程度上已成為個人公司的偏好。 存儲需要同樣的方法，並推動了對管理程序的需求。
- 可擴展性需要性能和持續可用性：隨著數據存儲的增長以及需要服務的應用程序、用戶和系統的增多，對更高性能和可用性的要求也隨之提高。 它不再是關於一個大盒子裡能裝多少東西，而是我們如何利用新技術使存儲更快、響應更快。 同樣，無論任何一個存儲盒多麼可靠，都無法與在不同位置協同工作以確保最高水平的業務連續性（無論底層硬件如何）的許多系統相比。
- 動態存儲與靜態存儲：同樣明顯的是，我們無法再跟上如何優化企業數據以獲得最佳性能和成本權衡的步伐。 軟件自動化現在至關重要。 跨多個存儲設備的自動精簡配置等技術對於提高效率和提高存儲資產利用率是必不可少的。 適用於多種存儲類別和設備類型的強大的企業級功能正在成為必備條件。 從一類存儲遷移到另一類存儲需要自動存儲分層。 因此，無論數據和 I/O 流量是否以最佳方式從高速動態 RAM 內存、固態驅動器、磁盤甚至雲存儲提供商遷移，複雜的存儲管理程序都至關重要。
密集型應用程序現在需要一個可以從小規模開始，但可以輕鬆擴展到許多 PB 的存儲系統。 它必須能夠快速提供內容並處理每天成千上萬用戶不斷增長的工作量。 它還必須非常易於使用，盡可能自動化，並避免高度專業化的專業知識來部署或調整。 也許最重要的是，它必須改變存儲範例，從固定到單個陣列或位置，轉變為分散但集中管理的系統，可以在需要的任何地方主動存儲、檢索和分發內容。 好消息是，像 DataCore 的 SANsymphony-V 這樣的存儲管理程序為 IT 架構師提供了一個易於使用、可擴展的解決方案，以應對在現代公司中運行的大量數據。
是的，大數據提供了巨大的潛力。 讓我們確保這次存儲正確，以避免重蹈過去的覆轍。
George Teixeira 是DataCore Software的執行長兼總裁。該公司的軟體即基礎設施平台解決了阻礙虛擬化計畫發展的重大難題，它消除了與儲存相關的障礙，這些障礙使得虛擬化變得過於困難和昂貴。您可以透過 George.Teixeira@DataCore.com 聯繫作者。
Amazon