華為雲CTO張宇昕首次解密:華為雲存儲為何越用越快

《人類簡史》談到,人類與眾不同之處就是可以在心裡構築一個世界,然後在現實世界裡面創造出來。今天華為正在為人類進入智能時代,構築一個全新的雲基石。

當大家都在提智能的時候,華為雲想到的卻是當前數據架構是否能支撐起萬物互聯的智能世界?比如支撐整個數據流動的底座,雲計算是否需要進化?比如今天的雲存儲是否能夠滿足智能時代海量數據的交互?

華為雲給出的答案是:制約雲計算為智能時代更好地服務的瓶頸就在“最後一公里”。在雲端,“最後一公里”即指數據通過服務端軟件、網絡、存儲服務器,最終抵達介質的這一過程。

“最後一公里”的挑戰,也是指隨著人工智能(AI)、VR/AR、5G、自動駕駛等技術和應用的發展,雲存儲面臨著海量數據存儲、數據實時性、以及智能應用等挑戰。

圍繞著“最後一公里”的挑戰,華為雲日前在成都發布了雲存儲All-Flash戰略,力在推動雲存儲從毫秒走向微秒時代,同時還推出了該戰略的首個落地產品——全新一代極速IO雲硬盤。


華為雲CTO張宇昕首次解密:華為雲存儲為何越用越快


華為雲CTO張宇昕

那麼圍繞雲計算“最後一公里”瓶頸,華為雲存儲如何實現微秒實時處理?又如何通過AI來實現數據利用越來越快。至頂網採訪了華為雲CTO張宇昕。

張宇昕表示,隨著人工智能(AI)、VR/AR、5G、自動駕駛等技術的發展,應用對雲存儲的實時處理能力提出了更高標準。對於支撐智能世界的數據平臺而言,需要進入百微秒量級,才能滿足實時性要求。

進入微秒時代,華為雲有哪些黑科技?

在數據中心裡面,影響數據時延的原因主要來自兩個層面,一個是經過整個網絡傳輸時延,一個是存儲本身介質的時延。目前這兩個層面的時延都是毫秒級,這樣情況下的5G應用、自動駕駛、AI等應用很難做到實時處理,如果要進入微秒時代,必須把這兩段時延的瓶頸都打破。


華為雲CTO張宇昕首次解密:華為雲存儲為何越用越快


張宇昕分享了華為雲解決數據實時處理難題的黑科技。

張宇昕表示,首先,為了實現這“最後一公里”的百微秒級突破,平均時延達4毫秒的機械硬盤(7200轉)成為了第一個被優化的對象。相比機械硬盤,Flash介質具有更強的性能和20μs的極低時延。同時華為雲圍繞介質上的能力,全新設計了先進的存儲引擎,既充分釋放介質的能力,降低時延和提升性能,又提高了存儲介質的可靠性和增強了使用壽命。

“第二,我們通過軟硬件架構和數據中心架構的優化,實現了極簡網絡,也實現了多核免鎖併發,使得軟件的時延和網絡的時延也降到了極低,所以整個數據處理IO從進來到出去,我們能實現50μs -100μs的穩定時延。” 張宇昕談到。

第三,華為公司有一個很強的優勢就是芯片,目前全系列自研芯片從“算、傳、存、智”四個維度來增強數據處理全流程。芯片與架構的緊密配合,充分發揮了鯤鵬CPU在多核、低功耗等方面的優勢;通過高性能智能網卡芯片、SSD存儲控制芯片實現了數據的直接訪問;結合昇騰AI芯片,讓全棧軟硬件聯動創新,並首次實現雲存儲在芯片級的深度定製優化;實現通過網絡芯片和SSD 存儲卡控制芯片,把整個IO路徑重構,做到極低時延。


華為雲CTO張宇昕首次解密:華為雲存儲為何越用越快


當然說了這麼多,個人第一感覺還是算法的重要性,不管是控制器、軟件也好,芯片也好,裡面很多核心技術其實都涉及算法,算法需要長期的積累,才能不斷地逼近能力極限。華為雲的優勢就是把這些能力綜合起來,做到了數據的實時處理。

存儲越用越快?我們從當下的數據“越用越慢”談起

在發佈會上,張宇昕談到華為雲創新的技術讓存儲越用越快,引起了筆者的好奇心。大家知道不管是手機,還是電腦,用的時間越久,速度越慢。那麼華為雲是如何實現數據存儲越來越快的呢?

首先我們來看一下當前的數據存儲越用越慢的情況。隨著數據的增加,存儲介質碎片增多,包括企業的數據中心到雲數據中心。隨著時間地推移,用戶訪問數據越來越慢。造成這種原因很大程度上就是由於數據在數據中心的佈局以及數據存儲所提供IO能力跟企業業務要求不匹配。當數據量大,租戶越來越多,相互之間也可能資源有爭搶的,那這種情況就會加劇。

目前,華為雲存儲將人工智能技術融入分佈式存儲的全生命週期,智能識別用戶業務模型,實現存儲平臺的自主調優和自我進化,讓應用越用越快。華為雲AI預測能力,可預判30天性能趨勢,提前14天發現故障盤並自動隔離。AI控制的引入,可智能預測用戶性能趨勢,並根據用戶提前配置的自動擴容等策略完成調整,免人工干預保障業務平穩。經過全局的數據進行優化,最大化地讓全局的資源得到充分利用。

所以從客戶的感受來講,隨著這種學習的深入,訓練數目的增加,訓練精度的提升,AI會越來越瞭解客戶,讓系統自動感知,而不是通過人工干預,可以做到快速系統調整來響應客戶的需求。


華為雲CTO張宇昕首次解密:華為雲存儲為何越用越快


華為雲明確了以“全閃存、全系列、+智能、全棧創新”為導向的All-Flash戰略佈局,讓AI加持的雲存儲逼近介質的極限,帶領全系列存儲逐步完成全閃存進化,帶領雲存儲由機械時代邁入電子時代。而本次基於All-Flash戰略推出的極速IO雲硬盤,其時延低至50~100μs,並具有4GB/s帶寬和高達100萬IOPS性能,可滿足結構化數據庫、半結構化數據庫和ELK分佈式日誌應用以及流處理等場景對性能的極致要求,也是主流雲廠商中首家進入百微秒以內的雲硬盤。

相關推薦

推薦中...