那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?何況現在是高清視頻的年代。
10 個回答

隨著科技發展,各類資源生產出來,那作為網站主,這些視頻是怎麼容納的呢?


海量硬盤

作為比較大型的企業網站,例如愛奇藝、騰訊等公司,都有專有機房。這些機房內擁有大量硬盤。畢竟相比較來說,硬盤的價格實在是太低了。想想我們只需要四百塊錢就能購買1T的硬盤資源。對於大型公司來說,完全有準備大量硬盤的實力。

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?


壓縮

在用戶上傳文件或者視頻之後,一般會有專門的轉碼壓縮服務器。用來把上傳的文件進行壓縮。所以有的時候你可能看到,自己上傳的高清視頻,在進行查看的時候,清晰度並不是很高。這是因為進行壓縮的效果。

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?


去重

在真正保存到硬盤之前,需要對上傳的文件去重。檢測硬盤中是會否已經有相關的文件了。如果有的話就直接指定過去了。

這也就是為什麼很多網盤上面,會有秒傳的功能。命名好幾G的文件,幾面就能上傳成功就是這個原理。

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?


純手寫,如果對你有幫助,麻煩在下方點個贊哦~~

看你說多少G硬盤,我這個強迫症就受不了,普及下知識,1MB=1024KB,1GB=1024MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB,1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024NB!

很多大型網站是有自己獨立的機房,面積不等,有的可能只有一個衛生間那麼大,有的有好幾個足球場那麼大。這些機房專門放有存儲功能的服務器;

很多人用的網盤,你可以理解成你租用這個網絡機房裡面服務器上的硬盤。

給你看看谷歌的機房,這只是一角!

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?

數據說話太枯燥,為了更直觀,我講一個故事。我幾年前在新疆,有人說Baidu準備在新疆背部建一個數據中心存儲它的數據,因為那兒氣溫低,可以節約不少電費。你大概估計一下這是多大的數據量,讓一個千億級的企業冒著民分的危險,跑那麼遠去建一個數據中心就為了節省電費。

下圖是數據中心概念圖,裡面大部分是存儲介質,你大概感受下,什麼是海量信息。

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?

這只是某運營商的一個櫃子而已,而這個機房有幾百個櫃子,這樣的機房在某市有十幾個而已

那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?那麼多視頻要上傳到網站上,網站是怎麼容納,是不是要裝幾千億G硬盤?

本人工作在存儲陣列廠商,簡單說下視頻存儲公司的解決方案

存儲選用上主要使用分佈式存儲加分佈式文件系統,保證高併發高帶寬,存儲底層會一定選用分層技術,怎麼說呢,很多視頻點擊量爆高,當然會存儲到大容量緩存中,外加外置UPS保護,那麼當視頻沒人看的時候,就自動遷移到便宜的7200轉或5400轉的HDD存儲層中。現在的硬盤最大做到60TB了,企業級大容量氦氣盤已經有10TB,12TB了。特別老的視頻文件且為普通用戶上傳的會被後臺分析平臺篩選出來刪除來釋放空間。儘量說的直白一點,有什麼疑問歡迎留言討論。

估計象谷歌,youtube這樣的網站,他們自己人也搞不清楚自己有多少臺服務器,多少G硬盤,據說谷歌全球有幾百萬臺服務器,每臺服務器按1TB的硬盤,就是上百億G的存儲容量了,谷歌一刻不停的把全球的網站收錄到自己的服務器,youtube每分鐘都有大量的視頻上傳,說是數百小時的視頻,差不多是百G大小,形象來說普通家庭能用十年的硬盤,它們分分鐘就滿了。當然對這樣的大公司來說,硬盤不值什麼,每天用壞的都不知道多少,據說美國有個雲服企業,在因為天災硬盤供貨不足,到處買硬盤,加錢掃貨。所以,說上千億G,也不是什麼事。

1、的確如此,你看到的每一部電影、音樂,都是巨量的數據流,它們的確都需要有儲存裝置,一般而言以硬盤為主,部分採用高速固態硬盤SSD,極少數數據放在緩存cache內。

2、現代視頻中心都自建有數據中心,規模非常的龐大,而且今日的數據中心不僅僅是過去方硬盤陣列方式,今天已經基本上演變成服務器群了,一個數據中心有數萬個服務器根本就不稀奇(每個服務器內置多個硬盤),功耗數千千瓦,抵得上一個大鎮的總耗電量。因此,在很多數據中心,服務器、電力不是問題,反而散熱才是真正的問題。

這就是很多服務器中心會建立靠近北極北歐國家,就是想直接利用低溫降低服務中心的熱量。

3、也有部分公司因為實力與需求問題,建不起集中式數據中心,就採用分佈式數據中心替代,深圳採用用戶的電腦替代數據中心,降低建設成本,但這種方式需要在用戶電腦中內置特定的數據分享程序,表現也不是很穩定,是小公司的無奈做法。

確實是用好多硬盤來儲存,另外,採用p2p技術,熱門的視頻其實大部分存在用戶的電腦裡,打個比方,你在用迅雷下載電影,會發現幾千個鏈接,那些都是普通用戶的電腦。很多相同的視頻,服務器會採用雲技術對視頻進行統一編碼,只存一個而已。此外,硬盤會有壞的時候,所以視頻還要做備份,同樣是用硬盤。

首先要了解什麼是對象存儲,最簡單的方法是每個文件算hash值,改文件名值不動,內容動任一個字節hash就變了,就視為不同的文件了,就需要重新存了。一般同樣的文件會在不同的機房有3-5個備份同時也是分流,p2p的話,大家電腦上也會有,服務器上就可以少存點,就是所謂的比較熱的種子。其次從業務角度講,原創的文件畢竟比較少,相對多的,需要大空間大帶寬的還是影視品的共享,這些看似沒人網盤都有,但其實都是類似一個指向的標記而已,用不了幾字節

分為好多中,一種是服務商自己建立儲存服務器,一種是服務商租用存儲服務器,一種是服務商將用戶的PC和自己的服務器合併當做存儲服務器,說說第三種吧,第三種是新式的組合,比如一部大話西遊,最開始服務商是存儲在自己的服務器的,當10個用戶下載後,服務商將用戶的資源建立成鏈接庫,其他用戶再下載的時候服務商軟件直接優選寬帶從空閒用戶PC端下載,這樣服務商的存儲就節省下來了,當然這種模式並不成熟,目前已知360在這樣做。

相關推薦

推薦中...