本文作者:吳炳錫
來源:https://yq.aliyun.com/articles/278034
一、需求
一個朋友接到一個需求,從大數據平臺收到一個數據寫入在20億+,需要快速地加載到MySQL中,供第二天業務展示使用。
二、實現再分析
對於單表20億, 在MySQL運維,說真的這塊目前涉及得比較少,也基本沒什麼經驗,但對於InnoDB單表Insert 如果內存大於數據情況下,可以維持在10萬-15萬行寫入。 但很多時間我們接受的項目還是數據超過內存的。 這裡使用XeLabs TokuDB做一個測試。
三、XeLabs TokuDB介紹
項目地址: https://github.com/XeLabs/tokudb
相對官方TokuDB的優化:
- 內置了jemalloc 內存分配;
- 引入更多的內置的TokuDB性能指標;
- 支持Xtrabackup備份;
- 引入ZSTD壓縮算法;
- 支持TokuDB的binlog_group_commit特性;
四、測試表
TokuDB核心配置:
表結構:
利用load data寫入數據:
計算一下每秒寫入速度:
文件大小:
實際文件8.5G,寫入TokuDB大小3.5G,只是接近於一半多點的壓縮量。 對於20億數據寫入,實際測試在58分鐘多點就可以完成。可以滿足實際需求,另外對於磁盤IO比較好的機器(SSD類盤,雲上的雲盤),如果內存和數據差不多情況,這量級數據量測試在Innodb裡需要添加自增列,可以在3個小多一點完成。 從最佳實戰上來看,Innodb和TokuDB都寫入同樣的數據,InnoDB需要花大概是TokuDB3-4倍時間。文件大小區別,同樣20億數據:
文件大小在5倍大小的區別。
測試結論:
利用TokuDB在某雲環境中8核8G內存,500G高速雲盤環境,多次測試可以輕鬆實現57萬每秒的寫入量。
另外測試幾種場景也供大家參考: 如果在TokuDB中使用帶自增的主鍵,主鍵無值讓MySQL內部產生寫入速度,下降比較明顯,同樣寫入2億數據,帶有自建主鍵:
同樣的數據寫入在主鍵自增無值產生時,不能使用TokuDB的 Bulk loader data特性,相當於轉換為了單條的Insert實現,所以效果上慢太多。
關於TokuDB Bulk Loader前提要求,這個表是空表,對於自增列,如自增列有值的情況下,也可以使用。 建議實際使用中,如果自增列有值的情況下,可以考慮去除自增屬性,改成唯一索引,這樣減少自增的一些處理邏輯,讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入,壓縮方面並不是很好。
關於TokuDB Bulk Loader :
https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader
五、測試環境說明
測試使用CentOS7環境,編譯的XeLabs TokuDB版本百度雲地址: