計算方法
按存儲容量規劃n針對不同的數據存儲形式(text,ORC,Hyperbase,ES等),分别計算所需的存儲空間,總和即為存儲數據需要的總存儲空間。n存儲計算公式(HDFS默認3副本;ES默認2倍膨脹率、1副本):nTextn數據量×(副本數+臨時存儲)×冗餘(1.2)nORCn數據量×(副本數+臨時存儲)×壓縮比(1:5)×冗餘(1.2)nHyperbasen數據量×(副本數+臨時存儲)×壓縮比(1:3)×冗餘(1.3)+索引數據量×副本數×壓縮比(1:3)nESn數據量×膨脹率×(1+副本數)n
注意
:ES的副本概念與HDFS不同,ES的副本指原始數據的額外副本數據,即1副本表示共有1(原始數據)+1(副本數據)=2份數據;HDFS的副本數即為數據保存的份數,即3副本表示共有3份數據。n非結構化數據(文檔、圖片、音視頻等)n分兩種情況,一種是把這些存到hbase的lob index裡,這個按照hbase的計算第二種情況是直接放到hdfs上那就是大小*副本數。