數據壓縮比

數據壓縮比

計算器學概念
數據壓縮比為衡量數據壓縮器壓縮效率的質量指标。是指數據被壓縮的比例。[1]
  • 中文名:數據壓縮比
  • 外文名:data compression ratio
  • 适用領域:計算機
  • 所屬學科:
  • 性質:質量指标

計算方法

按存儲容量規劃n針對不同的數據存儲形式(text,ORC,Hyperbase,ES等),分别計算所需的存儲空間,總和即為存儲數據需要的總存儲空間。n存儲計算公式(HDFS默認3副本;ES默認2倍膨脹率、1副本):nTextn數據量×(副本數+臨時存儲)×冗餘(1.2)nORCn數據量×(副本數+臨時存儲)×壓縮比(1:5)×冗餘(1.2)nHyperbasen數據量×(副本數+臨時存儲)×壓縮比(1:3)×冗餘(1.3)+索引數據量×副本數×壓縮比(1:3)nESn數據量×膨脹率×(1+副本數)n

注意

:ES的副本概念與HDFS不同,ES的副本指原始數據的額外副本數據,即1副本表示共有1(原始數據)+1(副本數據)=2份數據;HDFS的副本數即為數據保存的份數,即3副本表示共有3份數據。n非結構化數據(文檔、圖片、音視頻等)n分兩種情況,一種是把這些存到hbase的lob index裡,這個按照hbase的計算第二種情況是直接放到hdfs上那就是大小*副本數。

相關詞條

相關搜索

其它詞條