
大數據分析

大數據分析是指對規模巨大的數據進行分析。大數據可以概括為5個V, 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、價值(Value)、真實性(Veracity)。大數據作為時下最火熱的IT行業的詞匯,隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨,大數據分析也應運而生
異步處理的大數據分析中遵守了捕獲、存儲加分析的流程,過程中數據由傳感器、網頁服務器、銷售終端、移動設備等獲取,之后再存儲到相應設備上,之后再進行分析。由于這些類型的分析都是通過傳統的關系型數據庫管理系統(RDBMS)進行的,數據形式都需要轉換或者轉型成為RDBMS能夠使用的結構類型,例如行或者列的形式,并且需要和其它的數據相連續。
處理的過程被稱之為提取、轉移、加載或者稱為ETL。首先將數據從源系統中提取處理,再將數據標準化處理且將數據發往相應的數據倉儲等待進一步分析。在傳統數據庫環境中,這種ETL步驟相對直接,因為分析的對象往往是為人們熟知的金融報告、銷售或者市場報表、企業資源規劃等等。然而在大數據環境下,ETL可能會變得相對復雜,因此轉型過程對于不同類型的數據源之間處理方式是不同的。
當分析開始的時候,數據首先從數據倉儲中會被抽出來,被放進RDBMS里以產生需要的報告或者支撐相應的商業智能應用。在大數據分析的環節中,裸數據以及經轉換了的數據大都會被保存下來,因為可能在后面還需要再次轉換。
異步處理的大數據分析中遵守了捕獲、存儲加分析的流程,過程中數據由傳感器、網頁服務器、銷售終端、移動設備等獲取,之后再存儲到相應設備上,之后再進行分析。由于這些類型的分析都是通過傳統的關系型數據庫管理系統(RDBMS)進行的,數據形式都需要轉換或者轉型成為RDBMS能夠使用的結構類型,例如行或者列的形式,并且需要和其它的數據相連續。
處理的過程被稱之為提取、轉移、加載或者稱為ETL。首先將數據從源系統中提取處理,再將數據標準化處理且將數據發往相應的數據倉儲等待進一步分析。在傳統數據庫環境中,這種ETL步驟相對直接,因為分析的對象往往是為人們熟知的金融報告、銷售或者市場報表、企業資源規劃等等。然而在大數據環境下,ETL可能會變得相對復雜,因此轉型過程對于不同類型的數據源之間處理方式是不同的。
當分析開始的時候,數據首先從數據倉儲中會被抽出來,被放進RDBMS里以產生需要的報告或者支撐相應的商業智能應用。在大數據分析的環節中,裸數據以及經轉換了的數據大都會被保存下來,因為可能在后面還需要再次轉換。
上一篇:九次方大數據
下一篇:大數據時代