簡而言之，從大數(shù)據(jù)生命周期的角度來看，核心技術(shù)集中在四個方面：大數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲、數(shù)據(jù)分析，它們共同形成了大數(shù)據(jù)生命周期的核心技術(shù)。

大數(shù)據(jù)采集

  即對于結(jié)構(gòu)化和非結(jié)構(gòu)化海量的各種來源的數(shù)據(jù)，所進行的收集活動。
  1.數(shù)據(jù)庫獲取:目前比較流行的是Sqoop和ETL，很多企業(yè)仍然使用MySQL、Oracle等傳統(tǒng)關(guān)系數(shù)據(jù)庫進行數(shù)據(jù)存儲。當(dāng)然，對于開源Kettle和Talend本身，也集成了大數(shù)據(jù)集成內(nèi)容，可以實現(xiàn)HDFS、hbase和主流Nosq數(shù)據(jù)庫之間的數(shù)據(jù)同步和集成。
  2.網(wǎng)絡(luò)數(shù)據(jù)收集:通過web爬蟲或網(wǎng)站公共API從網(wǎng)頁中獲取非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，并將其結(jié)構(gòu)統(tǒng)一為本地數(shù)據(jù)的數(shù)據(jù)收集方法。
  3.文件采集:包括實時文件采集與處理技術(shù)flume、基于ELK的日志采集、增量采集等。

大數(shù)據(jù)預(yù)處理

  大數(shù)據(jù)預(yù)處理，指的是在數(shù)據(jù)分析之前，對個收集的原始數(shù)據(jù)進行如“沖洗、灌裝、光滑、合并、標(biāo)準(zhǔn)化和一致性檢查”等一系列的行動，旨在提高數(shù)據(jù)的質(zhì)量和為以后的分析打好基礎(chǔ)。

大數(shù)據(jù)存儲

  大數(shù)據(jù)存儲是指存儲器以數(shù)據(jù)庫的形式存儲采集到的數(shù)據(jù)的過程。

大數(shù)據(jù)分析與挖掘

  大數(shù)據(jù)分析與挖掘是從可視化分析、數(shù)據(jù)挖掘算法、預(yù)測分析、語義引擎和數(shù)據(jù)質(zhì)量管理等方面對無序數(shù)據(jù)進行提取、提煉和分析的過程。