本課程以大數(shù)據(jù)為基礎(chǔ)，從機(jī)器學(xué)習(xí)算法,Spark大數(shù)據(jù)實時與高性能處理平臺剖析,到數(shù)據(jù)預(yù)處理,特征選擇,模型評估，監(jiān)督學(xué)習(xí),無監(jiān)督學(xué)習(xí)算法,Spark ML ib數(shù)據(jù)挖掘。

1.有Java編程語言基礎(chǔ)；
2.有大數(shù)據(jù)編程基礎(chǔ)知識；
3.有一定的Python基礎(chǔ)
4.對大數(shù)據(jù)分析與挖掘有興趣

時  間	主要授課內(nèi)容
天 大數(shù)據(jù)分析挖掘算法	內(nèi)容一：大數(shù)據(jù)分析挖掘算法 1．業(yè)界常見的大數(shù)據(jù)分析應(yīng)用場景以及對應(yīng)的分析算法模型應(yīng)用，及其案例 2．常用的統(tǒng)計分析模型的介紹，包括方差分析、線性擬合、回歸、邏輯回歸、因子分析、主成分分析、時間序列分析的基礎(chǔ)知識 3．常用的數(shù)據(jù)挖掘模型介紹，重點介紹六類機(jī)器學(xué)習(xí)與挖掘模型算法 4．業(yè)界主流的數(shù)據(jù)倉庫工具和數(shù)據(jù)分析挖掘相關(guān)工具軟件的應(yīng)用概述 內(nèi)容二：機(jī)器學(xué)習(xí) 1．機(jī)器學(xué)習(xí)概念、發(fā)展歷程 2．機(jī)器學(xué)習(xí)的應(yīng)用場景 3．機(jī)器學(xué)習(xí)與統(tǒng)計分析 4．無監(jiān)督式學(xué)習(xí)概述 5．有監(jiān)督式學(xué)習(xí)概述 6．半監(jiān)督式學(xué)習(xí)概述 7．強(qiáng)化學(xué)習(xí)概述 8．人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述 9．深度學(xué)習(xí)概述 10．機(jī)器學(xué)習(xí)的應(yīng)用場景和應(yīng)用案例
第二天 Spark大數(shù)據(jù)實時與高性能處理平臺剖析	內(nèi)容：Spark大數(shù)據(jù)實時與高性能處理平臺剖析 1．Spark實時大數(shù)據(jù)處理平臺架構(gòu) 2．Spark編程模型以及Spark編程實例解析 3．Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機(jī)制 4．Spark Core的核心組件剖析 5．Spark系統(tǒng)架構(gòu)和運行過程剖析 6．Spark on Yarn運行原理和實例 7．Spark RDD transform、滑動窗口、foreachRDD性能優(yōu)化、持久化、checkpoint、容錯與事務(wù)、與Spark SQL整合使用 8．基于Spark的實時數(shù)據(jù)倉庫與實時分析挖掘處理的應(yīng)用實踐，以及應(yīng)用案例
第三天 Spark SQL應(yīng)用實戰(zhàn)	內(nèi)容：Spark SQL應(yīng)用實戰(zhàn) 1．Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理與操作 2．Spark SQL核心代碼剖析 3．Spark SQL客戶端開發(fā)包API 4．Spark SQL實時統(tǒng)計應(yīng)用 5．Spark SQL應(yīng)用程序開發(fā)實踐
第四天 Spark Streaming應(yīng)用實戰(zhàn)	內(nèi)容：Spark Streaming應(yīng)用實戰(zhàn) 1．Streaming與Storm在實時流計算處理應(yīng)用場景下的案例與比較 2．Spark Streaming與Spark交互的實現(xiàn)機(jī)制 3．Spark Streaming的核心代碼剖析 4．Spark Streaming客戶端編程實踐 5．Spark Streaming實時流數(shù)據(jù)分析處理應(yīng)用開發(fā)實踐
第五天 數(shù)據(jù)預(yù)處理與特征選擇	內(nèi)容一：數(shù)據(jù)預(yù)處理 1．?dāng)?shù)據(jù)抽取、轉(zhuǎn)換和加載 2．?dāng)?shù)據(jù)清洗 3．特征處理 內(nèi)容二：特征選擇與降維 1．特征選擇概述 2．Filter 3．Wrapper 4．Embedded 5．特征擴(kuò)增 6．降維、PCA、LDA、LLE、SVD
第六天 機(jī)器學(xué)習(xí)算法	內(nèi)容一：有監(jiān)督學(xué)習(xí) 1．KNN算法 2．決策樹算法 3．SVM算法 4．樸素貝葉斯算法 5．邏輯回歸算法 6．線性回歸算法 7．集成算法 內(nèi)容二：無監(jiān)督學(xué)習(xí) 1．聚類算法 2．關(guān)聯(lián)算法 內(nèi)容三：模型評估與優(yōu)化 1．模型優(yōu)化與評估概念 2．最優(yōu)化模型 3．模型評估與選擇
第七天 Spark MLlib數(shù)據(jù)挖掘	內(nèi)容：Spark  MLlib數(shù)據(jù)挖掘 1．   Spark MLlib概述 2．   Spark MLlib評估矩陣 3．   Spark MLlib關(guān)聯(lián)規(guī)則與推薦算法 4．   Spark MLlib聚類與降維 5．   Spark MLlib分類與回歸 6．   Spark MLlib特征提取和轉(zhuǎn)換 7．   Spark MLlib基礎(chǔ)統(tǒng)計分析
第八天 大數(shù)據(jù)挖掘案例	內(nèi)容：綜合實驗 1．  房價售價預(yù)測 2．? 個人收入分群 3．? 移民的簽證預(yù)測 4．? 銀行辦理定期存款業(yè)務(wù)預(yù)測

掌握大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)的完整流程
掌握大數(shù)據(jù)與機(jī)器學(xué)習(xí)的核心算法建模
掌握大數(shù)據(jù)商品推薦算法建模能力
掌握數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的主流開發(fā)庫
掌握大數(shù)據(jù)用戶畫像的機(jī)器學(xué)習(xí)建模過程