一、關(guān)于Apache Hadoop
1、為什么是Hadoop?
2、Hadoop的核心部件
3、基礎(chǔ)概念
二、HDFS
1、HDFS特性
2、讀,寫文件
3、NameNode內(nèi)存的考慮
4、HDFS安全性簡介
5、使用NameNode Web用戶界面
6、使用Hadoop文件Shell
三、數(shù)據(jù)導(dǎo)入
1、用Flume將數(shù)據(jù)從外部源導(dǎo)入
2、用Sqoop將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫導(dǎo)入
3、REST接口
4、輸入數(shù)據(jù)的實踐
四、YARN和MapReduce
1、什么是MapReduce?
2、MapReduce基本概念
3、YARN集群的架構(gòu)
4、資源分配
5、故障恢復(fù)
6、使用YARN Web用戶界面
7、MapReduce版本1
五、Hadoop集群計劃
1、通用計劃的考慮
2、選擇正確的硬件
3、對網(wǎng)絡(luò)的考慮
4、配置節(jié)點
5、為集群管理做計劃
六、Hadoop安裝和初始配置
1、部署的類型
2、安裝Hadoop
3、具體化Hadoop的配置
4、執(zhí)行HDFS的初始配置
5、執(zhí)行YARN和MapReduce的初始配置
6、Hadoop日志系統(tǒng)
七、安裝配置Hive,Impala和Pig
1、Hive
2、Impala
3、Pig
八、Hadoop客戶端
1、什么是Hadoop客戶端
2、安裝配置Hadoop客戶端
3、安裝配置Hue
4、Hue授權(quán)和認(rèn)證集群
九、Cloudera管理器
1、Cloudera管理器的動機
2、Cloudera管理器的特性
3、快速版和企業(yè)版
4、Cloudera管理器拓樸
5、安裝Cloudera管理器
6、用Cloudera管理器安裝Hadoop
7、用Cloudera管理器執(zhí)行基本的管理任務(wù)
十、集群的高級配置
1、高級配置參數(shù)
2、配置Hadoop端口
3、顯性地添加或移除主機
4、配置HDFS的機架認(rèn)知
5、配置HDFS高可用性
十一、Hadoop的安全方案
1、Hadoop安全性的重要
2、Hadoop安全系統(tǒng)的概念
3、Kerberos是什么,它如何工作
4、用Kerberos來守衛(wèi)Hadoop集群
十二、管理,計劃工作任務(wù)
1、管理正在運行的工作
2、計劃Hadoop工作
3、配置FairScheduler
4、Impala的查詢計劃
十三、集群的維護
1、檢查HDFS狀態(tài)
2、在不同集群間拷貝的節(jié)點
3、添加和挪去集群的節(jié)點
4、重新平衡集群
5、集群升級
十四、集群的監(jiān)控和故障診斷
1、通用系統(tǒng)監(jiān)控
2、監(jiān)控Hadoop集群
3、常見的Hadoop Clusters的故障排除
4、常見的錯誤配置