【培訓(xùn)對象】
網(wǎng)絡(luò)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)中心、網(wǎng)絡(luò)運維部等相關(guān)技術(shù)人員。

【培訓(xùn)收益】

第一部分：Hadoop的基本框架
1、大數(shù)據(jù)時代面臨的問題
2、當(dāng)前解決大數(shù)據(jù)的技術(shù)方案
3、Hadoop架構(gòu)和云計算
4、Hadoop簡史及安裝部署
5、Hadoop設(shè)計理念和生態(tài)系統(tǒng)

第二部分：HDFS分布式文件系統(tǒng)--海量數(shù)據(jù)存儲的搖籃
1、HDFS的設(shè)計目標(biāo)
2、HDFS的基本架構(gòu)
NameNode名稱節(jié)點
SecondaryNameNode第二名稱節(jié)點
DataNode數(shù)據(jù)節(jié)點
3、HDFS的存儲模型
數(shù)據(jù)塊存儲
元數(shù)據(jù)存儲（空間鏡像與編輯日志）
多副本存儲
4、多副本放置策略
5、多數(shù)據(jù)節(jié)點管理機制與交互過程
6、文件系統(tǒng)操作與管理
讀文件過程
寫文件過程（數(shù)據(jù)流管道）
7、數(shù)據(jù)完整性機制
數(shù)據(jù)校驗和
數(shù)據(jù)完整性掃描線程
元數(shù)據(jù)備份與合并
8、數(shù)據(jù)可靠性設(shè)計
安全模式（數(shù)據(jù)塊與節(jié)點映射關(guān)系管理）
心跳檢測機制（節(jié)點失效管理）
租約機制（多線程并發(fā)控制）
9、其它
HDFS的安全機制
負(fù)載均衡
文件壓縮
10、操作接口與編程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演練：HDFS文件操作命令
演練：HDFS編程示例

第三部分：MapReduce分布式計算系統(tǒng)--海量數(shù)據(jù)處理的利器
1、MapReduce的三層設(shè)計理念
分布治之的設(shè)計思想（Map與Reduce）
數(shù)據(jù)處理引擎（編程模型）
運行時環(huán)境（任務(wù)調(diào)度與執(zhí)行）
2、MapReduce的基本架構(gòu)
JobTracker作業(yè)跟蹤器
TaskTracker任務(wù)跟蹤器
MapReduce與HDFS的部署關(guān)系
3、MapReduce編程模型概述
編程接口介紹
Hadoop工作流實現(xiàn)原理
4、MapReduce作業(yè)調(diào)度機制
MapReduce作業(yè)生命周期
作業(yè)調(diào)度策略
靜態(tài)資源管理方案
5、數(shù)據(jù)并行處理機制（五步驟）
Input階段實現(xiàn)
Map階段實現(xiàn)
Shuffle階段實現(xiàn)
Reduce階段實現(xiàn)
Output階段
6、MapReduce容錯機制
任務(wù)失敗與重新嘗試
節(jié)點失效與重調(diào)度
單點故障
7、MapReduce性能優(yōu)化
優(yōu)化方向與思路
磁盤IO性能優(yōu)化
分片優(yōu)化
線程數(shù)量優(yōu)化
內(nèi)存優(yōu)化
壓縮優(yōu)化
8、MapReduce操作接口
Job Shell
Web UI
案例演練：MapReduce編程示例
9、YARN：下一代通用資源管理系統(tǒng)
MRv1的局限性
YARN基本框架
NN HA：解決單點故障
HDFS Federation：解決擴展性問題

第四部分：HBase非關(guān)系型數(shù)據(jù)庫--海量數(shù)據(jù)的黎明
1、HBase的使用場景
2、HBase的基本架構(gòu)
Zookeeper分布式協(xié)調(diào)服務(wù)器
Master主控服務(wù)器
Region Server區(qū)域服務(wù)器
3、HBase的數(shù)據(jù)模型
HBase的表結(jié)構(gòu)
行鍵、列鍵、時間戳
4、HBase的存儲模型
基本單位Region
存儲格式HFile
5、數(shù)據(jù)分裂機制Split
6、數(shù)據(jù)合并機制Compaction
minor compaction
major compaction
7、HLog寫前日志
8、數(shù)據(jù)庫讀寫操作
數(shù)據(jù)庫寫入
數(shù)據(jù)庫讀取
三次尋址
9、HBase操作接口
Native Java API
HBase Shell
批量加載工具
HiveQL操作
10、HBase性能優(yōu)化
寫速度優(yōu)化
讀速度優(yōu)化
11、HBase集群監(jiān)控與管理
案例演練：HBase命令操作實例

第五部分：Hive分布式數(shù)據(jù)倉庫--高級的編程語言
1、Hive是什么
2、Hive與關(guān)系數(shù)據(jù)庫的區(qū)別
3、Hive系統(tǒng)架構(gòu)
用戶接口層
元數(shù)據(jù)存儲層
驅(qū)動層
4、Hive常用服務(wù)
5、Hive元數(shù)據(jù)的三種部署模式
6、Hive的命名空間
7、Hive數(shù)據(jù)類型與存儲格式
數(shù)據(jù)類型
TextFile/SequenceFile/RCFile
8、Hive的數(shù)據(jù)模型
管理表
外部表
分區(qū)表
桶表
9、HQL語言命令實例
DDL數(shù)據(jù)定義語言
DML數(shù)據(jù)操作語言
QUERY數(shù)據(jù)查詢語言
10、Hive自定義函數(shù)
基本函數(shù)（UDF）
聚合函數(shù)（UDAF）
表生成函數(shù)（UDTF）
11、Hive性能優(yōu)化
動態(tài)分區(qū)
壓縮
索引
JVM重用
案例演練：Hive命令操作實例

第六部分：Sqoop數(shù)據(jù)交互工具--與傳統(tǒng)數(shù)據(jù)庫的橋梁
1、Sqoop是什么
2、Sqoop的架構(gòu)和功能
Sqoop1架構(gòu)
Sqoop2架構(gòu)
3、數(shù)據(jù)雙向交換
數(shù)據(jù)導(dǎo)入過程
數(shù)據(jù)導(dǎo)出過程
4、數(shù)據(jù)導(dǎo)入工具與命令介紹
案例演練：Sqoop數(shù)據(jù)導(dǎo)入/導(dǎo)出實際操作

第七部分：Pig數(shù)據(jù)流處理引擎--數(shù)據(jù)腳本語言
1、Pig介紹
2、命令行交互工具Grunt
3、Pig數(shù)據(jù)類型
4、Pig Latin腳本語言介紹
基礎(chǔ)知識
輸入和輸出
關(guān)系操作
調(diào)用靜態(tài)Java函數(shù)
5、Pig Latin高級應(yīng)用
6、開發(fā)與測試Pig Latin腳本
開發(fā)工具
任務(wù)狀態(tài)監(jiān)控
調(diào)試技巧
7、腳本性能優(yōu)化
8、用戶自定義函數(shù)UDF
案例演練：Pig Latin腳本編寫、測試與運行操作

結(jié)束：課程總結(jié)與問題答疑。 

• 寬帶接入與智慧家庭技術(shù)培訓(xùn)

   

  時間 內(nèi)容 ..

  ￥   元/ 天

  人氣：883  

  

• 面向全業(yè)務(wù)的寬帶傳輸技術(shù)培訓(xùn)

   

  一、通信產(chǎn)業(yè)發(fā)展背景和趨勢1.全球互聯(lián)網(wǎng)流量現(xiàn)狀和趨勢2.全球無線接入流量變化趨勢3.全球消費者網(wǎng)絡(luò)視頻變化趨勢4.中國網(wǎng)民規(guī)模和結(jié)構(gòu)二、四川移動全業(yè)務(wù)布局和實現(xiàn)1.電信運營商全業(yè)務(wù)格局2.全業(yè)務(wù)運營的概念和特點3.中國移動全業(yè)務(wù)運營現(xiàn)狀4.全業(yè)務(wù)競爭下客戶的典型需求5.中國移動全業(yè)務(wù)布局6.全業(yè)務(wù)基礎(chǔ)通信..

  ￥   元/ 天

  人氣：593  

  

• 面向全業(yè)務(wù)的傳送網(wǎng)絡(luò)技術(shù)培訓(xùn)

   

  一、通信產(chǎn)業(yè)發(fā)展背景和趨勢1.全球互聯(lián)網(wǎng)流量現(xiàn)狀和趨勢2.全球無線接入流量變化趨勢3.全球消費者網(wǎng)絡(luò)視頻變化趨勢4.中國網(wǎng)民規(guī)模和結(jié)構(gòu)二、中國移動全業(yè)務(wù)布局和實現(xiàn)1.電信運營商全業(yè)務(wù)格局2.全業(yè)務(wù)運營的概念和特點3.中國移動全業(yè)務(wù)運營現(xiàn)狀4.全業(yè)務(wù)競爭下客戶的典型需求5.中國移動全業(yè)務(wù)布局6.全業(yè)務(wù)基礎(chǔ)通信..

  ￥   元/ 天

  人氣：683  

  

• 本地網(wǎng)PON技術(shù)培訓(xùn)

   

  一、達(dá)州移動網(wǎng)絡(luò)架構(gòu)和技術(shù)選擇1.達(dá)州移動網(wǎng)絡(luò)架構(gòu)2.達(dá)州移動業(yè)務(wù)類型3.達(dá)州移動本地網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實現(xiàn)二、PON關(guān)鍵技術(shù)1.接入網(wǎng)技術(shù)概述2.PON的概念及技術(shù)分類3.光進(jìn)銅退的概念4.PON網(wǎng)絡(luò)工作原理和網(wǎng)絡(luò)質(zhì)量5.OLT設(shè)備和工作原理6.ONU設(shè)備和工作原理三、影響接入網(wǎng)網(wǎng)絡(luò)質(zhì)量..

  ￥   元/ 天

  人氣：743  

  

• 全業(yè)務(wù)綜合故障解決方案培訓(xùn)、裝維技術(shù)培訓(xùn)

   

  時間 內(nèi)容 收益 ..

  ￥   元/ 天

  人氣：653  

  

• 物聯(lián)網(wǎng)智能技術(shù)培訓(xùn)

   

  Topics/題目 Contents/內(nèi)容 時長/Time ..

  ￥   元/ 天

  人氣：832