大數(shù)據(jù)課程-太原

【課程特色】

1.?? 課上采用案例式教學(xué)，通俗易懂，課下一對(duì)一輔導(dǎo)強(qiáng)化訓(xùn)練，學(xué)與練交叉進(jìn)行強(qiáng)化記憶，你所要做的就是認(rèn)真聽，勤于問，樂于練。

2.?? 清晰的知識(shí)結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗(yàn)采用最優(yōu)化授課模式。

3.?? 內(nèi)容充沛、詳略得當(dāng)，前后呼應(yīng)。

4.?? 講師資歷豐富，具有豐富的實(shí)踐經(jīng)驗(yàn)。

5.?? 知識(shí)講授+貼身案例+場景故事+互動(dòng)討論+現(xiàn)場演練+落地跟蹤

【課程時(shí)間】3天

【課程大綱】

第一部分：數(shù)據(jù)處理架構(gòu)介紹

1大數(shù)據(jù)的初步認(rèn)知

1.1何謂大數(shù)據(jù)

1.2大數(shù)據(jù)的發(fā)展現(xiàn)狀

1.3大數(shù)據(jù)的發(fā)展趨勢

2大數(shù)據(jù)的架構(gòu)分析

2.1大數(shù)據(jù)架構(gòu)概述

2.2大數(shù)據(jù)架構(gòu)設(shè)計(jì)

2.3大數(shù)據(jù)架構(gòu)的參考模型

3大數(shù)據(jù)的數(shù)據(jù)獲取

3.1數(shù)據(jù)分類與數(shù)據(jù)獲取組件

3.2探針在數(shù)據(jù)獲取中的原理作用

3.3?網(wǎng)頁采集與日志收集

3.4?數(shù)據(jù)分發(fā)中間件的作用分析

4機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)

4.1?機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘的關(guān)系

4.2機(jī)器學(xué)習(xí)的方式與類型

4.3機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘的應(yīng)用

4.4深度學(xué)習(xí)的實(shí)踐與發(fā)展

5大數(shù)據(jù)的安全與隱私

5.1大數(shù)據(jù)時(shí)代面臨的安全挑戰(zhàn)

5.2安全問題解決的框架、技術(shù)與體系

5.3大數(shù)據(jù)隱私保護(hù)的政策法規(guī)與技術(shù)介紹

6大數(shù)據(jù)架構(gòu)的實(shí)現(xiàn)與應(yīng)用實(shí)例

6.1大數(shù)據(jù)架構(gòu)的實(shí)現(xiàn)途徑

6.2?大數(shù)據(jù)在電網(wǎng)中的應(yīng)用案例解析

第二部分：HDFS原理及應(yīng)用

1分布式文件系統(tǒng)HDFS

1.1?計(jì)算機(jī)集群結(jié)構(gòu)

1.2?分布式文件系統(tǒng)的結(jié)構(gòu)

1.3?分布式文件系統(tǒng)的設(shè)計(jì)需求

2 HDFS簡介

3 HDFS的相關(guān)概念

3.1?塊

3.2?名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)

3.3?第二名稱節(jié)點(diǎn)

4 HDFS體系結(jié)構(gòu)

4.1?概述

4.2 HDFS命名空間管理

4.3?通信協(xié)議

4.4?客戶端

4.5 HDFS體系結(jié)構(gòu)的局限性

5 HDFS的存儲(chǔ)原理

5.1?數(shù)據(jù)的冗余存儲(chǔ)

5.2?數(shù)據(jù)存取策略

5.3?數(shù)據(jù)錯(cuò)誤與恢復(fù)

6 HDFS的數(shù)據(jù)讀寫過程

6.1?讀數(shù)據(jù)的過程

6.2?寫數(shù)據(jù)的過程

7 HDFS編程實(shí)踐

7.1 HDFS常用命令

7.2 HDFS的Web頁面

7.3 HDFS常用Java API及應(yīng)用實(shí)例

實(shí)驗(yàn)：熟悉常用的HDFS操作

第三部分：HBase原理及應(yīng)用

1?概述

1.1?從BigTable說起

1.2 HBase簡介

1.3 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對(duì)比分析

2 HBase訪問接口

3 HBase數(shù)據(jù)模型

3.1?數(shù)據(jù)模型概述

3.2?數(shù)據(jù)模型的相關(guān)概念

3.3?數(shù)據(jù)坐標(biāo)

3.4?概念視圖

3.5?物理視圖

3.6?面向列的存儲(chǔ)

4 HBase的實(shí)現(xiàn)原理

4.1 HBase的功能組件

4.2?表和Region

4.3 Region的定位

5 HBase運(yùn)行機(jī)制

5.1 HBase系統(tǒng)架構(gòu)

5.2 Region服務(wù)器的工作原理

5.3 Store的工作原理

5.4 HLog的工作原理

6 HBase編程實(shí)踐

6.1 HBase常用的Shell命令

6.2 HBase常用的Java API及應(yīng)用實(shí)例

實(shí)驗(yàn)：熟悉常用的HBase操作

第四部分：ETL工具介紹

1開啟ETL之旅

1.1了解ETL

1.2選擇ETL工具

2配置Kettle運(yùn)行環(huán)境

2.1安裝JDK

2.2安裝MySQL數(shù)據(jù)庫

2.3配置Kettle

3熟悉Kettle基本操作

3.1認(rèn)識(shí)Kettle界面

3.2新建轉(zhuǎn)換與任務(wù)

3.3運(yùn)行與查看結(jié)果面板

4數(shù)據(jù)獲取

4.1創(chuàng)建數(shù)據(jù)庫連接

4.2表輸入

4.3 CSV文件輸入

4.4 Excel輸入

4.5生成記錄

5記錄處理

5.1?排序記錄

5.2?去除重復(fù)記錄

5.3?過濾記錄　

5.4值映射

5.5字符串替換

5.6字符串操作

5.7分組

6字段處理

6.1字段選擇

6.2增加常量

6.3將字段值設(shè)置為常量

6.4剪切字符串

6.5拆分字段

7高級(jí)轉(zhuǎn)換

7.1記錄集連接

7.2多路數(shù)據(jù)合并連接

7.3公式

8遷移和裝載

8.1表輸出

8.2插入/更新

8.3 Excel輸出

8.4文本文件輸出

8.5 SQL文件輸出

9項(xiàng)目實(shí)戰(zhàn)

9.1分析任務(wù)數(shù)據(jù)需求

9.2熟悉任務(wù)流程

9.3實(shí)現(xiàn)項(xiàng)目

第五部分：MapReduce原理應(yīng)用開發(fā)

1概述

1.1?分布式并行編程

1.2 MapReduce模型簡介

1.3 Map和Reduce函數(shù)

2 MapReduce的工作流程

2.1?工作流程概述

2.2 MapReduce的各個(gè)執(zhí)行階段

2.3 Shuffle過程詳解

3?實(shí)例分析：WordCount?

3.1 WordCount的程序任務(wù)

3.2 WordCount的設(shè)計(jì)思路

3.3 WordCount的具體執(zhí)行過程

3.4?一個(gè)WordCount執(zhí)行過程的實(shí)例

4 MapReduce的具體應(yīng)用

4.1 MapReduce在關(guān)系代數(shù)運(yùn)算中的應(yīng)用

4.2?分組與聚合運(yùn)算

4.3?矩陣-向量乘法

4.4?矩陣乘法

5 MapReduce編程實(shí)踐

5.1?任務(wù)要求

5.2?編寫Map處理邏輯

5.3?編寫Reduce處理邏輯

5.4?編寫main方法

5.5?編譯打包代碼以及運(yùn)行程序

實(shí)驗(yàn)MapReduce初級(jí)編程實(shí)踐

實(shí)操內(nèi)容：

1?在Windows中使用VirtualBox安裝Ubuntu虛擬機(jī)

2 Hadoop3.1.3安裝教程 單機(jī)版

2.1 Hadoop簡介

2.2?安裝Hadoop前的準(zhǔn)備工作

2.2.1?創(chuàng)建hadoop用戶

2.2.2?更新APT?

2.2.3?安裝SSH?

2.2.4?安裝Java環(huán)境

2.3?安裝Hadoop?

2.3.1?下載安裝文件

2.3.2?單機(jī)模式配置

3 HDFS編程實(shí)踐（Hadoop3.1.3）

3.1 HDFS操作常用的Shell命令

3.1.1?查看命令的用法

3.1.2 HDFS操作

3.2?利用HDFS的Web管理界面

3.3 HDFS編程實(shí)踐

3.3.1?在Eclipse中創(chuàng)建項(xiàng)目

3.3.2?為項(xiàng)目添加需要用到的JAR包

3.3.3?編寫Java應(yīng)用程序

3.3.4?編譯運(yùn)行程序

3.3.5?應(yīng)用程序的部署

4 MapReduce編程實(shí)踐(Hadoop3.1.3)

4.1詞頻統(tǒng)計(jì)任務(wù)要求

4.2 MapReduce程序編寫方法

4.2.1?編寫Map處理邏輯

4.2.2?編寫Reduce處理邏輯

4.2.3?編寫main方法

4.2.4?完整的詞頻統(tǒng)計(jì)程序

4.3?編譯打包程序

4.3.1?使用命令行編譯打包詞頻統(tǒng)計(jì)程序

4.3.2?使用Eclipse編譯打包詞頻統(tǒng)計(jì)程序

4.4?運(yùn)行程序

劉暉老師的其它課程