123,123

大數(shù)據(jù)分析實(shí)戰(zhàn)-Spark編程

培訓(xùn)講師：劉暉

講師背景：
劉暉老師通信行業(yè)特約培訓(xùn)導(dǎo)師【專業(yè)資質(zhì)】?北大計(jì)算機(jī)、北郵通信雙學(xué)位?（原）中興通訊學(xué)院高級(jí)講師?大慶油田技術(shù)研究院高級(jí)內(nèi)訓(xùn)講師?15年嵌入式硬件、軟件開發(fā)和系統(tǒng)架構(gòu)設(shè)計(jì)總監(jiān)?有8年多的“云大智物”開發(fā)及實(shí)施經(jīng)驗(yàn)。曾供職于巨龍通信、大唐電信詳細(xì)>>

下載需求表打印本課程填寫需求表在線咨詢

課程咨詢電話：

大數(shù)據(jù)分析實(shí)戰(zhàn)-Spark編程詳細(xì)內(nèi)容

大數(shù)據(jù)分析實(shí)戰(zhàn)-Spark編程

【課程特色】

1.?? 課上采用案例式教學(xué)，通俗易懂，課下一對(duì)一輔導(dǎo)強(qiáng)化訓(xùn)練，學(xué)與練交叉進(jìn)行強(qiáng)化記憶，你所要做的就是認(rèn)真聽，勤于問，樂于練。

2.?? 清晰的知識(shí)結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗(yàn)采用最優(yōu)化授課模式。

3.?? 內(nèi)容充沛、詳略得當(dāng)，前后呼應(yīng)。

4.?? 講師資歷豐富，具有豐富的實(shí)踐經(jīng)驗(yàn)。

5.?? 知識(shí)講授+貼身案例+場景故事+互動(dòng)討論+現(xiàn)場演練+落地跟蹤

【課程時(shí)間】2天

【課程大綱】

第一天：實(shí)戰(zhàn)準(zhǔn)備基礎(chǔ)

第1?章大數(shù)據(jù)技術(shù)概述

1.1?大數(shù)據(jù)的概念與關(guān)鍵技術(shù)

1.2?代表性大數(shù)據(jù)技術(shù)

1.2.1 Hadoop?

1.2.2 Spark

1.2.3 Flink

1.2.4 Beam

1.3?編程語言的選擇

實(shí)驗(yàn)1 Linux?系統(tǒng)的安裝和常用命令

第2?章 Scala?語言基礎(chǔ)

2.1 Scala?語言概述

2.2 Scala?基礎(chǔ)知識(shí)

2.3?面向?qū)ο缶幊袒A(chǔ)

2.4?函數(shù)式編程基礎(chǔ)

實(shí)驗(yàn)2 Scala?編程初級(jí)實(shí)踐

第3?章 Spark?的設(shè)計(jì)與運(yùn)行原理

3.1?概述

3.2 Spark?生態(tài)系統(tǒng)

3.3 Spark?運(yùn)行架構(gòu)

3.4 Spark?的部署方式

第4?章 Spark?環(huán)境搭建和使用方法

4.1?安裝Spark

4.2?在spark-shell?中運(yùn)行代碼

4.3?開發(fā)Spark?獨(dú)立應(yīng)用程序

4.3.1?安裝編譯打包工具

4.3.2?編寫Spark?應(yīng)用程序代碼

4.3.3?編譯打包

4.3.4?通過spark-submit?運(yùn)行程序

4.4 Spark?集群環(huán)境搭建

4.5?在集群上運(yùn)行Spark?應(yīng)用程序

實(shí)驗(yàn)3 Spark?和Hadoop?的安裝

第5?章 RDD?編程

5.1 RDD?編程基礎(chǔ)

5.2?鍵值對(duì)RDD?

5.3?數(shù)據(jù)讀寫

5.4?綜合實(shí)例

實(shí)驗(yàn)4 RDD?編程初級(jí)實(shí)踐

第6?章 Spark SQL

6.1 Spark SQL?簡介

6.2 DataFrame?概述

6.3 DataFrame?的創(chuàng)建

6.4 DataFrame?的保存

6.5 DataFrame?的常用操作

6.6?從RDD?轉(zhuǎn)換得到DataFrame

6.7?使用Spark SQL?讀寫數(shù)據(jù)庫

實(shí)驗(yàn)5 Spark SQL?編程初級(jí)實(shí)踐

第7?章 Spark Streaming

7.1?流計(jì)算概述

7.2 Spark Streaming

7.3 DStream?操作概述

7.4?基本輸入源

7.5?高級(jí)數(shù)據(jù)源

7.6?轉(zhuǎn)換操作

7.7?輸出操作

實(shí)驗(yàn)6 Spark Streaming?編程初級(jí)實(shí)踐

第8?章 Spark Mllib

8.1?基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)

8.2?機(jī)器學(xué)習(xí)庫MLlib?概述

8.3?基本數(shù)據(jù)類型

8.4?機(jī)器學(xué)習(xí)流水線

8.5?特征提取、轉(zhuǎn)換和選擇

8.6?分類算法

8.7?聚類算法

8.8?協(xié)同過濾算法

8.9?模型選擇和超參數(shù)調(diào)整

實(shí)驗(yàn)7 Spark?機(jī)器學(xué)習(xí)庫MLlib?編程

第二天：實(shí)戰(zhàn)案例分析及運(yùn)用

講解案例1：淘寶雙11數(shù)據(jù)分析與預(yù)測

延伸案例：生產(chǎn)狀態(tài)實(shí)時(shí)監(jiān)測

案例簡介

本案例涉及數(shù)據(jù)預(yù)處理、存儲(chǔ)、查詢和可視化分析等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系統(tǒng)和軟件的安裝和使用方法。通過本案例，將有助于綜合運(yùn)用大數(shù)據(jù)課程知識(shí)以及各種工具軟件，實(shí)現(xiàn)數(shù)據(jù)全流程操作。

案例目的

熟悉Linux系統(tǒng)、MySQL、Hadoop、Hive、Sqoop、Spark等系統(tǒng)和軟件的安裝和使用；
了解大數(shù)據(jù)處理的基本流程；
熟悉數(shù)據(jù)預(yù)處理方法；
熟悉在不同類型數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)相互導(dǎo)入導(dǎo)出；
熟悉使用JSP語言搭建動(dòng)態(tài)Web工程；
熟悉使用Spark MLlib進(jìn)行簡單的分類操作。

硬件要求

本案例可以在單機(jī)上完成，也可以在集群環(huán)境下完成。

單機(jī)上完成本案例實(shí)驗(yàn)時(shí)，建議計(jì)算機(jī)硬件配置為：500GB以上硬盤，8GB以上內(nèi)存。

軟件工具

本案例所涉及的系統(tǒng)及軟件：

Linux系統(tǒng)
MySQL
Hadoop
Hive
Sqoop
ECharts
Eclipse
Spark

數(shù)據(jù)集

淘寶購物行為數(shù)據(jù)集 (5000萬條記錄，數(shù)據(jù)有偏移，不是真實(shí)的淘寶購物交易數(shù)據(jù)，但是不影響學(xué)習(xí))

案例任務(wù)

安裝Linux操作系統(tǒng)
安裝關(guān)系型數(shù)據(jù)庫MySQL
安裝大數(shù)據(jù)處理框架Hadoop
安裝數(shù)據(jù)倉庫Hive
安裝Sqoop
安裝Eclipse
安裝 Spark
對(duì)文本文件形式的原始數(shù)據(jù)集進(jìn)行預(yù)處理
把文本文件的數(shù)據(jù)集導(dǎo)入到數(shù)據(jù)倉庫Hive中
對(duì)數(shù)據(jù)倉庫Hive中的數(shù)據(jù)進(jìn)行查詢分析
使用Sqoop將數(shù)據(jù)從Hive導(dǎo)入MySQL
利用Eclipse搭建動(dòng)態(tài)Web應(yīng)用
利用ECharts進(jìn)行前端可視化分析
利用Spark MLlib進(jìn)行回頭客行為預(yù)測

講解案例2：Spark大數(shù)據(jù)分析案例之平均心率檢測

延伸案例：智慧安防的大數(shù)據(jù)運(yùn)用

案例簡介

本案例涉及數(shù)據(jù)預(yù)處理、消息隊(duì)列發(fā)送和接收消息、數(shù)據(jù)實(shí)時(shí)處理、數(shù)據(jù)實(shí)時(shí)推送和實(shí)時(shí)展示等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系統(tǒng)和軟件的安裝和使用方法。

案例目的

熟悉Linux系統(tǒng)、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、socket.io.js等系統(tǒng)和軟件的安裝和使用；
了解Spark+Kafka實(shí)時(shí)處理數(shù)據(jù)的基本流程；
熟悉Python操作Kafka的方法；
熟悉Spark Streaming程序編寫；
熟悉Spark操作Kafka的方法；
熟悉Python構(gòu)建Web程序；
熟悉SocketIO實(shí)時(shí)推送消息；
熟悉Highcharts.js展示數(shù)據(jù)。

硬件要求

本案例可以在單機(jī)上完成，也可以在集群環(huán)境下完成。

單機(jī)上完成本案例實(shí)驗(yàn)時(shí)，建議計(jì)算機(jī)硬件配置為：500GB以上硬盤，8GB以上內(nèi)存。

軟件工具

本案例所涉及的系統(tǒng)及軟件：

Linux系統(tǒng)
Spark
Kafka
Flask
Flask-SocketIO
Highcharts.js
Socket.io.js
PyCharm

數(shù)據(jù)相關(guān)

本案例采用的數(shù)據(jù)集是由應(yīng)用程序producer隨機(jī)產(chǎn)生的。該數(shù)據(jù)集表示的正常人的心跳速率。下面列出產(chǎn)生的數(shù)據(jù)格式定義：

1. name |?姓名

2. rate |?心跳率

3. dt |?產(chǎn)生數(shù)據(jù)的時(shí)間

案例任務(wù)

安裝Linux操作系統(tǒng)
安裝Spark
安裝Kafka
安裝Python依賴庫
安裝PyCharm
對(duì)文本文件形式的原始數(shù)據(jù)集進(jìn)行預(yù)處理
將預(yù)處理后的數(shù)據(jù)發(fā)送至Kafka
Spark從Kafka獲取數(shù)據(jù)，實(shí)時(shí)處理，結(jié)果發(fā)送至Kafka
Flask構(gòu)建的Web程序從Kafka獲取處理后的數(shù)據(jù)
Flask-SockerIO實(shí)時(shí)推送數(shù)據(jù)至客戶端
客戶端Socket.io.js實(shí)時(shí)獲取數(shù)據(jù)
客戶端Highcharts.js實(shí)時(shí)展示數(shù)據(jù)

劉暉老師的其它課程

5G、大數(shù)據(jù)對(duì)于醫(yī)療行業(yè)發(fā)展趨勢的影響和指導(dǎo)意義 12.31

【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對(duì)一輔導(dǎo)強(qiáng)化訓(xùn)練，學(xué)與練交叉進(jìn)行強(qiáng)化記憶，你所要做的就是認(rèn)真聽，勤于問，樂于練。2.??清晰的知識(shí)結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗(yàn)采用最優(yōu)化授課模式。3.??內(nèi)容充沛、詳略得當(dāng)，前后呼應(yīng)。4.??講師資歷豐富，具有豐富的實(shí)踐經(jīng)驗(yàn)。5.??知識(shí)講授+貼身案例+場景故事+互動(dòng)討論+現(xiàn)場演練+落地跟蹤【課程時(shí)間】1天【課程

講師：劉暉詳情

5G 時(shí)代下的綠色智慧物業(yè) 12.31

【課程背景】住房和城鄉(xiāng)建設(shè)部印發(fā)的《國家智慧城市試點(diǎn)暫行管理辦法》和《國家智慧城市（區(qū)、鎮(zhèn)）試點(diǎn)指標(biāo)體系（試行）》兩個(gè)文件指出：建設(shè)智慧城市是創(chuàng)新驅(qū)動(dòng)發(fā)展、推動(dòng)新型城鎮(zhèn)化、全面建成小康社會(huì)的重要舉措。這對(duì)于服務(wù)于千千萬萬城市、社區(qū)、園區(qū)、小區(qū)、樓宇，以及工作和生活在其中的業(yè)主和客戶的物業(yè)管理服務(wù)業(yè)來說，已然迎來最大的發(fā)展機(jī)遇。物業(yè)管理行業(yè)不僅是智慧社區(qū)的受益

講師：劉暉詳情

5G+智慧煤礦 12.31

講師：劉暉詳情

5G+行業(yè)應(yīng)用前景及知識(shí)賦能 12.31

講師：劉暉詳情

5G產(chǎn)業(yè)發(fā)展與應(yīng)用創(chuàng)新 12.31

5G產(chǎn)業(yè)發(fā)展與應(yīng)用創(chuàng)新【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實(shí)踐探索。本課程站在科技發(fā)展的前沿，探討了5G在物聯(lián)網(wǎng)、人工智能、無人機(jī)、醫(yī)療、農(nóng)業(yè)、教育、工業(yè)互聯(lián)網(wǎng)、新媒體等行業(yè)的應(yīng)用案例。值得指出的是，案例以運(yùn)營商、一流企業(yè)等機(jī)構(gòu)在5G領(lǐng)域的實(shí)踐為主線，對(duì)5G行業(yè)應(yīng)用創(chuàng)新案例做了詳細(xì)的講解?！菊n程收益】

講師：劉暉詳情

5G賦能環(huán)保行業(yè)應(yīng)用與創(chuàng)新案例解析 12.31

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實(shí)踐探索。【課程收益】1了解5G從信息通信技術(shù)支持到業(yè)務(wù)模式推廣和場景的應(yīng)用，掌握5G在新時(shí)代、新技術(shù)下的行業(yè)發(fā)展趨勢；2以鮮活的應(yīng)用案例和解決方案詳細(xì)掌握5G給環(huán)保行業(yè)方面帶來全新變革的藍(lán)圖和愿景；【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對(duì)一輔導(dǎo)強(qiáng)

講師：劉暉詳情

5G賦能工業(yè)互聯(lián)網(wǎng) 12.31

5G賦能工業(yè)互聯(lián)網(wǎng)【課程背景】5G通過技術(shù)創(chuàng)新實(shí)現(xiàn)了增強(qiáng)型移動(dòng)寬帶、超大規(guī)模物聯(lián)網(wǎng)和高可靠、低時(shí)延等三大應(yīng)用場景全覆蓋，把人與人之間的通信拓展到了人與物、物與物之間的通信，從消費(fèi)互聯(lián)網(wǎng)拓展到了產(chǎn)業(yè)互聯(lián)網(wǎng)，為行業(yè)數(shù)字化轉(zhuǎn)型提供了關(guān)鍵的數(shù)字基礎(chǔ)設(shè)施。5G和人工智能/大數(shù)據(jù)/云計(jì)算/邊緣計(jì)算/區(qū)塊鏈等新一代信息技術(shù)相結(jié)合，多技術(shù)交織并進(jìn)、深度滲透、協(xié)同應(yīng)用，孕育技

講師：劉暉詳情

5G賦能行業(yè)應(yīng)用與創(chuàng)新案例解析 12.31

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實(shí)踐探索。本課程站在科技發(fā)展的前沿，探討了5G在物聯(lián)網(wǎng)、人工智能、無人機(jī)、醫(yī)療、農(nóng)業(yè)、教育、工業(yè)互聯(lián)網(wǎng)、新媒體等行業(yè)的應(yīng)用案例。值得指出的是，案例以運(yùn)營商、一流企業(yè)等機(jī)構(gòu)在5G領(lǐng)域的實(shí)踐為主線，對(duì)5G行業(yè)應(yīng)用創(chuàng)新案例做了詳細(xì)的講解。【課程收益】1了解5G從信息通信技

講師：劉暉詳情

5G賦能金融行業(yè)應(yīng)用與創(chuàng)新案例解析 12.31

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實(shí)踐探索。本課程站在科技發(fā)展的前沿，探討了5G與數(shù)字貨幣、區(qū)塊鏈在金融行業(yè)的應(yīng)用案例。值得指出的是，案例以運(yùn)營商、一流企業(yè)等機(jī)構(gòu)在5G領(lǐng)域的實(shí)踐為主線，對(duì)5G金融行業(yè)應(yīng)用創(chuàng)新案例做了詳細(xì)的講解?！菊n程收益】1了解5G從信息通信技術(shù)支持到業(yè)務(wù)模式推廣和場景的應(yīng)用，掌握

講師：劉暉詳情

5G賦能智慧能源 12.31

【課程背景】國家電網(wǎng)“三型兩網(wǎng)、世界一流”戰(zhàn)略、南方電網(wǎng)定位“五者”，轉(zhuǎn)型“三商”戰(zhàn)略，需賦能智能終端，加速電網(wǎng)全面感知，打通數(shù)據(jù)和業(yè)務(wù)壁壘，驅(qū)動(dòng)創(chuàng)新能力。傳統(tǒng)通信方式難以滿足數(shù)字電網(wǎng)發(fā)展需求，電力生產(chǎn)、傳輸、消費(fèi)全過程需要低時(shí)延、大寬帶、大連接，對(duì)5G的訴求十分迫切5G作為最新一代的無線通信技術(shù)，其超高速率、超低時(shí)延、超大連接特性對(duì)智慧城市建設(shè)產(chǎn)生巨大的影