Hadoop關鍵技術 Spark內存計算框架

  培訓講師：趙衛(wèi)東

講師背景：
新技術新趨勢專家—趙衛(wèi)東（博士/副教授）【背景介紹】復旦大學軟件學院副教授對外貿易大學大學MBA班講師江南大學MBA講師SAP大學聯盟培訓講師【實戰(zhàn)經驗】在復旦大學軟件學院,主要研究商務智能和大數據技術與應用。主要負責電子商務、大數據核心技 詳細>>

趙衛(wèi)東
    課程咨詢電話：

Hadoop關鍵技術 Spark內存計算框架詳細內容

Hadoop關鍵技術 Spark內存計算框架

Hadoop關鍵技術與Spark內存計算框架
本課程將介紹目前大數據的核心技術和應用實例，并以實踐操作和項目式教學的方式著重講解Hadoop和Spark的基本原理和應用。
一、Hadoop關鍵技術
學習如何安裝運行各種大數據軟件以及如何進行初級編程實踐，包括Hadoop、HDFS、MapReduce等安裝、操作和編程。其中會介紹一些Hadoop的應用案例，并通過一些實驗初步了解Hadoop的操作。
第1章　Hadoop概論1.1　緣于搜索的Hadoop1.1.1　Hadoop簡介1.1.2　Hadoop發(fā)展1.2　大數據、Hadoop的關系1.3　Hadoop設計思想與架構1.3.1　數據存儲與切分1.3.2　MapReduce模型1.3.3　MPI和MapReduce第2章　Hadoop存儲系統(tǒng)2.1　基本概念2.1.1　NameNode2.1.2　DateNode2.1.3　客戶端2.1.4　塊2.2　HDFS的特性和目標2.2.1　HDFS的特性2.2.2　HDFS的目標2.3　HDFS架構2.3.1　Master/Slave架構2.3.2　NameNode和Secondary NameNode通信模型2.3.3　文件存取機制2.4　HDFS核心設計2.5　HDFS權限管理第3章　HDFS的使用3.1　HDFS環(huán)境準備3.2　HDFS命令的使用3.3　HDFS Java API的使用方法第4章　MapReduce計算框架4.1　Hadoop MapReduce簡介4.2　MapReduce模型4.2.1　MapReduce編程模型4.2.2　MapReduce實現原理
第5章　Hadoop命令系統(tǒng)5.1　Hadoop命令系統(tǒng)的組成5.2　用戶命令
第6章　Hadoop作業(yè)調度系統(tǒng)6.1　作業(yè)調度概述6.1.1　相關概念6.1.2　作業(yè)調度流程6.1.3　集群資源組織與管理6.1.4　隊列控制和權限管理6.1.5　插件式調度框架
第7章　Hadoop集群搭建7.1　Hadoop版本的選擇7.2　集群基礎硬件需求7.3　安裝Hadoop實驗
實驗一：熟悉常用的 Linux 操作和 Hadoop 操作
實驗二：熟悉常用的 HDFS 操作
實驗三：熟悉常用的 HBase 操作
實驗四：NoSQL 和關系數據庫的操作比較
實驗五：MapReduce 初級編程實踐
二、Spark內存計算框架
介紹為什么會出現Spark？Spark是什么？Spark能做什么？還有Spark安裝、使用以及編程基礎，并初步了解Spark SQL等核心技術。其中穿插一些Spark的典型應用案例，并通過動手實驗初步體驗Spark的應用。
第8章 Spark概述8．3．1 Spark的出現與發(fā)展8．3．2 Spark協議族8．3．3 Spark的應用及優(yōu)勢第9章 Spark原理9．1 Spark工作原理9．2 Spark架構及運行機制9．2．1 Spark系統(tǒng)架構與節(jié)點角色9．2．2 Spark作業(yè)執(zhí)行過程9．2．3 應用初始化9．2．4 構建RDD有向無環(huán)圖9．2．5 RDD有向無環(huán)圖拆分
第10章 RDD算子10．1 創(chuàng)建算子10．1．1 基于集合類型數據創(chuàng)建RDD10．1．2 基于外部數據創(chuàng)建RDD10．2 transformation變換算子10．2．1對Value型RDD進行變換10．2．2對Key/ Value型RDD進行變換10.3 action行動算子10．3．1 數據運算類行動算子10．3．2 存儲型行動算子
第11章 安裝和使用Spark11．1 安裝Spark11．2 編寫和運行Spark程序實驗：
實驗1：Linux系統(tǒng)基本命令和Hadoop使用方法
實驗2：RDD基本操作
實驗3：迭代式算法編程實踐
實驗4：自定義分匙、排序、合并
實驗5：利用DataFrame實現數據庫的讀寫
實驗 6：利用 Spark Streaming 實現流數據處理

 

趙衛(wèi)東老師的其它課程

大數據平臺運維管理1.運維監(jiān)控系統(tǒng)的設計1.1基于ISO/IEC20000和ITILv3理論1.2遵循ITSS、GB/T28827-2012系列運行維護服務國家標準2.建立集成化的資源運行狀態(tài)監(jiān)控管理系統(tǒng)2.1平臺運行狀態(tài)和信息化資源的統(tǒng)一化、可視化、可控化管理2.2基于資源的統(tǒng)一化管理2.3面向基礎資源和面向業(yè)務應用兩個層面的監(jiān)控3.服務運行監(jiān)控管理3.1

 講師：趙衛(wèi)東詳情

銀行數據應用實踐課程大綱培訓天數:3‐4日1.銀行數據應用的問題?互聯網金融尤其依賴數據??金融業(yè)本身就是基于數據與信息的產業(yè)?數據分析推動了銀行的轉型與創(chuàng)新??未來互聯網銀行模式??傳統(tǒng)銀行與互聯網金融的結合??目前的問題:??數據特點與組成???數量不夠大;維度不夠多???核心數據、外圍數據、常規(guī)渠道的數據、社會化的數據等??技術不足???互聯網的流行使

 講師：趙衛(wèi)東詳情

智慧營銷   06.03

智慧營銷1.智慧商務的發(fā)展-智能技術前沿-認知計算2.新時代的客戶管理2.0-客戶的個性化需求-客戶智能-工業(yè)4.0與C2B商業(yè)模式3.商務智能與營銷智慧-業(yè)務分析與優(yōu)化-營銷智能-數字營銷4.智慧營銷的挑戰(zhàn)-客戶洞察-精準營銷-一對一營銷5.智慧營銷中的數據分析技術-電子推薦技術-大數據技術-文本挖掘技術（社會關系網絡營銷）-數據驅動的電商客戶分析-IBM

 講師：趙衛(wèi)東詳情

智能機器人   06.03

智能機器人培訓大綱此部分內容從人工智能的起源和發(fā)展談起，分析人工智能技術在智能機器的典型應用，并結合很多具體的應用案例，說明智能機器的核心技術及其應用。人工智能和智能機器人工智能的起源與發(fā)展人工智能/機器學習/深度學習認知科學的發(fā)展人工智能的廣泛應用無人駕車棋類競技推薦系統(tǒng)自然語言處理圖像識別文本語義處理各類機器人逐步實用化智能機器的興起個人信息助手智慧家居

 講師：趙衛(wèi)東詳情

智能時代：運營商大數據之路運營商數據概述運營商與傳統(tǒng)互聯網數據比較移動大數據運營商大數據優(yōu)勢運營商開放的數據產品征信產品行業(yè)洞察和指數類產品APP指數旅游指數沃信指數互聯網廣告與精準營銷運營商客戶分群客戶標簽體系行業(yè)標簽產品運營商目標營銷與電子推薦運營商大數據產品解析數據源大數據基礎平臺架構大數據應用實時用戶行為分析運營商大數據可視化運營商大數據安全管理運營

 講師：趙衛(wèi)東詳情

智能制造工業(yè)智能大數據【課程目標】大數據時代已經來臨，大數據戰(zhàn)略已經上升到國家意志，擁有大數據的規(guī)模和利用大數據的能力已經成為國家競爭力的一種體現，大數據的重要性已經毋庸置疑。本課程圍繞大數據產業(yè)，從大數據的基本面出發(fā)，到大數據應用價值；從大數據的發(fā)展現狀，到行業(yè)發(fā)展趨勢及大數據市場預測；從大數據的商業(yè)模式，再到大數據的戰(zhàn)略和大數據思維。并重點探討了智能制造

 講師：趙衛(wèi)東詳情

解構新型產業(yè)推動園區(qū)發(fā)展——人工智能+機器人第一部分未來三年人工智能發(fā)展趨勢與產業(yè)格局1.驅動人工智能發(fā)展的動因海量數據為人工智能發(fā)展提供燃料計算力的提升大幅推動人工智能發(fā)展深度學習突破人工智能算法瓶頸政策利好使人工智能發(fā)展如火如荼2.人工智能產業(yè)鏈構成人工智能在各細分領域創(chuàng)業(yè)的熱度自動駕駛領域迎來創(chuàng)業(yè)熱潮產業(yè)鏈的組成：基礎支撐層.技術應用層和方案集成層3.

 講師：趙衛(wèi)東詳情

人工智能（3天）客戶對人工智能的需求：行業(yè)大發(fā)展人工智能的發(fā)展人工智能的內涵人工智能的分類人工智能企業(yè)的主要應用領域人工智能的行業(yè)發(fā)展分析驅動人工智能發(fā)展的動因中國制造助理人工智能互聯網+促進人工智能發(fā)展人工智能發(fā)展規(guī)劃2.技術框架硬件架構：引領場景通用AI時代主流的人工智能開源框架3.圖像處理圖像理解圖像識別圖像分類及檢索（SVM或者CNN）人臉識別技術及

 講師：趙衛(wèi)東詳情

深度學習   06.03

深度學習深度學習DeepLearning基礎和基本思想1.人工智能概述、計算智能、類腦智能3.機器學習概述、記憶學習、歸納學習、統(tǒng)計學習4.深度學習的前生今世、發(fā)展趨勢5.人工神經網絡、前饋神經網絡、BP算法、Hessian矩陣、結構性特征表示深度學習DeepLearning基本框架結構1.Caffe????????2.Tensorflow3.Torch??

 講師：趙衛(wèi)東詳情

深度學習培訓大綱時間安排課程內容第一天上午：機器學習基礎1.1、線性代數1）矩陣運算2）向量運算3）SVD4）PCA）1.2、概率信息論概論分布2）期望、方差、協方差3）貝葉斯4）結構概論模型）1.3、數值優(yōu)化：深度學習基礎2.1、深度學習介紹1）發(fā)展歷史2）主要應用2.2、感知器2.3、人工神經網絡2.4、前饋神經網絡2.5、BP算法2.6、Hessian

 講師：趙衛(wèi)東詳情

COPYRIGT @ 2001-2018 HTTP://m.fanshiren.cn INC. ALL RIGHTS RESERVED. 管理資源網 版權所有