大數(shù)據(jù)分析與數(shù)據(jù)挖掘能力提升實戰(zhàn)

【課程大綱】**部分：解構(gòu)大數(shù)據(jù)1、 大數(shù)據(jù)時代已經(jīng)來臨

2、 大數(shù)據(jù)的三層理解

? 理論層：以數(shù)據(jù)為基礎(chǔ)

? 技術(shù)層：以平臺為手段

? 應(yīng)用層：以應(yīng)用為導向

3、 大數(shù)據(jù)的4V特征

4、 大數(shù)據(jù)的核心價值

? 發(fā)現(xiàn)業(yè)務(wù)運行規(guī)律

? 預測事物未來

5、 大數(shù)據(jù)在各行業(yè)是如何應(yīng)用的

? 醫(yī)療衛(wèi)生

? 政治軍事

? 行政執(zhí)法

? 金融銀行

? ……

6、 數(shù)據(jù)分析的核心理念

? 數(shù)據(jù)變化意味著業(yè)務(wù)變化

? 數(shù)據(jù)間關(guān)系意味著因素間的關(guān)系

7、 大數(shù)據(jù)戰(zhàn)略

? 大數(shù)據(jù)成為企業(yè)的核心資產(chǎn)

? 大數(shù)據(jù)成為業(yè)務(wù)創(chuàng)新的核心引擎

? 從數(shù)據(jù)化運營到運營數(shù)據(jù)

8、 大數(shù)據(jù)的思維變革

? 定量思維

? 相關(guān)思維

? 實驗思維

? ……

9、 大數(shù)據(jù)的商業(yè)模式分析

10、 大數(shù)據(jù)的人才培養(yǎng)

第二部分：數(shù)據(jù)分析篇問題：數(shù)據(jù)分析是神馬?數(shù)據(jù)分析基本過程？

1、 數(shù)據(jù)分析面臨的常見問題

2、 認識數(shù)據(jù)分析

? 什么是數(shù)據(jù)分析

? 數(shù)據(jù)分析的三大作用

? 數(shù)據(jù)分析的三大類別

案例：喜歡賺“差價”的營業(yè)員

3、 數(shù)據(jù)分析的六步曲

? 明確目的

? 收集數(shù)據(jù)

? 處理數(shù)據(jù)（預處理）

? 分析數(shù)據(jù)

? 呈現(xiàn)數(shù)據(jù)（可視化）

? 撰寫報告

案例：終端精準營銷項目過程討論

4、 數(shù)據(jù)分析師需要什么樣的能力

? 懂業(yè)務(wù)、懂管理、懂分析、懂工具、懂呈現(xiàn)

5、 大數(shù)據(jù)應(yīng)用系統(tǒng)的四層結(jié)構(gòu)

? 數(shù)據(jù)基礎(chǔ)層、數(shù)據(jù)模型層、業(yè)務(wù)模型層、業(yè)務(wù)應(yīng)用層

6、 數(shù)據(jù)分析方法的層次

? 基本分析法（對比/分組/結(jié)構(gòu)/趨勢/…）

? 綜合分析法（交叉/綜合評價/杜邦/漏斗/…）

? 高級分析法（相關(guān)/方差/驗證/回歸/時序/…）

? 數(shù)據(jù)挖掘法（聚類/分類/關(guān)聯(lián)/RFM模型/…）

7、 基本分析方法及其適用場景

? 對比分析（查看數(shù)據(jù)差距）

演練：按性別、省份、產(chǎn)品進行分類統(tǒng)計

? 分組分析（查看數(shù)據(jù)分布）

演練：銀行信用卡月消費分析（銀行）

演練：呼叫中心接聽電話效率分析（呼叫中心）

演練：客服中心科學排班人數(shù)需求分析（客服中心）

演練：客戶年齡分布分析

案例：排班后面隱藏的貓膩

? 結(jié)構(gòu)分析（評估事物構(gòu)成）

案例：用戶市場占比結(jié)構(gòu)分析

案例：物流費用占比結(jié)構(gòu)分析（物流）

? 趨勢分析（發(fā)現(xiàn)變化規(guī)律）

案例：破解零售店銷售規(guī)律

8、 綜合分析方法及其適用場景

? 交叉分析（兩維分析）

演練：用戶性別 地域分布分析

? 綜合評價法（多維指標歸一）

演練：人才選拔評價分析（HR）

案例：南京丈母娘選女婿分析表格

? 杜邦分析法（關(guān)鍵因素分析-財務(wù)數(shù)據(jù)分析）

案例：電信市場占有率分析

演練：服務(wù)水平提升分析（呼叫中心）

案例：銷售額的影響因素分析（零售店/電商）

? 漏斗分析法（關(guān)鍵流程環(huán)節(jié)分析-流失率與轉(zhuǎn)化率分析）

演練：終端銷售流程分析（電信營業(yè)廳）

案例：業(yè)務(wù)辦理流程優(yōu)化分析（銀行營業(yè)廳）

案例：物流配送效率分析（物流）

? 矩陣分析法（產(chǎn)品策略分析-象限圖分析法）

案例：工作安排評估

案例：HR人員考核與管理

案例：波士頓產(chǎn)品策略分析

9、 **合適的分析方法才是硬道理。

10、 數(shù)據(jù)分析思路（如何細化業(yè)務(wù)問題）

案例：利用5W2H來分析產(chǎn)品銷售情況

第三部分：概率與數(shù)理統(tǒng)計篇1、 數(shù)據(jù)統(tǒng)計指標

? 集中程度：平均數(shù)/中位數(shù)/眾數(shù)

? 離散程度：全距/四分位距/標準差/四分位

? 分布形態(tài)：偏度/峰度

? 正確理解各指標的含義

案例：如何用Excel計算統(tǒng)計指標

案例：如何用Excel畫直方圖

2、 概率論基本知識

? 隨機事件與概率

? 古典概率與條件概率

? 全概率公式與貝葉斯公司

? 概率分布函數(shù)

? 數(shù)學期望與方差

? 大數(shù)定律與中心極限定理

3、 參數(shù)檢驗分析

? 假設(shè)檢驗概述

? 假設(shè)檢驗步驟

? 樣本T檢驗（單樣本、兩獨立樣本、兩配對樣本）及適用場景

案例：電信運營商ARPU值評估分析（單樣本）

案例：營銷活動前后分析（兩配對樣本）

案例：吸煙與膽固醇升高的分析（兩獨立樣本）

4、 非參數(shù)檢驗分析

? 非參數(shù)檢驗概述

? 樣本檢驗（單樣本、兩獨立樣本、兩相關(guān)樣本）

案例：產(chǎn)品合格率檢驗（單樣本-二項分布）

案例：訓練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）

案例：促銷方式效果檢驗(多相關(guān)樣本-Friedman檢驗)

案例：客戶滿意度差異檢驗(多相關(guān)樣本-Cochran Q檢驗)

第四部分：高級數(shù)據(jù)分析本篇包含三大內(nèi)容：影響因素分析，數(shù)值預測模型。

1、 相關(guān)分析（衡量變量間的的相關(guān)性）

問題：營銷費用會影響銷售額嗎？影響程度大嗎？

? 什么是相關(guān)關(guān)系

? 相關(guān)系數(shù)：衡量相關(guān)程度的指標

? 相關(guān)分析的步驟與計算公式

? 相關(guān)分析應(yīng)用場景

演練：體重與腰圍的關(guān)系

演練：營銷費用與銷售額的關(guān)系

2、 方差分析

問題：哪些才是影響銷量的關(guān)鍵因素？

? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素可重復/雙因素無重復

? 方差分析的應(yīng)用場景

? 如何解決方差分析結(jié)果

演練：產(chǎn)品擺放位置與銷量有關(guān)嗎？（單因素方差分析）

案例：2015年大學生工資與父母職業(yè)的關(guān)系

3、 回歸分析（預測）

問題：如何預測未來的銷售量（定量分析）？

? 回歸分析的基本原理和應(yīng)用場景

? 回歸分析的種類（一元/多元、線性/曲線）

? 回歸分析的幾種常用方法

? 回歸分析的五個步驟與結(jié)果解讀

? 回歸預測結(jié)果評估（如何評估預測質(zhì)量，如何選擇**回歸模型）

演練：散點圖找推廣費用與銷售額的關(guān)系（一元線性回歸）

演練：推廣費用、辦公費用與銷售額的關(guān)系（多元線性回歸）

演練：**選擇的預測銷售額的回歸模型（一元曲線回歸）

? 回歸分析（帶分類變量）

案例：汽車銷量的季度預測

演練：工齡、性別與終端銷量的關(guān)系

討論：終端銷售預測分析（營業(yè)廳）

4、 時序分析（預測）

問題：隨著時間變化，未來的銷量變化趨勢如何？

? 時序分析的應(yīng)用場景（基于時間的變化規(guī)律）

? 移動平均的預測原理

? 指數(shù)平滑的預測原理

案例：銷售額的時序預測及評估

演練：產(chǎn)品銷量預測及評估第五部分：建立預測模型與模型優(yōu)化（Excel工具）本篇包含內(nèi)容：數(shù)值預測建模、模型優(yōu)化，季節(jié)性預測模型、S曲線預測模型。

1、 常見預測模型類別

? 數(shù)值預測

? 分類預測

2、 回歸分析建模

? 尋找**回歸擬合線來判斷和預測

? 模型優(yōu)化七步法（因素、異常值、相互作用、非線性關(guān)系…）

案例：汽車銷量預測分析

案例：工齡、性別與銷量的回歸分析

3、 季節(jié)性預測模型

? 季節(jié)性預測模型的參數(shù)

? 常用季節(jié)性預測模型（相加模型、相乘模型）

案例：美國航空旅客里程的季節(jié)性趨勢分析

案例：產(chǎn)品銷售季節(jié)性趨勢預測分析

4、 新產(chǎn)品銷量預測與S曲線

? 如何評估銷量增長的拐點

? 常用模型（珀爾曲線、龔鉑茲曲線）

案例：預測IPad產(chǎn)品的銷售增長拐點，以及銷量上限

5、 規(guī)劃求解與自定義模型

案例：大數(shù)據(jù)下的產(chǎn)品定價方法

案例：如何對客流量進行建模及模型優(yōu)化

第五部分：數(shù)據(jù)挖掘篇（SPSS工具使用）1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標準流程

? 商業(yè)理解

? 數(shù)據(jù)準備

? 數(shù)據(jù)理解

? 模型建立

? 模型評估

? 模型應(yīng)用

案例：通信客戶流失分析及預警模型

3、 聚類分析（市場細分與客戶細分）

問題：如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？

? 聚類分析及其作用

? 聚類分析的種類

? 層次聚類：發(fā)現(xiàn)多個類別

? R型聚類與Q型聚類的區(qū)別

演練：中國省市經(jīng)濟發(fā)展情況分析（Q型聚類）

演練：裁判評分的標準衡量（R型聚類）

? K均值聚類

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何評選優(yōu)秀員工？

4、 分類分析

案例：美國零售商（Target）如何預測少女懷孕

問題：如何提取客戶流失者、拖欠貨款者的特征？如何預測其流失的概率？

? 分類與聚類

? 決策樹分類的原理

? 如何評估分類性能

演練：識別銀行欠貨風險，提取欠貨者的特征

5、 關(guān)聯(lián)分析

案例：啤酒與尿布、颶風與蛋撻

問題：購買面包的人是否也會購買牛奶？他們同時購買哪些產(chǎn)品？

? 關(guān)聯(lián)分析解決什么樣的問題

? 如何提取關(guān)聯(lián)規(guī)則

? 關(guān)聯(lián)規(guī)則的應(yīng)用場景

案例：超市商品交叉銷售與布局優(yōu)化（關(guān)聯(lián)分析）

6、 RFM模型

問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？

? RFM模型介紹

? RFM的客戶細分框架理解

演練：淘寶客戶選擇促銷客戶的方式

演練：結(jié)合響應(yīng)模型，宜家IKE實現(xiàn)**大化營銷利潤

第六部分：數(shù)據(jù)挖掘?qū)崙?zhàn)篇（Modeler工具實操）1、 數(shù)據(jù)挖掘處理的一般過程

? 數(shù)據(jù)源à數(shù)據(jù)理解à數(shù)據(jù)準備à探索分析à數(shù)據(jù)建模à模型評估

2、 數(shù)據(jù)讀入

3、 數(shù)據(jù)集成

? 變量合并（增加變量）

? 數(shù)據(jù)追加（添加記錄）

4、 數(shù)據(jù)理解

? 取值范圍限定

? 重復數(shù)據(jù)處理

? 缺失值處理

? 無效值處理

? 離群點和極端值的修正

? 數(shù)據(jù)質(zhì)量評估

5、 數(shù)據(jù)準備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值）

? 數(shù)據(jù)平衡：正反樣本比例均衡

? 其它：排序、分類匯總

6、 數(shù)據(jù)準備：變量處理

? 變量變換：原變量值更新

? 變量派生：生成新的變量

? 變量精簡：降維，減少變量個數(shù)

7、 基本分析

? 單變量：數(shù)據(jù)基本描述分析

? 雙變量：相關(guān)分析、方差分析、卡方檢驗（列聯(lián)檢驗）

? 變量精簡：特征選擇、因子分析

案例：通信基本費用與開通月數(shù)的相關(guān)分析

案例：開通月數(shù)對客戶流失的影響分析

案例：套餐類型對對客戶流失的影響分析

8、 特征選擇

? 特征選擇方法：選擇重要變量，剔除不重要的變量

? 從變量本身考慮

? 從輸入變量與目標變量的相關(guān)性考慮

9、 因子分析（主成分分析）

? 因子分析的原理

? 因子個數(shù)如何選擇

? 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

10、 常見分類預測模型

? 分類預測基本過程

? 如何評估分類模型的性能（查準率、查全率）

11、 決策樹分類

? 決策樹分類原理

? 決策樹構(gòu)建的三個關(guān)鍵問題

? 決策樹算法

案例：識別銀行欠貨風險，提取欠貨者的特征

案例：客戶流失預警與客戶挽留模型

12、 神經(jīng)網(wǎng)絡(luò)

? 神經(jīng)網(wǎng)絡(luò)概述

? 神經(jīng)元工作原理

? BP反向傳播網(wǎng)絡(luò)（MLP）

? 徑向基函數(shù)網(wǎng)絡(luò)（RBF）

13、 支持向量機

14、 貝葉斯分類

實戰(zhàn)：電信客戶流失分析與預警模型

結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程