大數(shù)據(jù)挖掘之SPSS工具入門與提高培訓(xùn)（2-4天）

大數(shù)據(jù)挖掘工具: SPSS Statistics入門與提高【課程目標(biāo)】
本課程為數(shù)據(jù)分析和挖掘的工具篇，本課程面向數(shù)據(jù)分析部等專門負責(zé)數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSS Statistics的培訓(xùn)。
IBM SPSS工具是面向非專業(yè)人士的高級的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決更復(fù)雜的業(yè)務(wù)問題，比如影響因素分析、客戶行為預(yù)測/精準(zhǔn)營銷、客戶群劃分、產(chǎn)品交叉銷售、產(chǎn)品銷量預(yù)測等等。工具它封裝了復(fù)雜難懂的算法實現(xiàn)，即使你沒有深厚的技能能力，也能夠勝任復(fù)雜的數(shù)據(jù)分析和挖掘。
本課程從實際的業(yè)務(wù)需求出發(fā)，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進行了全面的介紹，將數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通過大量的工具操作和演練，幫助學(xué)員熟練掌握SPSS工具的使用，并能夠?qū)PSS工具在實際的業(yè)務(wù)數(shù)據(jù)分析中滿地，實現(xiàn)“知行合一”。
通過本課程的學(xué)習(xí)，達到如下目的：
了解大數(shù)據(jù)挖掘的標(biāo)準(zhǔn)過程和挖掘步驟
掌握常用的統(tǒng)計分析方法，以及可視化
掌握常用的影響因素分析方法，學(xué)會根因分析
理解數(shù)據(jù)挖掘的常見模型，原理及適用場景。
熟練掌握SPSS基本操作，能利用SPSS解決實際的商業(yè)問題。
【授課時間】
2~4天時間，或根據(jù)客戶需求選擇（每天6個小時）
知識點
2天
4天
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
√
√
數(shù)據(jù)流預(yù)處理
√
√
數(shù)據(jù)可視化
√
√
影響因素分析
√
√
回歸預(yù)測模型
√
√
時序預(yù)測模型
√（部分）
√
回歸模型優(yōu)化
√
分類預(yù)測模型
√
市場客戶劃分
√
客戶價值評估
√
假設(shè)檢驗
√
【授課對象】
市場部、業(yè)務(wù)支撐部、數(shù)據(jù)分析部、運營分析部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員。【學(xué)員要求】
每個學(xué)員自備一臺便攜機(必須)。
便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機中事先安裝好SPSS Statistics v24版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
基礎(chǔ)知識精講 + 案例演練 + 實際業(yè)務(wù)問題分析 + 工具實際操作
本課程突出數(shù)據(jù)挖掘的實際應(yīng)用，結(jié)合行業(yè)的典型應(yīng)用特點，從實際問題入手，引出相關(guān)知識，進行大數(shù)據(jù)的收集與處理；引導(dǎo)學(xué)員思考，構(gòu)建分析模型，進行數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)呈現(xiàn)與解讀，全過程演練操作，以達到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運營決策的目的。
【課程大綱】
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評估
模型應(yīng)用
案例：客戶流失預(yù)測及客戶挽留
數(shù)據(jù)集概述
SPSS工具介紹
數(shù)據(jù)挖掘常用模型
數(shù)據(jù)預(yù)處理
如何整理數(shù)據(jù)，了解數(shù)據(jù)，對數(shù)據(jù)進行預(yù)處理？
數(shù)據(jù)預(yù)處理的四大任務(wù)
數(shù)據(jù)集成：多個數(shù)據(jù)集合并
數(shù)據(jù)清洗：異常值的處理
樣本處理：樣本篩選、樣本抽樣、樣本平衡
變量處理：變量變換、變量派生、變量精簡
數(shù)據(jù)集成（數(shù)據(jù)集合并）
樣本追加（添加數(shù)據(jù)行）：橫向合并
變量合并（添加變量列）：縱向合并
數(shù)據(jù)清洗（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評估
樣本處理：行處理
樣本篩選：指定條件篩選指定樣本集（減少樣本數(shù)量）
樣本抽樣：隨機抽取部分樣本集（減少樣本數(shù)量）
樣本平衡：正反樣本比例均衡
變量處理：列處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡：變量刪除/降維，減少變量個數(shù)
類型轉(zhuǎn)換：數(shù)據(jù)類型的相互轉(zhuǎn)換
變量精簡/變量降維常用方法
常用降維方法如何確定降維后變量個數(shù)
特征選擇：選擇重要變量，剔除不重要變量
基于變量本身特征來選擇屬性
基于數(shù)據(jù)間的相關(guān)性來選擇屬性
利用IV值篩選
基于信息增益來選擇屬性
因子合并：將多個變量進行合并
PCA主成分分析
判別分析
類型轉(zhuǎn)換
因子合并/主成分分析
因子分析的原因
因子個數(shù)選擇原則
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
數(shù)據(jù)可視化的原則
常用可視化工具
常用可視化圖形
柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
圖形的表達及適用場景
演練：各種圖形繪制
影響因素分析篇
營銷問題：哪些因素是影響業(yè)務(wù)目標(biāo)的關(guān)鍵要素？比如，產(chǎn)品在貨架上的位置是否對銷量有影響？價格和廣告開銷是如何影響銷量的？影響風(fēng)控的關(guān)鍵因素有哪些？如何判斷？
影響因素分析的常見方法
相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）
相關(guān)分析簡介相關(guān)分析的應(yīng)用場景
相關(guān)分析的種類
簡單相關(guān)分析
偏相關(guān)分析
距離相關(guān)分析
相關(guān)系數(shù)的三種計算公式
Pearson相關(guān)系數(shù)
Spearman相關(guān)系數(shù)
Kendall相關(guān)系數(shù)
相關(guān)分析的假設(shè)檢驗
相關(guān)分析的四個基本步驟
演練：營銷費用會影響銷售額嗎？影響程度如何量化？
演練：哪些因素與汽車銷量有相關(guān)性
演練：影響用戶消費水平的因素會有哪些
偏相關(guān)分析
偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
偏相關(guān)系數(shù)的計算公式
偏相關(guān)分析的適用場景
距離相關(guān)分析
方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）
方差分析的應(yīng)用場景
方差分析的三個種類
單因素方差分析
多因素方差分析
協(xié)方差分析
單因素方差分析的原理
方差分析的四個步驟
解讀方差分析結(jié)果的兩個要點
演練：擺放位置與銷量有關(guān)嗎
演練：客戶學(xué)歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關(guān)鍵因素嗎
演練：營業(yè)員的性別、技能級別對產(chǎn)品銷量有影響嗎
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對銷量的影響因素分析
協(xié)方差分析原理
協(xié)方差分析的適用場景
演練：排除產(chǎn)品價格，收入對銷量有影響嗎？
列聯(lián)分析/卡方檢驗（兩類別變量的相關(guān)性分析）
交叉表與列聯(lián)表：計數(shù)值與期望值
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯(lián)表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對風(fēng)控的影響分析
相關(guān)性分析方法總結(jié)
回歸預(yù)測模型
營銷問題：如何預(yù)測未來的產(chǎn)品銷量/銷售額？如果產(chǎn)品跟隨季節(jié)性變動，該如何預(yù)測？
回歸分析簡介和原理
回歸分析的種類
一元回歸/多元回歸
線性回歸/非線性回歸
常用回歸分析方法
散點圖+趨勢線（一元）
線性回歸工具（多元線性）
規(guī)劃求解工具（非線性回歸）
演練：散點圖找營銷費用與銷售額的關(guān)系
線性回歸分析的五個步驟
演練：營銷費用、辦公費用與銷售額的關(guān)系（線性回歸）
線性回歸方程的解讀技巧
定性描述：正相關(guān)/負相關(guān)
定量描述：自變量變化導(dǎo)致因變量的變化程度
回歸預(yù)測模型評估
質(zhì)量評估指標(biāo)：判定系數(shù)R^2
如何選擇最佳回歸模型
演練：如何選擇最佳的回歸預(yù)測模型（一元曲線回歸）
帶分類自變量的回歸預(yù)測
演練：汽車季度銷量預(yù)測
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評估銷售目標(biāo)與資源最佳配置
回歸模型優(yōu)化
回歸分析的基本原理
三個基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗：方程可用性
因素的顯著性檢驗：因素可用性
方程擬合優(yōu)度檢驗：質(zhì)量好壞程度
理解標(biāo)準(zhǔn)誤差含義：預(yù)測準(zhǔn)確性？
回歸模型優(yōu)化措施：尋找最佳回歸擬合線
如何處理預(yù)測離群值（剔除離群值）
如何剔除不顯著因素（剔除不顯著因素）
如何進行非線性關(guān)系檢驗（增加非線性自變量）
如何進行相互作用檢驗（增加相互作用自變量）
如何進行多重共線性檢驗（剔除共線性自變量）
演練：模型優(yōu)化演示好模型都是優(yōu)化出來的
自定義回歸模型
回歸建模的本質(zhì)
規(guī)劃求解工具簡介
自定義回歸模型
案例：如何對客流量進行建模預(yù)測及模型優(yōu)化回歸季節(jié)預(yù)測模型模型
回歸季節(jié)模型的原理及應(yīng)用場景
加法季節(jié)模型
乘法季節(jié)模型
模型解讀
案例：美國航空旅客里程的季節(jié)性趨勢分析
新產(chǎn)品累計銷量的S曲線
S曲線模型的應(yīng)用場景（最大累計銷量及銷量增長的拐點）
珀爾曲線
龔鉑茲曲線
案例：如何預(yù)測產(chǎn)品的銷售增長拐點，以及銷量上限
演練：預(yù)測IPad產(chǎn)品的銷量
回歸模型質(zhì)量評估
定量預(yù)測模型的評估
方程顯著性評估
因素顯著性評估
擬合優(yōu)度的評估
估計標(biāo)準(zhǔn)誤差評估
預(yù)測值準(zhǔn)確度評估
模型擬合度評估
判定系數(shù)：R2調(diào)整判定系數(shù)：R2預(yù)測值準(zhǔn)確度評估
平均絕對誤差：MAE
根均方差：RMSE
平均誤差率：MAPE
其它評估：殘差檢驗、過擬合檢驗
時序預(yù)測模型
營銷問題：像利率/CPI/GDP等按時序變化的指標(biāo)如何預(yù)測？當(dāng)銷量隨季節(jié)周期變動時該如何預(yù)測？
回歸預(yù)測vs時序預(yù)測
因素分解思想
時序預(yù)測常用模型
趨勢擬合
季節(jié)擬合
平均序列擬合
評估預(yù)測值的準(zhǔn)確度指標(biāo)：MAD、RMSE、MAPE
移動平均（MA）
應(yīng)用場景及原理
移動平均種類
一次移動平均
二次移動平均
加權(quán)移動平均
移動平均比率法
移動平均關(guān)鍵問題
如何選取最優(yōu)參數(shù)N
如何確定最優(yōu)權(quán)重系數(shù)
演練：平板電腦銷量預(yù)測及評估
演練：快銷產(chǎn)品季節(jié)銷量預(yù)測及評估
指數(shù)平滑（ES）
應(yīng)用場景及原理
最優(yōu)平滑系數(shù)的選取原則
指數(shù)平滑種類
一次指數(shù)平滑
二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）
三次指數(shù)平滑
演練：煤炭產(chǎn)量預(yù)測
演練：航空旅客量預(yù)測及評估
溫特斯季節(jié)預(yù)測模型
適用場景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車銷量預(yù)測及評估
平穩(wěn)序列模型（ARIMA）
序列的平穩(wěn)性檢驗
平穩(wěn)序列的擬合模型
AR(p)自回歸模型
MA(q)移動模型
ARMA(p,q)自回歸移動模型
模型的識別與定階
ACF圖/PACF圖
最小信息準(zhǔn)則
序列平穩(wěn)化處理
變量變換
k次差分
d階差分
ARIMA(p,d,q)模型
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢預(yù)測分析平穩(wěn)序列的建模流程
分類預(yù)測模型篇
問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？分類模型概述及其應(yīng)用場景
常見分類預(yù)測模型
邏輯回歸（LR）
邏輯回歸的適用場景
邏輯回歸的模型原理
邏輯回歸分類的幾何意義
邏輯回歸的種類
二項邏輯回歸
多項邏輯回歸
如何解讀邏輯回歸方程
帶分類自變量的邏輯回歸分析
多項邏輯回歸/多分類邏輯回歸
案例：如何評估用戶是否會購買某產(chǎn)品（二項邏輯回歸）
案例：多品牌選擇模型分析（多項邏輯回歸）
分類決策樹（DT）
問題：如何預(yù)測客戶行為？如何識別潛在客戶？
風(fēng)控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？
決策樹分類簡介
案例：美國零售商（Target）如何預(yù)測少女懷孕
演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征
決策樹分類的幾何意義
構(gòu)建決策樹的三個關(guān)鍵問題
如何選擇最佳屬性來構(gòu)建節(jié)點
如何分裂變量
修剪決策樹
選擇最優(yōu)屬性生長
熵、基尼索引、分類錯誤
屬性劃分增益
如何分裂變量
多元劃分與二元劃分
連續(xù)變量離散化（最優(yōu)分割點）
修剪決策樹
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹的四個算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型？
案例：商場用戶的典型特征提取
案例：客戶流失預(yù)警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
多分類決策樹
案例：不同套餐用戶的典型特征
決策樹模型的保存與應(yīng)用
人工神經(jīng)網(wǎng)絡(luò)（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)網(wǎng)絡(luò)基本原理
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)分類的幾何意義
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
BP反向傳播網(wǎng)絡(luò)（MLP）
徑向基網(wǎng)絡(luò)（RBF）
案例：評估銀行用戶拖欠貨款的概率
判別分析（DA）
判別分析原理
判別分析種類
Fisher線性判別分析
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評估
最近鄰分類（KNN）
KNN模型的基本原理
KNN分類的幾何意義
K近鄰的關(guān)鍵問題
市場細分模型
問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進行市場定位？
市場細分的常用方法
有指導(dǎo)細分
無指導(dǎo)細分
聚類分析
如何更好的了解客戶群體和市場細分？
如何識別客戶群體特征？
如何確定客戶要分成多少適當(dāng)?shù)念悇e？
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類
層次聚類
兩步聚類
K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何自動評選優(yōu)秀員工？
演練：中國各省份發(fā)達程度分析，讓數(shù)據(jù)自動聚類
層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別
R型聚類與Q型聚類的區(qū)別
案例：中移動如何實現(xiàn)客戶細分及營銷策略
演練：中國省市經(jīng)濟發(fā)展情況分析（Q型聚類）
演練：裁判評分的標(biāo)準(zhǔn)衡量，避免“黑哨”（R型聚類）
兩步聚類
客戶細分與PCA分析法
PCA主成分分析的原理
PCA分析法的適用場景
演練：利用PCA對汽車客戶群進行細分
演練：如何針對汽車客戶群設(shè)計汽車
客戶價值評估
營銷問題：如何評估客戶的價值？不同的價值客戶有何區(qū)別對待？
如何評價客戶生命周期的價值
貼現(xiàn)率與留存率
評估客戶的真實價值
使用雙向表衡量屬性敏感度
變化的邊際利潤
案例：評估營銷行為的合理性
RFM模型（客戶價值評估）
RFM模型，更深入了解你的客戶價值
RFM模型與市場策略
RFM模型與活躍度分析
演練：“雙11”淘寶商家如何選擇價值客戶進行促銷
演練：結(jié)合響應(yīng)模型，宜家IKE實現(xiàn)最大化營銷利潤
案例：重購用戶特征分析
假設(shè)檢驗
參數(shù)檢驗分析（樣本均值檢驗）
問題：如何驗證營銷效果的有效性？
假設(shè)檢驗概述
單樣本T檢驗
兩獨立樣本T檢驗
兩配對樣本T檢驗
假設(shè)檢驗適用場景
電信行業(yè)
案例：電信運營商ARPU值評估分析（單樣本）
案例：營銷活動前后分析（兩配對樣本）
金融行業(yè)
案例：信用卡消費金額評估分析（單樣本）
醫(yī)療行業(yè)
案例：吸煙與膽固醇升高的分析（兩獨立樣本）
案例：減肥效果評估（兩配對樣本）
非參數(shù)檢驗分析（樣本分布檢驗）
問題：這些屬性數(shù)據(jù)的分布情況如何？如何從數(shù)據(jù)分布中看出問題？
非參數(shù)檢驗概述
單樣本檢驗
兩獨立樣本檢驗
兩相關(guān)樣本檢驗
兩配對樣本檢驗
非參數(shù)檢驗適用場景
案例：產(chǎn)品合格率檢驗（單樣本-二項分布）
案例：訓(xùn)練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）
案例：促銷方式效果檢驗(多相關(guān)樣本-Friedman檢驗)
案例：客戶滿意度差異檢驗(多相關(guān)樣本-Cochran Q檢驗)
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程