Python數(shù)據(jù)挖掘(專題篇)

Python數(shù)據(jù)挖掘?qū)ｎ}實(shí)戰(zhàn)培訓(xùn)【課程目標(biāo)】
本課程主要講解如何利用Python進(jìn)行時(shí)間序列的數(shù)據(jù)建模。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
全面掌握Python語(yǔ)言以及其編程思想。
掌握常用擴(kuò)展庫(kù)的使用，特別是數(shù)據(jù)挖掘相關(guān)庫(kù)的使用。
學(xué)會(huì)使用Python完成數(shù)據(jù)挖掘項(xiàng)目整個(gè)過(guò)程。
掌握利用Python實(shí)現(xiàn)可視化呈現(xiàn)。
掌握數(shù)據(jù)挖掘常見算法在Python中的實(shí)現(xiàn)。
【授課時(shí)間】
2-5天時(shí)間
（要根據(jù)學(xué)員的實(shí)際情況調(diào)整重點(diǎn)內(nèi)容及時(shí)間）
【授課對(duì)象】
業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Python 3.9版本及以上。
安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫(kù)。
注：講師現(xiàn)場(chǎng)提供分析的數(shù)據(jù)源。
【授課方式】
語(yǔ)言基礎(chǔ) + 挖掘模型 + 案例演練 + 開發(fā)實(shí)踐 + 可視化呈現(xiàn)
采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問(wèn)題，展開數(shù)據(jù)分析過(guò)程，全過(guò)程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過(guò)程中獲得能力提升。
【課程大綱】
數(shù)據(jù)挖掘基礎(chǔ)
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評(píng)估
模型應(yīng)用
案例：客戶流失預(yù)測(cè)及客戶挽留
數(shù)據(jù)挖掘常用模型
數(shù)據(jù)預(yù)處理篇
數(shù)據(jù)預(yù)處理的主要任務(wù)
數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡(jiǎn)、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡(jiǎn)
數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難
數(shù)據(jù)集成
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無(wú)效值/錯(cuò)誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評(píng)估
數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡(jiǎn)：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準(zhǔn)備：變量處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡(jiǎn)：降維，減少變量個(gè)數(shù)
數(shù)據(jù)降維
常用降維的方法
如何確定變量個(gè)數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標(biāo)變量的相關(guān)性考慮
對(duì)輸入變量進(jìn)行合并
因子分析（主成分分析）
因子分析的原理
因子個(gè)數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計(jì)指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等
圖形的表達(dá)及適用場(chǎng)景
演練：各種圖形繪制
用戶專題分析
用戶專題分析的主要任務(wù)
客戶群細(xì)分與聚類分析
問(wèn)題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？
聚類方法原理介紹
聚類方法作用及其適用場(chǎng)景
聚類分析的種類
K均值聚類
案例：移動(dòng)三大品牌細(xì)分市場(chǎng)合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何評(píng)選優(yōu)秀員工？
演練：中國(guó)各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類
最優(yōu)K值選擇
Elbow手肘法
Silhouette Coefficient輪廓系數(shù)
Calinski-Harabasz Index準(zhǔn)則
雙聚類bicluster及評(píng)估
譜聚類聯(lián)合
聯(lián)合譜聚類SpectralCoclustering雙向譜聚類SpectralBiclusteringDBSCAN鄰近聚類
客戶喜好評(píng)估與主成分分析PCA
營(yíng)銷問(wèn)題：如何匯聚大眾的共同喜好？
主成分分析方法介紹
主成分分析基本思想
主成分分析步驟
案例：如何評(píng)估汽車購(gòu)買者的客戶細(xì)分市場(chǎng)
客戶價(jià)值評(píng)估與RFM模型
營(yíng)銷問(wèn)題：如何評(píng)估客戶的價(jià)值？不同的價(jià)值客戶有何區(qū)別對(duì)待？
RFM模型（客戶價(jià)值評(píng)估）
RFM模型，更深入了解你的客戶價(jià)值
RFM模型與市場(chǎng)策略
RFM模型與活躍度分析
案例：淘寶客戶價(jià)值評(píng)估與促銷名單
案例：重購(gòu)用戶特征分析
產(chǎn)品專題分析
產(chǎn)品專題分析主要任務(wù)
產(chǎn)品設(shè)計(jì)分析
市場(chǎng)占有分析
累計(jì)銷量分析
定價(jià)策略分析
產(chǎn)品設(shè)計(jì)優(yōu)化（聯(lián)合分析法）
問(wèn)題：如何設(shè)計(jì)最優(yōu)的功能特征？
評(píng)估功能特征的重要性
評(píng)估功能特征的價(jià)值
案例：產(chǎn)品開發(fā)與設(shè)計(jì)分析
產(chǎn)品評(píng)估模型（隨機(jī)效用理論）
屬性重要性評(píng)估
市場(chǎng)占有率評(píng)估
產(chǎn)品價(jià)格彈性評(píng)估
評(píng)估產(chǎn)品的品牌價(jià)值
動(dòng)態(tài)調(diào)價(jià)（納會(huì)均衡價(jià)格）
案例：品牌價(jià)值與價(jià)格敏感度分析
案例：納什均衡價(jià)格
產(chǎn)品定價(jià)策略
營(yíng)銷問(wèn)題：產(chǎn)品如何實(shí)現(xiàn)最優(yōu)定價(jià)？套餐價(jià)格如何確定？采用哪些定價(jià)策略可達(dá)到利潤(rùn)最大化？
常見的定價(jià)方法
產(chǎn)品定價(jià)的理論依據(jù)
需求曲線與利潤(rùn)最大化
如何求解最優(yōu)定價(jià)
案例：產(chǎn)品最優(yōu)定價(jià)求解
如何評(píng)估需求曲線
價(jià)格彈性
曲線方程（線性、乘冪）
如何做產(chǎn)品組合定價(jià)
如何做產(chǎn)品捆綁/套餐定價(jià)
最大收益定價(jià)（演進(jìn)規(guī)劃求解）
避免價(jià)格反轉(zhuǎn)的套餐定價(jià)
案例：電信公司的寬帶、IPTV、移動(dòng)電話套餐定價(jià)
非線性定價(jià)原理
要理解支付意愿曲線
支付意愿曲線與需求曲線的異同
案例：雙重收費(fèi)如何定價(jià)（如會(huì)費(fèi)+按次計(jì)費(fèi)）
階梯定價(jià)策略
案例：電力公司如何做階梯定價(jià)
數(shù)量折扣定價(jià)策略
案例：如何通過(guò)折扣來(lái)實(shí)現(xiàn)薄利多銷
定價(jià)策略的評(píng)估與選擇
案例：零售公司如何選擇最優(yōu)定價(jià)策略
航空公司的收益管理
收益管理介紹
如何確定機(jī)票預(yù)訂限制
如何確定機(jī)票超售數(shù)量
如何評(píng)估模型的收益
案例：FBN航空公司如何實(shí)現(xiàn)收益管理（預(yù)訂/超售）
產(chǎn)品推薦與協(xié)同過(guò)濾
問(wèn)題：購(gòu)買A產(chǎn)品的顧客還常常要購(gòu)買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？
從搜索引擎到推薦引擎
常用產(chǎn)品推薦模型及算法
基于流行度的推薦
基于排行榜的推薦，適用于剛注冊(cè)的用戶
優(yōu)化思路：分群推薦
基于內(nèi)容的推薦CBR
關(guān)鍵問(wèn)題：如何計(jì)算物品的相似度
優(yōu)缺點(diǎn)
優(yōu)化：Rocchio算法、基于標(biāo)簽的推薦、基于興趣度的推薦
基于用戶的推薦
關(guān)鍵問(wèn)題：如何對(duì)用戶分類/計(jì)算用戶的相似度
算法：按屬性分類、按偏好分類、按地理位置
協(xié)同過(guò)濾的推薦
基于用戶的協(xié)同過(guò)濾
基于物品的協(xié)同過(guò)濾
冷啟動(dòng)的問(wèn)題
案例：計(jì)算用戶相似度、計(jì)算物品相似度
基于分類模型的推薦
其它推薦算法
LFM基于隱語(yǔ)義模型
按社交關(guān)系
基于時(shí)間上下文
多推薦引擎的協(xié)同工作
信用評(píng)分卡模型
信用評(píng)分卡模型簡(jiǎn)介
評(píng)分卡的關(guān)鍵問(wèn)題
信用評(píng)分卡建立過(guò)程
篩選重要屬性
數(shù)據(jù)集轉(zhuǎn)化
建立分類模型
計(jì)算屬性分值
確定審批閾值
篩選重要屬性
屬性分段
基本概念：WOE、IV
屬性重要性評(píng)估
數(shù)據(jù)集轉(zhuǎn)化
連續(xù)屬性最優(yōu)分段
計(jì)算屬性取值的WOE
建立分類模型
訓(xùn)練邏輯回歸模型
評(píng)估模型
得到字段系數(shù)
計(jì)算屬性分值
計(jì)算補(bǔ)償與刻度值
計(jì)算各字段得分
生成評(píng)分卡
確定審批閾值
畫K-S曲線
計(jì)算K-S值
獲取最優(yōu)閾值
交叉銷售與關(guān)聯(lián)規(guī)則
關(guān)聯(lián)規(guī)則概述
常用關(guān)聯(lián)規(guī)則算法
Apriori算法
發(fā)現(xiàn)頻繁集
生成關(guān)聯(lián)規(guī)則
FP-Growth算法
構(gòu)建FP樹
提取規(guī)則
案例：使用apriori實(shí)現(xiàn)關(guān)聯(lián)分析
基于關(guān)聯(lián)分析的推薦
如何制定套餐，實(shí)現(xiàn)交叉/捆綁銷售
案例：啤酒與尿布、颶風(fēng)與蛋撻
關(guān)聯(lián)分析模型原理（Association）
關(guān)聯(lián)規(guī)則的兩個(gè)關(guān)鍵參數(shù)
支持度
置信度
關(guān)聯(lián)分析的適用場(chǎng)景
案例：購(gòu)物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化
案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦
結(jié)束：課程總結(jié)與問(wèn)題答疑。

傅一航老師的其它課程