大數(shù)據(jù)下的數(shù)據(jù)管理

=============================================================
《大數(shù)據(jù)下的數(shù)據(jù)管理》 -段方
某世界 100 強企業(yè)大數(shù)據(jù)總設(shè)計師 教授 北京大學博士后
=============================================================
13465791451 概述
-------------------------------------------------------------
1.1 數(shù)據(jù)要素化、資產(chǎn)化
1.1.1 大數(shù)據(jù)成為新的生產(chǎn)“要素 ”
1.1.2 大數(shù)據(jù)的基本框架
1.1.3 數(shù)據(jù)資產(chǎn)化基礎(chǔ)
1.1.4 數(shù)據(jù)治理的重要性
1.2 大數(shù)據(jù)下的數(shù)據(jù)管理
1.2.1 行業(yè)數(shù)據(jù)管理的特點
1.2.2 大數(shù)據(jù)為什么強調(diào)數(shù)據(jù)管理？
1.2.3 大數(shù)據(jù)管理與傳統(tǒng)數(shù)據(jù)管理的異同
1.2.4 如何讓蘿 卜賣出“奢侈品 ”的價格？
1.2.5 數(shù)據(jù)管理的業(yè)界案例
1.2.5.1 電信行業(yè)案例
1.2.5.2 互聯(lián)網(wǎng)行業(yè)案例
1.3 數(shù)據(jù)管理的范疇
1.3.1 有關(guān)的標準——DAMA 概述
1.3.2 數(shù)據(jù)標準
1.3.3 數(shù)據(jù)資產(chǎn)
1.3.4 數(shù)據(jù)質(zhì)量
1.3.5 數(shù)據(jù)安全
1.4 數(shù)據(jù)管理基礎(chǔ)
1.4.1 數(shù)據(jù)的數(shù)據(jù)——元數(shù)據(jù)
1.4.2 元數(shù)據(jù)
1.4.2.1 數(shù)據(jù)倉庫的元數(shù)據(jù)
1.4.2.2 HADOOP 的元數(shù)據(jù)
1.4.2.3 元數(shù)據(jù)的價值和應(yīng)用
1.4.3 CWM 標準
1.4.3.1 數(shù)據(jù)倉庫的元模型
1.4.3.2 HADOOP 的元模型
1.5 數(shù)據(jù)管理的意義
1.5.1 提供大數(shù)據(jù)管理的“抓手 ”
1.5.2 證明大數(shù)據(jù)的內(nèi)部管理水平
1.6 數(shù)據(jù)管理包含數(shù)據(jù)治理
1.6.1 數(shù)據(jù)治理的概念
1.6.2 數(shù)據(jù)管理包含數(shù)據(jù)治理
1.7 【例】附件-數(shù)據(jù)治理(DAMA)框架介紹
1935291185322 數(shù)據(jù)管理基礎(chǔ)
-------------------------------------------------------------
2.1 數(shù)據(jù)內(nèi)容
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
客戶數(shù)據(jù) 產(chǎn)品數(shù)據(jù) 營銷數(shù)據(jù) 員工數(shù)據(jù) 服務(wù)數(shù)據(jù)
2.2 數(shù)據(jù)標準的顆粒度
2.2.1 詳細數(shù)據(jù)
2.2.2 匯總數(shù)據(jù)
2.2.3 衍生數(shù)據(jù)
2.3 數(shù)據(jù)如何收集
2.3.1 從內(nèi)部各個 IT 系統(tǒng)獲取
2.3.2 外部數(shù)據(jù)獲取方法
2.3.3 批量獲取/實時獲取
2.4 數(shù)據(jù)清洗過程
2.4.1 數(shù)據(jù)抽取
2.4.2 數(shù)據(jù)轉(zhuǎn)換
2.4.3 數(shù)據(jù)加載
2.5 跨平臺數(shù)據(jù)接口標準
2.5.1 數(shù)據(jù)接口的定義
2.5.2 數(shù)據(jù)接口的管理職責
2.5.3 接口設(shè)計的原則
2.6 邏輯模型設(shè)計及實例
2.6.1 原因
2.6.2 邏輯模型設(shè)計的原則
2.6.3 設(shè)計實例
2.7 物理模型設(shè)計及實例
2.7.1 原因
2.7.2 物理模型設(shè)計原則
2.7.3 設(shè)計實例
2.8 數(shù)據(jù)字典及實例
2.8.1
2.8.2
2.8.3
概念
范圍和內(nèi)容 設(shè)計實例
2.9 【案例】某企業(yè)的數(shù)據(jù)資產(chǎn)治理案例
1935291161753 數(shù)據(jù)建?；A(chǔ)
-------------------------------------------------------------
3.1 什么是數(shù)據(jù)模型？
3.2 數(shù)據(jù)倉庫的數(shù)據(jù)模型
3.3 大數(shù)據(jù)系統(tǒng)不用數(shù)據(jù)模型嗎？
3.4 數(shù)據(jù)模型是數(shù)據(jù)治理的基礎(chǔ)
3.5 數(shù)據(jù)接口的標準是數(shù)據(jù)模型的基礎(chǔ)
3.6 數(shù)據(jù)字典概念基礎(chǔ)
3.7 【例】附件——某企業(yè)數(shù)據(jù)字典舉例
134651166734 建模方法論
-------------------------------------------------------------
4.1 數(shù)據(jù)模型基本方法
4.2 數(shù)據(jù)模型與行業(yè)應(yīng)用的關(guān)系
4.3 第三范式
4.4 實體-關(guān)系模型
4.5 建模的三階段
4.5.1 概念模型
4.5.2 邏輯模型
4.5.3 物理模型
4.6 建立模型的關(guān)鍵問題
4.6.1 邏輯模型與業(yè)務(wù)的關(guān)系
4.6.2 邏輯模型與需求的關(guān)系
4.6.3 邏輯模型與業(yè)務(wù)系統(tǒng)的關(guān)系
4.7 【例】附件——某金融企業(yè)數(shù)據(jù)建模舉例
134651130415 數(shù)據(jù)倉庫邏輯模型（示例）
-------------------------------------------------------------
5.1 數(shù)據(jù)倉庫模型概述
5.2 某企業(yè)數(shù)據(jù)模型概述及舉例
5.3 參與人主題域
5.4 服務(wù)主題域
5.5 資源主題域
5.6 營銷主題域
5.7 事件主題域
5.8 賬務(wù)主題域
5.9 財務(wù)主題域
5.10 【例】附件——某企業(yè)的數(shù)據(jù)倉庫建模舉例
134651166716 匯總層數(shù)據(jù)模型
-------------------------------------------------------------
6.1 什么是匯總層數(shù)據(jù)模型？
6.2 某企業(yè)匯總層數(shù)據(jù)模型及案例
6.3 詳單匯總
6.4 賬務(wù)匯總
6.5 個人用戶匯總
6.6 集團客戶匯總
6.7 產(chǎn)品信息匯總等
6.8 【例】附件——某企業(yè)的數(shù)據(jù)質(zhì)量管理介紹
134651166727 數(shù)據(jù)接口設(shè)計
-------------------------------------------------------------
7.1 數(shù)據(jù)接口設(shè)計要求
7.2 數(shù)據(jù)接口分類
7.3 數(shù)據(jù)接口實現(xiàn)機制
7.4 接口雙方職責
7.5 數(shù)據(jù)轉(zhuǎn)換規(guī)則
7.6 消息級接口規(guī)則
7.7 【例】附件——某企業(yè)的數(shù)據(jù)接口規(guī)范舉例
8 建模工具
8.1 Erwin 建模工具介紹
8.2 主要特點
8.3 主要功能
8.4 Erwin 支持的各種接口
8.5 【例】附件——Erwin 工具介紹
9 數(shù)據(jù)治理基本內(nèi)容
9.1 數(shù)據(jù)架構(gòu)管理
9.1.1 企業(yè)數(shù)據(jù)模型
9.1.2 價值鏈分析
9.1.3 相關(guān)數(shù)據(jù)架構(gòu)
9.2 數(shù)據(jù)開發(fā)
9.2.1 分析
9.2.2 數(shù)據(jù)建模
9.2.3 數(shù)據(jù)庫設(shè)計
9.2.4 實施
9.3 數(shù)據(jù)操作管理
9.3.1
9.3.2
9.3.3
9.3.4
9.3.5
獲取 恢復(fù) 調(diào)優(yōu) 保留 清除
9.4 數(shù)據(jù)安全管理
9.4.1
9.4.2
9.4.3
9.4.4
9.4.5
標準 分級 管理 授權(quán) 審計
9.5 參考數(shù)據(jù)和主數(shù)據(jù)管理
9.5.1
外部規(guī)范
9.5.2
內(nèi)部規(guī)范
9.5.3
客戶數(shù)據(jù)
9.5.4
產(chǎn)品數(shù)據(jù)
9.5.5
維度管理
9.6 文檔和內(nèi)容管理
9.6.1
獲取和存儲
9.6.2
備份和恢復(fù)
9.6.3
內(nèi)容管理
9.6.4
檢索
9.6.5
保留
9.7 元數(shù)據(jù)管理
9.7.1 架構(gòu)
9.7.2 整合
9.7.3 控制
9.7.4 交付
9.8 數(shù)據(jù)質(zhì)量管理
9.8.1 規(guī)范
9.8.2 分析
9.8.3 度量
9.8.4 改進
9.9 其它
9.10 【例】附件-數(shù)據(jù)治理的案例分享
1346511667210 元數(shù)據(jù)管理
-------------------------------------------------------------
10.1 從數(shù)據(jù)倉庫說起
10.1.1 數(shù)據(jù)倉庫的技術(shù)特征——元數(shù)據(jù)
10.1.2 數(shù)據(jù)倉庫的元數(shù)據(jù)應(yīng)用舉例
10.2 大數(shù)據(jù)更需要元數(shù)據(jù)
10.2.1 大數(shù)據(jù)的業(yè)務(wù)特征
10.2.2 大數(shù)據(jù)更需要元數(shù)據(jù)
10.2.3 大數(shù)據(jù)的元數(shù)據(jù)與數(shù)據(jù)倉庫元數(shù)據(jù)的關(guān)系
10.2.4 HADOOP 內(nèi)部元數(shù)據(jù)內(nèi)容
10.2.5 大數(shù)據(jù)的元數(shù)據(jù)管理意義（更清晰的數(shù)據(jù)脈絡(luò)）
10.3 元數(shù)據(jù)的標準-CWM
10.3.1 為什么是 CWM?
10.3.2 元模型的概念及舉例
10.3.3 CWM 的演進
10.3.4 CWM 的問題
10.4 元數(shù)據(jù)的對外開放
10.4.1 元數(shù)據(jù)的 API
10.4.2 元數(shù)據(jù)的開放應(yīng)用意義
10.5 元數(shù)據(jù)的應(yīng)用
10.5.1 血緣分析
10.5.2 影響分析
10.5.3 元數(shù)據(jù)的易用性問題
10.6 元數(shù)據(jù)運維
10.6.1 元數(shù)據(jù)的建設(shè)和運維
10.6.2 運維更加重要
10.6.3 運維的管理制度保障
10.7 元數(shù)據(jù)的“事前 ”管理
10.7.1 事前元數(shù)據(jù)的概念
10.7.2 降低元數(shù)據(jù)的同步難度
10.7.3 從事前開始
10.8 元數(shù)據(jù)應(yīng)用案例分享
10.9 【例】附件-某企業(yè)元數(shù)據(jù)應(yīng)用案例展示
1346511668311 數(shù)據(jù)資產(chǎn)管理
-------------------------------------------------------------
11.1 數(shù)據(jù)成為資產(chǎn)
11.1.1 數(shù)據(jù)如何能成為資產(chǎn)?
11.1.2 數(shù)據(jù)資產(chǎn)如何評估？
11.2 數(shù)據(jù)資產(chǎn)范圍
11.2.1 數(shù)據(jù)資產(chǎn)范圍
11.2.2 數(shù)據(jù)資產(chǎn)的梳理
11.2.3 數(shù)據(jù)資產(chǎn)與固定資產(chǎn)間的關(guān)系
11.3 數(shù)據(jù)資產(chǎn)管理的內(nèi)容
11.3.1 資產(chǎn)的注冊
11.3.2 資產(chǎn)的變更
11.3.3 資產(chǎn)的統(tǒng)計
11.3.4 資產(chǎn)的審計
11.3.5 資產(chǎn)的權(quán)限管理
11.4 數(shù)據(jù)資產(chǎn)審計
11.4.1 數(shù)據(jù)資產(chǎn)審計內(nèi)容
11.4.2 數(shù)據(jù)資產(chǎn)審計的意義
11.4.3 數(shù)據(jù)資產(chǎn)審計的延伸
11.5 數(shù)據(jù)資產(chǎn)使用分析
11.5.1 哪些數(shù)據(jù)的訪問量更多？
11.5.2 哪些數(shù)據(jù)資產(chǎn)的存儲成本過高？
11.5.3 哪些數(shù)據(jù)資產(chǎn)的價值更大？
11.5.4 資產(chǎn)使用中有哪些問題？
11.6 【例】附件-數(shù)據(jù)資產(chǎn)管理的具體案例分享
1346511667112 數(shù)據(jù)質(zhì)量管控
-------------------------------------------------------------
12.1 數(shù)據(jù)質(zhì)量管理的源起
12.1.1 從“挑戰(zhàn)者 ”航天飛機說起
12.1.2 60%的精力在數(shù)據(jù)質(zhì)量上
12.1.3 數(shù)據(jù)質(zhì)量的表現(xiàn)形式
12.2 數(shù)據(jù)質(zhì)量管控的內(nèi)容
12.2.1 數(shù)據(jù)處理全程的全監(jiān)控
12.2.2 數(shù)據(jù)質(zhì)量的“度量 ”
12.2.3 數(shù)據(jù)質(zhì)量監(jiān)控的方法
12.2.4 數(shù)據(jù)質(zhì)量中的“數(shù)據(jù)回滾 ”
12.2.5 數(shù)據(jù)質(zhì)量管控的“實時性 ”要求
12.3 數(shù)據(jù)質(zhì)量的知識庫
12.3.1 數(shù)據(jù)質(zhì)量管理的知識庫
12.3.2 “眾人拾柴火焰高 ”——群策群力
12.3.3 知識庫的表征方式
12.4 數(shù)據(jù)質(zhì)量管理的業(yè)務(wù)應(yīng)用
12.4.1 數(shù)據(jù)質(zhì)量評估應(yīng)用
12.4.2 數(shù)據(jù)質(zhì)量分級告警
12.5 數(shù)據(jù)質(zhì)量管理的制度建設(shè)
12.5.1 “3 分技術(shù)，7 分管理 ”
12.5.2 如何細化管理？
12.6 數(shù)據(jù)質(zhì)量管理的“竅門 ”
12.7 【例】附件-某企業(yè)數(shù)據(jù)質(zhì)量管理案例
1346511668313 主數(shù)據(jù)的概念
1346511304113.1 概念和特點
13.1.1 共享數(shù)據(jù)
13.1.2 維度或者層次
13.2 主數(shù)據(jù)管理
13.2.1 主數(shù)據(jù)內(nèi)容
13.2.2 數(shù)據(jù)保持一致性
13.2.3 數(shù)據(jù)管理流程控制
13.2.4 主數(shù)據(jù)與數(shù)據(jù)倉庫
13.3 主數(shù)據(jù)管理意義
13.3.1 關(guān)鍵數(shù)據(jù)的統(tǒng)一
13.3.2 業(yè)務(wù)的一致性
13.4 【案例】附件——某企業(yè)主數(shù)據(jù)管理案例
1346511668314 大數(shù)據(jù)安全管理
-------------------------------------------------------------
14.1 從數(shù)據(jù)倉庫的安全說起
14.1.1 安全顛覆使用
14.1.2 數(shù)據(jù)倉庫安全介紹
14.2 系統(tǒng)的安全和網(wǎng)絡(luò)的安全
14.2.1 安全的層級
14.2.2 系統(tǒng)安全
14.2.3 網(wǎng)絡(luò)安全
14.3 HADOOP 的安全特點
14.3.1 開源系統(tǒng)如何安全？
14.3.2 HADOOP 各個組件的安全防護
14.3.3 安全管控的方案選擇
14.4 數(shù)據(jù)的脫敏
14.4.1 數(shù)據(jù)安全的最后防線
14.4.2 數(shù)據(jù)脫敏的算法
14.4.3 不可逆算法的優(yōu)勢
14.5 “逐級設(shè)防 ”的安全管控策略
14.5.1 如何層層防御？
14.5.2 “城防圖 ”的設(shè)計
14.6 安全管理的制度建設(shè)
14.6.1 從安全管理開始
14.6.2 安全管理的制度設(shè)計舉例
14.7 大數(shù)據(jù)安全的反思
14.7.1 有絕對的數(shù)據(jù)安全嗎？
14.7.2 如何有限的成本用到刀刃上？
14.8 【案例】附件——某企業(yè)大數(shù)據(jù)安全管理案例
1346511668415 數(shù)據(jù)管理中的互聯(lián)網(wǎng)思維落地
-------------------------------------------------------------
15.1 互聯(lián)網(wǎng)思維的概述
15.1.1 互聯(lián)網(wǎng)思維的概念
15.1.2 互聯(lián)網(wǎng)思維的特點
15.1.3 互聯(lián)網(wǎng)思維的應(yīng)用舉例
15.2 大數(shù)據(jù)與互聯(lián)網(wǎng)思維的關(guān)系
15.2.1 大數(shù)據(jù)為什么需要互聯(lián)網(wǎng)思維？
15.2.2 大數(shù)據(jù)互聯(lián)網(wǎng)思維與 IT 思維的對比
15.2.3 大數(shù)據(jù)互聯(lián)網(wǎng)思維的意義
15.3 數(shù)據(jù)管理中的互聯(lián)網(wǎng)思維
15.3.1 數(shù)據(jù)管理的使用者分析
15.3.2 數(shù)據(jù)管理中的產(chǎn)品分析
15.3.3 數(shù)據(jù)管理中極致思維的落地
15.4 元數(shù)據(jù)的互聯(lián)網(wǎng)思維
15.4.1 用戶是誰?
15.4.2 產(chǎn)品如何？
15.4.3 如何降低使用門檻？
15.5 數(shù)據(jù)質(zhì)量的互聯(lián)網(wǎng)思維
15.5.1 互聯(lián)網(wǎng)思維在數(shù)據(jù)質(zhì)量管理中的落地
15.5.2 如何提升數(shù)據(jù)質(zhì)量監(jiān)控的可視化程度？
15.6 數(shù)據(jù)資產(chǎn)管理的互聯(lián)網(wǎng)思維
15.6.1 如何讓普通用戶也能夠理解數(shù)據(jù)資產(chǎn)管理？
15.6.2 數(shù)據(jù)資產(chǎn)管理中的跨界思維
15.7 數(shù)據(jù)安全中的互聯(lián)網(wǎng)思維
15.7.1 數(shù)據(jù)安全的產(chǎn)品化
15.7.2 數(shù)據(jù)安全的“可視化 ”
15.8 【例】附件-數(shù)據(jù)治理中互聯(lián)網(wǎng)思維的落地案例
1346511697616 總結(jié)
-------------------------------------------------------------

段方老師的其它課程