大數(shù)據(jù)分析與數(shù)據(jù)挖掘能力提升實(shí)戰(zhàn)

【課程大綱】**部分：解構(gòu)大數(shù)據(jù)1、 大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨

2、 大數(shù)據(jù)的三層理解

? 理論層：以數(shù)據(jù)為基礎(chǔ)

? 技術(shù)層：以平臺(tái)為手段

? 應(yīng)用層：以應(yīng)用為導(dǎo)向

3、 大數(shù)據(jù)的4V特征

4、 大數(shù)據(jù)的核心價(jià)值

? 發(fā)現(xiàn)業(yè)務(wù)運(yùn)行規(guī)律

? 預(yù)測(cè)事物未來(lái)

5、 大數(shù)據(jù)在各行業(yè)是如何應(yīng)用的

? 醫(yī)療衛(wèi)生

? 政治軍事

? 行政執(zhí)法

? 金融銀行

? ……

6、 數(shù)據(jù)分析的核心理念

? 數(shù)據(jù)變化意味著業(yè)務(wù)變化

? 數(shù)據(jù)間關(guān)系意味著因素間的關(guān)系

7、 大數(shù)據(jù)戰(zhàn)略

? 大數(shù)據(jù)成為企業(yè)的核心資產(chǎn)

? 大數(shù)據(jù)成為業(yè)務(wù)創(chuàng)新的核心引擎

? 從數(shù)據(jù)化運(yùn)營(yíng)到運(yùn)營(yíng)數(shù)據(jù)

8、 大數(shù)據(jù)的思維變革

? 定量思維

? 相關(guān)思維

? 實(shí)驗(yàn)思維

? ……

9、 大數(shù)據(jù)的商業(yè)模式分析

10、 大數(shù)據(jù)的人才培養(yǎng)

第二部分：數(shù)據(jù)分析篇問(wèn)題：數(shù)據(jù)分析是神馬?數(shù)據(jù)分析基本過(guò)程？

1、 數(shù)據(jù)分析面臨的常見(jiàn)問(wèn)題

2、 認(rèn)識(shí)數(shù)據(jù)分析

? 什么是數(shù)據(jù)分析

? 數(shù)據(jù)分析的三大作用

? 數(shù)據(jù)分析的三大類(lèi)別

案例：喜歡賺“差價(jià)”的營(yíng)業(yè)員

3、 數(shù)據(jù)分析的六步曲

? 明確目的

? 收集數(shù)據(jù)

? 處理數(shù)據(jù)（預(yù)處理）

? 分析數(shù)據(jù)

? 呈現(xiàn)數(shù)據(jù)（可視化）

? 撰寫(xiě)報(bào)告

案例：終端精準(zhǔn)營(yíng)銷(xiāo)項(xiàng)目過(guò)程討論

4、 數(shù)據(jù)分析師需要什么樣的能力

? 懂業(yè)務(wù)、懂管理、懂分析、懂工具、懂呈現(xiàn)

5、 大數(shù)據(jù)應(yīng)用系統(tǒng)的四層結(jié)構(gòu)

? 數(shù)據(jù)基礎(chǔ)層、數(shù)據(jù)模型層、業(yè)務(wù)模型層、業(yè)務(wù)應(yīng)用層

6、 數(shù)據(jù)分析方法的層次

? 基本分析法（對(duì)比/分組/結(jié)構(gòu)/趨勢(shì)/…）

? 綜合分析法（交叉/綜合評(píng)價(jià)/杜邦/漏斗/…）

? 高級(jí)分析法（相關(guān)/方差/驗(yàn)證/回歸/時(shí)序/…）

? 數(shù)據(jù)挖掘法（聚類(lèi)/分類(lèi)/關(guān)聯(lián)/RFM模型/…）

7、 基本分析方法及其適用場(chǎng)景

? 對(duì)比分析（查看數(shù)據(jù)差距）

演練：按性別、省份、產(chǎn)品進(jìn)行分類(lèi)統(tǒng)計(jì)

? 分組分析（查看數(shù)據(jù)分布）

演練：銀行信用卡月消費(fèi)分析（銀行）

演練：呼叫中心接聽(tīng)電話(huà)效率分析（呼叫中心）

演練：客服中心科學(xué)排班人數(shù)需求分析（客服中心）

演練：客戶(hù)年齡分布分析

案例：排班后面隱藏的貓膩

? 結(jié)構(gòu)分析（評(píng)估事物構(gòu)成）

案例：用戶(hù)市場(chǎng)占比結(jié)構(gòu)分析

案例：物流費(fèi)用占比結(jié)構(gòu)分析（物流）

? 趨勢(shì)分析（發(fā)現(xiàn)變化規(guī)律）

案例：破解零售店銷(xiāo)售規(guī)律

8、 綜合分析方法及其適用場(chǎng)景

? 交叉分析（兩維分析）

演練：用戶(hù)性別 地域分布分析

? 綜合評(píng)價(jià)法（多維指標(biāo)歸一）

演練：人才選拔評(píng)價(jià)分析（HR）

案例：南京丈母娘選女婿分析表格

? 杜邦分析法（關(guān)鍵因素分析-財(cái)務(wù)數(shù)據(jù)分析）

案例：電信市場(chǎng)占有率分析

演練：服務(wù)水平提升分析（呼叫中心）

案例：銷(xiāo)售額的影響因素分析（零售店/電商）

? 漏斗分析法（關(guān)鍵流程環(huán)節(jié)分析-流失率與轉(zhuǎn)化率分析）

演練：終端銷(xiāo)售流程分析（電信營(yíng)業(yè)廳）

案例：業(yè)務(wù)辦理流程優(yōu)化分析（銀行營(yíng)業(yè)廳）

案例：物流配送效率分析（物流）

? 矩陣分析法（產(chǎn)品策略分析-象限圖分析法）

案例：工作安排評(píng)估

案例：HR人員考核與管理

案例：波士頓產(chǎn)品策略分析

9、 **合適的分析方法才是硬道理。

10、 數(shù)據(jù)分析思路（如何細(xì)化業(yè)務(wù)問(wèn)題）

案例：利用5W2H來(lái)分析產(chǎn)品銷(xiāo)售情況

第三部分：概率與數(shù)理統(tǒng)計(jì)篇1、 數(shù)據(jù)統(tǒng)計(jì)指標(biāo)

? 集中程度：平均數(shù)/中位數(shù)/眾數(shù)

? 離散程度：全距/四分位距/標(biāo)準(zhǔn)差/四分位

? 分布形態(tài)：偏度/峰度

? 正確理解各指標(biāo)的含義

案例：如何用Excel計(jì)算統(tǒng)計(jì)指標(biāo)

案例：如何用Excel畫(huà)直方圖

2、 概率論基本知識(shí)

? 隨機(jī)事件與概率

? 古典概率與條件概率

? 全概率公式與貝葉斯公司

? 概率分布函數(shù)

? 數(shù)學(xué)期望與方差

? 大數(shù)定律與中心極限定理

3、 參數(shù)檢驗(yàn)分析

? 假設(shè)檢驗(yàn)概述

? 假設(shè)檢驗(yàn)步驟

? 樣本T檢驗(yàn)（單樣本、兩獨(dú)立樣本、兩配對(duì)樣本）及適用場(chǎng)景

案例：電信運(yùn)營(yíng)商ARPU值評(píng)估分析（單樣本）

案例：營(yíng)銷(xiāo)活動(dòng)前后分析（兩配對(duì)樣本）

案例：吸煙與膽固醇升高的分析（兩獨(dú)立樣本）

4、 非參數(shù)檢驗(yàn)分析

? 非參數(shù)檢驗(yàn)概述

? 樣本檢驗(yàn)（單樣本、兩獨(dú)立樣本、兩相關(guān)樣本）

案例：產(chǎn)品合格率檢驗(yàn)（單樣本-二項(xiàng)分布）

案例：訓(xùn)練新方法有效性檢驗(yàn)（兩配對(duì)樣本-符號(hào)/秩檢驗(yàn)）

案例：促銷(xiāo)方式效果檢驗(yàn)(多相關(guān)樣本-Friedman檢驗(yàn))

案例：客戶(hù)滿(mǎn)意度差異檢驗(yàn)(多相關(guān)樣本-Cochran Q檢驗(yàn))

第四部分：高級(jí)數(shù)據(jù)分析本篇包含三大內(nèi)容：影響因素分析，數(shù)值預(yù)測(cè)模型。

1、 相關(guān)分析（衡量變量間的的相關(guān)性）

問(wèn)題：營(yíng)銷(xiāo)費(fèi)用會(huì)影響銷(xiāo)售額嗎？影響程度大嗎？

? 什么是相關(guān)關(guān)系

? 相關(guān)系數(shù)：衡量相關(guān)程度的指標(biāo)

? 相關(guān)分析的步驟與計(jì)算公式

? 相關(guān)分析應(yīng)用場(chǎng)景

演練：體重與腰圍的關(guān)系

演練：營(yíng)銷(xiāo)費(fèi)用與銷(xiāo)售額的關(guān)系

2、 方差分析

問(wèn)題：哪些才是影響銷(xiāo)量的關(guān)鍵因素？

? 方差分析解決什么問(wèn)題

? 方差分析種類(lèi)：?jiǎn)我蛩?雙因素可重復(fù)/雙因素?zé)o重復(fù)

? 方差分析的應(yīng)用場(chǎng)景

? 如何解決方差分析結(jié)果

演練：產(chǎn)品擺放位置與銷(xiāo)量有關(guān)嗎？（單因素方差分析）

案例：2015年大學(xué)生工資與父母職業(yè)的關(guān)系

3、 回歸分析（預(yù)測(cè)）

問(wèn)題：如何預(yù)測(cè)未來(lái)的銷(xiāo)售量（定量分析）？

? 回歸分析的基本原理和應(yīng)用場(chǎng)景

? 回歸分析的種類(lèi)（一元/多元、線(xiàn)性/曲線(xiàn)）

? 回歸分析的幾種常用方法

? 回歸分析的五個(gè)步驟與結(jié)果解讀

? 回歸預(yù)測(cè)結(jié)果評(píng)估（如何評(píng)估預(yù)測(cè)質(zhì)量，如何選擇**回歸模型）

演練：散點(diǎn)圖找推廣費(fèi)用與銷(xiāo)售額的關(guān)系（一元線(xiàn)性回歸）

演練：推廣費(fèi)用、辦公費(fèi)用與銷(xiāo)售額的關(guān)系（多元線(xiàn)性回歸）

演練：**選擇的預(yù)測(cè)銷(xiāo)售額的回歸模型（一元曲線(xiàn)回歸）

? 回歸分析（帶分類(lèi)變量）

案例：汽車(chē)銷(xiāo)量的季度預(yù)測(cè)

演練：工齡、性別與終端銷(xiāo)量的關(guān)系

討論：終端銷(xiāo)售預(yù)測(cè)分析（營(yíng)業(yè)廳）

4、 時(shí)序分析（預(yù)測(cè)）

問(wèn)題：隨著時(shí)間變化，未來(lái)的銷(xiāo)量變化趨勢(shì)如何？

? 時(shí)序分析的應(yīng)用場(chǎng)景（基于時(shí)間的變化規(guī)律）

? 移動(dòng)平均的預(yù)測(cè)原理

? 指數(shù)平滑的預(yù)測(cè)原理

案例：銷(xiāo)售額的時(shí)序預(yù)測(cè)及評(píng)估

演練：產(chǎn)品銷(xiāo)量預(yù)測(cè)及評(píng)估第五部分：建立預(yù)測(cè)模型與模型優(yōu)化（Excel工具）本篇包含內(nèi)容：數(shù)值預(yù)測(cè)建模、模型優(yōu)化，季節(jié)性預(yù)測(cè)模型、S曲線(xiàn)預(yù)測(cè)模型。

1、 常見(jiàn)預(yù)測(cè)模型類(lèi)別

? 數(shù)值預(yù)測(cè)

? 分類(lèi)預(yù)測(cè)

2、 回歸分析建模

? 尋找**回歸擬合線(xiàn)來(lái)判斷和預(yù)測(cè)

? 模型優(yōu)化七步法（因素、異常值、相互作用、非線(xiàn)性關(guān)系…）

案例：汽車(chē)銷(xiāo)量預(yù)測(cè)分析

案例：工齡、性別與銷(xiāo)量的回歸分析

3、 季節(jié)性預(yù)測(cè)模型

? 季節(jié)性預(yù)測(cè)模型的參數(shù)

? 常用季節(jié)性預(yù)測(cè)模型（相加模型、相乘模型）

案例：美國(guó)航空旅客里程的季節(jié)性趨勢(shì)分析

案例：產(chǎn)品銷(xiāo)售季節(jié)性趨勢(shì)預(yù)測(cè)分析

4、 新產(chǎn)品銷(xiāo)量預(yù)測(cè)與S曲線(xiàn)

? 如何評(píng)估銷(xiāo)量增長(zhǎng)的拐點(diǎn)

? 常用模型（珀?duì)柷€(xiàn)、龔鉑茲曲線(xiàn)）

案例：預(yù)測(cè)IPad產(chǎn)品的銷(xiāo)售增長(zhǎng)拐點(diǎn)，以及銷(xiāo)量上限

5、 規(guī)劃求解與自定義模型

案例：大數(shù)據(jù)下的產(chǎn)品定價(jià)方法

案例：如何對(duì)客流量進(jìn)行建模及模型優(yōu)化

第五部分：數(shù)據(jù)挖掘篇（SPSS工具使用）1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評(píng)估

? 模型應(yīng)用

案例：通信客戶(hù)流失分析及預(yù)警模型

3、 聚類(lèi)分析（市場(chǎng)細(xì)分與客戶(hù)細(xì)分）

問(wèn)題：如何實(shí)現(xiàn)客戶(hù)細(xì)分，開(kāi)發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？

? 聚類(lèi)分析及其作用

? 聚類(lèi)分析的種類(lèi)

? 層次聚類(lèi)：發(fā)現(xiàn)多個(gè)類(lèi)別

? R型聚類(lèi)與Q型聚類(lèi)的區(qū)別

演練：中國(guó)省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類(lèi)）

演練：裁判評(píng)分的標(biāo)準(zhǔn)衡量（R型聚類(lèi)）

? K均值聚類(lèi)

演練：寶潔公司如何選擇新產(chǎn)品試銷(xiāo)區(qū)域？

演練：如何評(píng)選優(yōu)秀員工？

4、 分類(lèi)分析

案例：美國(guó)零售商（Target）如何預(yù)測(cè)少女懷孕

問(wèn)題：如何提取客戶(hù)流失者、拖欠貨款者的特征？如何預(yù)測(cè)其流失的概率？

? 分類(lèi)與聚類(lèi)

? 決策樹(shù)分類(lèi)的原理

? 如何評(píng)估分類(lèi)性能

演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貨者的特征

5、 關(guān)聯(lián)分析

案例：啤酒與尿布、颶風(fēng)與蛋撻

問(wèn)題：購(gòu)買(mǎi)面包的人是否也會(huì)購(gòu)買(mǎi)牛奶？他們同時(shí)購(gòu)買(mǎi)哪些產(chǎn)品？

? 關(guān)聯(lián)分析解決什么樣的問(wèn)題

? 如何提取關(guān)聯(lián)規(guī)則

? 關(guān)聯(lián)規(guī)則的應(yīng)用場(chǎng)景

案例：超市商品交叉銷(xiāo)售與布局優(yōu)化（關(guān)聯(lián)分析）

6、 RFM模型

問(wèn)題：如何評(píng)估客戶(hù)的價(jià)值？如何針對(duì)不同客戶(hù)采取不同的營(yíng)銷(xiāo)策略？

? RFM模型介紹

? RFM的客戶(hù)細(xì)分框架理解

演練：淘寶客戶(hù)選擇促銷(xiāo)客戶(hù)的方式

演練：結(jié)合響應(yīng)模型，宜家IKE實(shí)現(xiàn)**大化營(yíng)銷(xiāo)利潤(rùn)

第六部分：數(shù)據(jù)挖掘?qū)崙?zhàn)篇（Modeler工具實(shí)操）1、 數(shù)據(jù)挖掘處理的一般過(guò)程

? 數(shù)據(jù)源à數(shù)據(jù)理解à數(shù)據(jù)準(zhǔn)備à探索分析à數(shù)據(jù)建模à模型評(píng)估

2、 數(shù)據(jù)讀入

3、 數(shù)據(jù)集成

? 變量合并（增加變量）

? 數(shù)據(jù)追加（添加記錄）

4、 數(shù)據(jù)理解

? 取值范圍限定

? 重復(fù)數(shù)據(jù)處理

? 缺失值處理

? 無(wú)效值處理

? 離群點(diǎn)和極端值的修正

? 數(shù)據(jù)質(zhì)量評(píng)估

5、 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡(jiǎn)：數(shù)據(jù)分段/離散化（減少變量的取值）

? 數(shù)據(jù)平衡：正反樣本比例均衡

? 其它：排序、分類(lèi)匯總

6、 數(shù)據(jù)準(zhǔn)備：變量處理

? 變量變換：原變量值更新

? 變量派生：生成新的變量

? 變量精簡(jiǎn)：降維，減少變量個(gè)數(shù)

7、 基本分析

? 單變量：數(shù)據(jù)基本描述分析

? 雙變量：相關(guān)分析、方差分析、卡方檢驗(yàn)（列聯(lián)檢驗(yàn)）

? 變量精簡(jiǎn)：特征選擇、因子分析

案例：通信基本費(fèi)用與開(kāi)通月數(shù)的相關(guān)分析

案例：開(kāi)通月數(shù)對(duì)客戶(hù)流失的影響分析

案例：套餐類(lèi)型對(duì)對(duì)客戶(hù)流失的影響分析

8、 特征選擇

? 特征選擇方法：選擇重要變量，剔除不重要的變量

? 從變量本身考慮

? 從輸入變量與目標(biāo)變量的相關(guān)性考慮

9、 因子分析（主成分分析）

? 因子分析的原理

? 因子個(gè)數(shù)如何選擇

? 如何解讀因子含義

案例：提取影響電信客戶(hù)流失的主成分分析

10、 常見(jiàn)分類(lèi)預(yù)測(cè)模型

? 分類(lèi)預(yù)測(cè)基本過(guò)程

? 如何評(píng)估分類(lèi)模型的性能（查準(zhǔn)率、查全率）

11、 決策樹(shù)分類(lèi)

? 決策樹(shù)分類(lèi)原理

? 決策樹(shù)構(gòu)建的三個(gè)關(guān)鍵問(wèn)題

? 決策樹(shù)算法

案例：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貨者的特征

案例：客戶(hù)流失預(yù)警與客戶(hù)挽留模型

12、 神經(jīng)網(wǎng)絡(luò)

? 神經(jīng)網(wǎng)絡(luò)概述

? 神經(jīng)元工作原理

? BP反向傳播網(wǎng)絡(luò)（MLP）

? 徑向基函數(shù)網(wǎng)絡(luò)（RBF）

13、 支持向量機(jī)

14、 貝葉斯分類(lèi)

實(shí)戰(zhàn)：電信客戶(hù)流失分析與預(yù)警模型

結(jié)束：課程總結(jié)與問(wèn)題答疑。

傅一航老師的其它課程