Python實現(xiàn)大數據挖掘技術培訓

  培訓講師：傅一航

講師背景：
傅一航，華為系大數據專家。傅一航，男，計算機軟件與理論碩士研究生（研究方向：數據挖掘、搜索引擎）。在華為工作十年，五篇國家專利，在華為工作期間獲得華為數項獎項，曾在英國、日本、荷蘭等國家做項目，對大數據有深入的研究。傅老師專注于大數據分析與 詳細>>

傅一航
    課程咨詢電話：

Python實現(xiàn)大數據挖掘技術培訓詳細內容

Python實現(xiàn)大數據挖掘技術培訓

【課程大綱】

**部分：Python語言基礎

目的：掌握基本的Python編程思想與編程語句，熟悉常用數據結構的操作

1、 Python簡介

2、 開發(fā)環(huán)境搭建

? Python的安裝

? 擴展庫的安裝

3、 掌握Python的簡單數據類型

?  字符串的使用及操作

? 整數、浮點數

4、 掌握基本語句：

? if、while、for、print等

? 基本運算：

? 函數定義、參數傳遞、返回值

5、 掌握復雜的數據類型：列表/元組

? 列表操作：訪問、添加、修改、刪除、排序

? 列表切片、復制等

? 列表相關的函數、方法

? 元組的應用

6、 復雜數據類型：字典

? 創(chuàng)建、訪問、修改、刪除、遍歷

? 字典函數和方法

7、 復雜數據類型：集合

8、 掌握面向對象編程思想

? 創(chuàng)建類、繼承類

? 模塊

9、 函數定義、參數傳遞、返回值

10、 標準庫與擴展庫的導入

11、 異常處理:try-except塊

演練：基本的Python編程語句


第二部分：Python語言與數據挖掘庫

目的：掌握數據集結構及基本處理方法，進一步鞏固Python語言

1、 數據挖掘常用擴展庫介紹

? Numpy數組處理支持

? Scipy矩陣計算模塊

? Matplotlib數據可視化工具庫

? Pandas數據分析和探索工具

? StatsModels統(tǒng)計建模庫

? Scikit-Learn機器學習庫

? Keras深度學習（神經網絡）庫

? Gensim文本挖掘庫

2、 數據集讀取與操作：讀取、寫入

? 讀寫文本文件

? 讀寫CSV文件

? 讀寫Excel文件

? 從數據庫獲取數據集

3、 數據集的核心數據結構（Pandas數據結構）

? DataFrame對象及處理方法

? Series對象及處理方法

演練：用Python實現(xiàn)數據的基本統(tǒng)計分析功能


第三部分：數據可視化處理

目的：掌握作圖擴展庫，實現(xiàn)數據可視化

1、 常用的Python作圖庫

? Matplotlib庫

? Pygal庫

2、 實現(xiàn)分類匯總

演練：按性別統(tǒng)計用戶人數

演練：按產品 日期統(tǒng)計各產品銷售金額

3、 各種圖形的畫法

? 直方圖

? 餅圖

? 折線圖

? 散點圖

4、 繪圖的美化技巧

演練：用Python庫作圖來實現(xiàn)產品銷量分析，并可視化


第四部分：數據挖掘基礎

目的：掌握數據挖掘標準流程

1、 數據挖掘概述

2、 數據挖掘的標準流程（CRISP-DM）

? 商業(yè)理解

? 數據準備

? 數據理解

? 模型建立

? 模型評估

? 模型應用

3、 數據挖掘常用任務與算法

案例：用大數據實現(xiàn)精準營銷的項目過程


第五部分：數據理解和數據準備

目的：掌握數據預處理的基本環(huán)節(jié)，以及Python的實現(xiàn)

1、 數據預處理

? 異常值處理：3σ準則，IQR準則

? 缺失值插補：均值、拉格朗日插補

? 數據篩選/抽樣

? 數據的離散化處理

? 變量變換、變量派生

2、 數據的基本分析

? 相關分析：原理、公式、應用

? 方差分析：原理、公式、應用

? 卡方分析：原理、公式、應用

? 主成分分析：降維

案例：用Python實現(xiàn)數據預處理及數據準備


第四部分：分類預測模型實戰(zhàn)

1、 常見分類預測的模型與算法

2、 如何評估分類預測模型的質量

? 查準率

? 查全率

? ROC曲線

3、 邏輯回歸分析模型

? 邏輯回歸的原理

? 邏輯回歸建模的步驟

? 邏輯回歸結果解讀

案例：用sklearn庫實現(xiàn)銀行貸款違約預測

4、 決策樹模型

? 決策樹分類的原理

? 決策樹的三個關鍵問題

? 決策樹算法與實現(xiàn)

案例：電力竊漏用戶自動識別

5、 人工神經網絡模型（ANN）

? 神經網絡概述

? 神經元工作原理

? 常見神經網絡算法（BP、LM、RBF、FNN等）

案例：神經網絡預測產品銷量

6、 支持向量機（SVM）

? SVM基本原理

? 維災難與核心函數

案例：基于水質圖像的水質評價

7、 貝葉斯分析

? 條件概率

? 常見貝葉斯網絡


第五部分：數值預測模型實戰(zhàn)

1、 常用數值預測的模型

? 通用預測模型：回歸模型

? 季節(jié)性預測模型：相加、相乘模型

? 新產品預測模型：珀爾曲線與龔鉑茲曲線

2、 回歸分析概念

3、 常見回歸分析類別


第六部分：聚類分析（客戶細分）實戰(zhàn)

1、 客戶細分常用方法

2、 聚類分析（Clustering）

? 聚類方法原理介紹及適用場景

? 常用聚類分析算法

? 聚類算法的評價

案例：使用SKLearn實現(xiàn)K均值聚類

案例：使用TSNE實現(xiàn)聚類可視化

3、 RFM模型分析

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

案例：航空公司客戶價值分析


第七部分：關聯(lián)規(guī)則分析實戰(zhàn)

1、 關聯(lián)規(guī)則概述

2、 常用關聯(lián)規(guī)則算法

3、 時間序列分析

案例：使用apriori庫實現(xiàn)關聯(lián)分析

案例：中醫(yī)證型關聯(lián)規(guī)則挖掘


第八部分：案例實戰(zhàn)（學員主導，老師現(xiàn)場指導）

1、 電商用戶行為分析及服務推薦

2、 基于基站定位數據的商圈分析


結束：課程總結與問題答疑。



 

傅一航老師的其它課程

數據分析方法及生產運營實際應用【課程目標】本課程主要介紹數據分析在生產運營過程中的應用，適用于制造行業(yè)/保險行業(yè)的數據分析人員等。本課程的主要目的是，幫助學員了解大數據的本質，培養(yǎng)學員的數據意識和數據思維，掌握常用的統(tǒng)計分析方法和工具，以及生產、運營過程中的應用，并以概率的方式來進行決策，提升學員的數據分析及應用能力。本課程具體內容包括：數據決策邏輯，數據決

 講師：傅一航詳情

大數據建模大賽輔導實戰(zhàn)【課程目標】本課程主要面向專業(yè)人士的大數據建模競賽輔導需求（假定學員已經完成Python建模及優(yōu)化--回歸篇/分類篇的學習）。通過本課程的學習，達到如下目的：熟悉大賽常用集成模型掌握模型優(yōu)化常用措施，掌握超參優(yōu)化策略掌握特征工程處理，以及對模型質量的影響掌握建模工程管道類(Pipeline,ColumnTransformer)的使用【授

 講師：傅一航詳情

大數據時代的精準營銷【課程目標】本課程從實際的市場營銷問題出發(fā)，了解大數據在市場營銷領域的價值以及應用。并對大數據分析與挖掘技術進行了介紹，通過從大量的市場營銷數據中分析潛在的客戶特征，挖掘客戶行為特點，實現(xiàn)精準營銷，幫助市場營銷團隊深入理解業(yè)務運作，支持業(yè)務策略制定以及營銷決策。通過本課程的學習，達到如下目的：了解大數據營銷內容，掌握大數據在營銷中的應用。

 講師：傅一航詳情

大數據時代的精準營銷【課程目標】本課程從實際的市場營銷問題出發(fā)，了解大數據在市場營銷領域的價值以及應用。并對大數據分析與挖掘技術進行了介紹，通過從大量的市場營銷數據中分析潛在的客戶特征，挖掘客戶行為特點，實現(xiàn)精準營銷，幫助市場營銷團隊深入理解業(yè)務運作，支持業(yè)務策略制定以及營銷決策。通過本課程的學習，達到如下目的：了解大數據營銷內容，掌握大數據在營銷中的應用。

 講師：傅一航詳情

大數據決策思維與商業(yè)模式創(chuàng)新，賦能企業(yè)增長【課程目標】本課程主要幫助大家理解大數據的基本概念，著重探索大數據的本質，理解大數據的核心價值，以及掌握實現(xiàn)大數據價值的三個關鍵環(huán)節(jié)，大數據解決業(yè)務問題的六個步驟，然后聚焦大數據的七大核心思維，最后，再用案例說明了大數據在各行業(yè)的應用場景。大數據思維，讓決策更科學！讓管理更高效！讓營銷更精準！通過本課程的學習，達到如

 講師：傅一航詳情

大數據思維與應用創(chuàng)新【課程目標】本課程主要幫助大家理解大數據的基本概念，著重探索大數據的本質，理解大數據的核心價值，以及掌握實現(xiàn)大數據價值的三個關鍵環(huán)節(jié)，大數據解決業(yè)務問題的六個步驟，然后聚焦大數據的七大核心思維，最后，再用案例說明了大數據在各行業(yè)的應用場景。大數據思維，讓決策更科學！讓管理更高效！讓營銷更精準！通過本課程的學習，達到如下目的：了解大數據基本

 講師：傅一航詳情

大數據思維與應用創(chuàng)新【課程目標】本課程主要幫助大家理解大數據的基本概念，著重探索大數據的本質，理解大數據的核心價值，以及掌握實現(xiàn)大數據價值的三個關鍵環(huán)節(jié)，大數據解決業(yè)務問題的六個步驟，然后聚焦大數據的七大核心思維，最后，再用案例說明了大數據在各行業(yè)的應用場景。大數據思維，讓決策更科學！讓管理更高效！讓營銷更精準！通過本課程的學習，達到如下目的：了解大數據基本

 講師：傅一航詳情

大數據思維與應用創(chuàng)新【課程目標】本課程主要幫助大家理解大數據的基本概念，著重探索大數據的本質，理解大數據的核心價值，以及掌握實現(xiàn)大數據價值的三個關鍵環(huán)節(jié)，大數據解決業(yè)務問題的六個步驟，然后聚焦大數據的七大核心思維，最后，再用案例說明了大數據在各行業(yè)的應用場景。大數據思維，讓決策更科學！讓管理更高效！讓營銷更精準！通過本課程的學習，達到如下目的：了解大數據基本

 講師：傅一航詳情

大數據挖掘工具:SPSSStatistics入門與提高【課程目標】本課程為數據分析和挖掘的工具篇，本課程面向數據分析部等專門負責數據分析與挖掘的人士，專注大數據挖掘工具SPSSStatistics的培訓。IBMSPSS工具是面向非專業(yè)人士的高級的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決更復雜的業(yè)務問題，比如影響因素分析、客戶行為預測/精

 講師：傅一航詳情

金融行業(yè)風險預測模型實戰(zhàn)【課程目標】本課程專注于金融行業(yè)的風控模型，面向數據分析部等專門負責數據分析與建模的人士。本課程的主要目的是，培養(yǎng)學員的大數據意識和大數據思維，掌握常用的數據分析方法和數據分析模型，并能夠用于對客戶行為作分析和預測，提升學員的數據分析綜合能力。通過本課程的學習，達到如下目的：掌握數據分析和數據建模的基本過程和步驟掌握客戶行為分析中常用

 講師：傅一航詳情

COPYRIGT @ 2001-2018 HTTP://www.musicmediasoft.com INC. ALL RIGHTS RESERVED. 管理資源網 版權所有