-
- 素材大小：
- 5 MB
- 素材授權：
- 免費下載
- 素材格式：
- .ppt
- 素材上傳：
- ppt
- 上傳時間：
- 2016-03-31
- 素材編號：
- 51811
- 素材類別：
- 培訓教程PPT
-
素材預覽
這是一個關于clementine數(shù)據(jù)挖掘培訓PPT（部分ppt內容已做更新升級），數(shù)據(jù)挖掘與Clementine使用培訓,通過多個案例來說明數(shù)據(jù)挖掘與Clementine使用,共305頁等內容。培訓是給新員工或現(xiàn)有員工傳授其完成本職工作所必需的正確思維認知、基本知識和技能的過程。是一種有組織的知識傳遞、技能傳遞、標準傳遞、信息傳遞、管理訓誡行為。其中以技能傳遞為主，側重上崗前進行。為了達到統(tǒng)一的科學技術規(guī)范、標準化作業(yè)，通過目標規(guī)劃設定知識和信息傳遞、技能熟練演練、作業(yè)達成評測、結果交流公告等現(xiàn)代信息化的流程，讓員工通過一定的教育訓練技術手段，達到預期的水平，提高目標。目前國內培訓以技能傳遞為主，時間在側重上崗前。
clementine數(shù)據(jù)挖掘培訓PPT是由紅軟PPT免費下載網推薦的一款培訓教程PPT類型的PowerPoint.
數(shù)據(jù)挖掘與Clementine使用培訓
北京瑞斯泰得數(shù)據(jù)技術開發(fā)有限公司
2016/3/31
一、數(shù)據(jù)挖掘概述
什么是數(shù)據(jù)挖掘
數(shù)據(jù)挖掘的實現(xiàn)路線和流程
數(shù)據(jù)挖掘方法論——CRISP-DM
為什么進行數(shù)據(jù)挖掘？ 商業(yè)觀點
業(yè)務中產生了大量的數(shù)據(jù)，這些數(shù)據(jù)存儲在業(yè)務系統(tǒng)中卻不能創(chuàng)造價值
客戶信息數(shù)據(jù)
客戶交易行為數(shù)據(jù)
客戶反饋數(shù)據(jù)
網絡數(shù)據(jù)
……
計算機變得越來越便宜、功能卻越來越強大
商業(yè)競爭越來越激烈，對客戶了解越多就意味著機會越大
為什么進行數(shù)據(jù)挖掘？ 技術觀點
業(yè)務中的數(shù)據(jù)量呈現(xiàn)指數(shù)增長（GB/小時）
傳統(tǒng)技術難以從這些大量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律
數(shù)據(jù)挖掘可以幫助我們從大量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律
一個市場營銷的例子
一個市場營銷的例子
一個市場營銷的例子
數(shù)據(jù)挖掘收益分析
利潤分析圖
數(shù)據(jù)挖掘效果模擬分析
什么是數(shù)據(jù)挖掘？
不同的定義
從大量數(shù)據(jù)中發(fā)現(xiàn)非平凡的、先前不知道的、有價值的規(guī)律的過程
從大量數(shù)據(jù)中自動化（或者半自動化）的發(fā)現(xiàn)有價值規(guī)律的過程
數(shù)據(jù)挖掘的其他名稱
數(shù)據(jù)庫內知識發(fā)現(xiàn)（KDD- Knowledge discovery in databases ）
數(shù)據(jù)/模式分析
商業(yè)智能
人工智能
……
數(shù)據(jù)挖掘的起源
來源于機器學習/人工智能、模式識別、統(tǒng)計學和數(shù)據(jù)庫
傳統(tǒng)技術的局限性
巨量的數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)分布不理想
數(shù)據(jù)挖掘面臨的挑戰(zhàn)
海量數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)復雜性
數(shù)據(jù)質量問題
數(shù)據(jù)所有權和分布
隱私問題
數(shù)據(jù)挖掘方法論—項目順利實施的保證
商業(yè)理解
數(shù)據(jù)理解
數(shù)據(jù)準備
建立模型
模型評估
結果發(fā)布
商業(yè)理解是數(shù)據(jù)挖掘的起點
商業(yè)理解的內容
數(shù)據(jù)挖掘能解決什么樣的商業(yè)問題？
數(shù)據(jù)挖掘得到的結果，是否可以采取相應的行動以提高利潤或降低成本？
我們期望模型能夠給我們怎樣的精確率？
有那些前提假定？
約束分析
時間約束分析
資源約束分析
人力資源
數(shù)據(jù)資源
軟件資源
硬件資源
制定特定的數(shù)據(jù)挖掘目標
制定的數(shù)據(jù)挖掘目標應具有：
可評估性（assessable)
可實現(xiàn)性（attainable）
如何給定一個數(shù)據(jù)挖掘問題
是檢驗性數(shù)據(jù)挖掘還是探索性數(shù)據(jù)挖掘？
確定哪些是可以實現(xiàn)的數(shù)據(jù)挖掘問題
結果可測度性
信息（數(shù)據(jù)）的可獲得性
評估和控制其他相關因素的影響
數(shù)據(jù)來源與數(shù)據(jù)之間的關系
使數(shù)據(jù)適合數(shù)據(jù)挖掘
對數(shù)據(jù)進行適當?shù)暮喜⒑蛥R總
一般數(shù)據(jù)挖掘分析都要一個行×列(記錄×變量）的二維表，必須把從不同數(shù)據(jù)源得到的不同格式的數(shù)據(jù)整合成這樣一張表，要求：
所有的記錄含有排列順序一致的變量
所有記錄的變量信息是完整的（理想化狀態(tài)，在現(xiàn)實中很難達到）
檢查數(shù)據(jù)質量
影響數(shù)據(jù)質量的幾個主要問題
缺失值
不合理值
不同數(shù)據(jù)源的不一致
異常值
對數(shù)據(jù)進行適當?shù)淖儞Q
數(shù)據(jù)的標準化變換
生成新的變量
數(shù)據(jù)的重新編碼
數(shù)據(jù)降維，從變量角度或者從記錄角度
數(shù)據(jù)挖掘模型的分類
數(shù)據(jù)描述和匯總(Data description and summarization)
細分(Segmentation)
概念描述(Concept descriptions)
分類(Classification)
預測(Prediction)
相關分析(Dependency analysis)
數(shù)據(jù)挖掘技術的分類
數(shù)據(jù)挖掘的典型結果——金融
問題描述：預測信用水平是好還是差，銀行據(jù)此決定是否向客戶發(fā)放貸款，發(fā)放多少
結果描述:(決策樹）
數(shù)據(jù)挖掘的典型結果——電信
問題描述：根據(jù)客戶信息，預測客戶流失可能性
結果描述:(神經網絡）
數(shù)據(jù)挖掘的典型結果——零售
問題描述：如何決定超市中商品的擺放來增加銷售額
結果描述:(Web圖）
數(shù)據(jù)挖掘的典型結果——制造業(yè)
問題描述：如何對市場進行細分，使產品滿足最有價值客戶
結果描述:(Koholen聚類）
數(shù)據(jù)挖掘的典型結果——政府
問題描述：如何從眾多申請經費或者納稅中發(fā)現(xiàn)欺詐
結果描述:(回歸、神經網絡）
檢驗的形式
方法層面的檢驗
訓練集和檢驗集
不同方法的互相印證和比較
模型準確性的檢驗:
商業(yè)層面上的檢驗
利潤率的檢驗
模型結果可操作性的檢驗
其他檢驗
關注那些錯誤的預測
數(shù)據(jù)挖掘不成功的幾種可能性
糟糕的數(shù)據(jù)
組織抵制
結果沒有被有效的發(fā)布
得到了無用的結果
模型發(fā)布的形式
書面報告
數(shù)據(jù)庫更新
針對特定主題的應用系統(tǒng)
數(shù)據(jù)挖掘的體系結構
二、Clementine概述
Clementine在數(shù)據(jù)挖掘中的地位
Clementine發(fā)展歷史
Clementine的配置
Clementine操作基礎
數(shù)據(jù)挖掘的一般流程及數(shù)據(jù)挖掘軟件在數(shù)據(jù)挖掘過程中的地位
數(shù)據(jù)挖掘方法論——項目順利實施的保證
Clementine發(fā)展歷程
Clementine是ISL (Integral Solutions Limited)公司開發(fā)的數(shù)據(jù)挖掘工具平臺
1998年SPSS公司收購了ISL公司，對Clementine產品進行重新整合和開發(fā)，現(xiàn)在Clementine已經成為SPSS公司的又一亮點
Clementine的軟件構成
Clementine Client;
Clementine Server;
Clementine Batch;
SPSS Data Access Pack;
Clementine Solution Publisher (Optional)。
Clementine的兩種運行方式
單機版運行
以下情況必須使用單機版運行：
數(shù)據(jù)存儲在本機，且不能在網絡上共享；
機器不聯(lián)網；
無Clementine Server可供使用。
以下情況可以使用單機版運行：
要處理的數(shù)據(jù)量很�。ū热纾盒∮�2M）并且數(shù)據(jù)存儲在單機或可到達局域網處；
單機內存、硬盤相對要處理的數(shù)據(jù)量來說足夠大，并且速度也滿足要求。
Clementine的系統(tǒng)結構
Clementine運行的兩種方式
圖形界面方式
適用操作系統(tǒng)
Windows系列
特點：
圖形化界面
與客戶直接交互
適合交互式分析過程
Clementine的界面和設計思路
可視化界面
四個區(qū)域分別是建模區(qū)、結點區(qū)、模型描述區(qū)、項目管理區(qū)
通過連接結點構成數(shù)據(jù)流建立模型
Clementine通過6類結點的連接完成數(shù)據(jù)挖掘工作，它們是：
Source(源結點):Database、Var. Files等
Record Ops (記錄處理結點):Select、Sample等`
Field Ops(字段處理結點):Type、Filter等
Graphs(圖形結點):Plot、Distribute等
Modeling(模型結點):Neural Net、C5.0等
Output(輸出結點):Table、Matrix等
Clementine操作基本知識
鼠標應用
三鍵與雙鍵鼠標
左鍵 選擇節(jié)點或圖標置于建模區(qū)
右鍵 激活浮動菜單
中鍵 連接或斷開兩個節(jié)點
幫助
Clementine操作基本知識
節(jié)點的增加，以 為例
Click “Sources”，Click ，Click “流區(qū)域”
Click “Sources”，Double Click
Click “Sources”，Drag to “流區(qū)域”
節(jié)點的刪除
Click ， Delete
Right Click ，Click “Delete”
節(jié)點的移動：Drag
Clementine操作基本知識
節(jié)點的編輯
Double Click
Right Click ，Click “Edit”
節(jié)點的重命名和解釋
Right Click ，Click “Edit”，Click “Annotations”
Double Click ，Click “Annotations”
Right Click ，Click “Rename and Annotations”
拷貝、粘貼
Clementine操作基本知識
構建流時節(jié)點的連接
Highlight ，Add to the Canvas
Right Click ，Click “Connect”，Click
Drag the middle mutton from to
構建流時節(jié)點連接的刪除
Right Click or ， Click “Disconnect”
Right Click “Connection”，Click “Delete Connection”
Double Click or
Clementine操作基本知識
流的執(zhí)行
Highlight “Stream”，Click
Right Click ，Click “Execute”
In the Edit Window of the ， Click “Execute”
流的保存
幫助
Help Menu
Dialogue Window
Clementine的優(yōu)化
包括兩個方面的優(yōu)化
結構優(yōu)化
用戶優(yōu)化
結構優(yōu)化
把中間結果存儲在Server上（盡量使用server版處理）
從數(shù)據(jù)流上整理考慮的執(zhí)行數(shù)據(jù)流（能一步完成的處理盡量不要分解到多個執(zhí)行）
減少數(shù)據(jù)的遷移（數(shù)據(jù)提前進行規(guī)劃）
用戶優(yōu)化
自動優(yōu)化數(shù)據(jù)流：當使用這一選項時，Clementine將重寫數(shù)據(jù)流以使效率最高（可以通過Clementine Server中的sql_rewriting_enabled來調整是否可以使用）
優(yōu)化的SQL生成。使盡可能的操作在數(shù)據(jù)庫內進行。
優(yōu)化Clementine執(zhí)行。調整數(shù)據(jù)降維的操作盡可能接近數(shù)據(jù)源完成。
手動優(yōu)化數(shù)據(jù)流
操作順序：有些操作可以在SQL中完成，有些操作不能在SQL中完成，盡可能把能夠在SQL中完成的一起排在前面
數(shù)據(jù)類型：盡可能在源節(jié)點處由用戶自定義數(shù)據(jù)類型，而不是Clementine自動讀取。
問題的提出
如何通過數(shù)據(jù)挖掘實現(xiàn)小靈通信用級別的判斷系統(tǒng)
某電信公司按照某種標準將小靈通客戶信用等級分為5類，分別是gradeA、gradeB 、gradeC、gradeX、gradeY。現(xiàn)在希望建立一套系統(tǒng)，能夠使得市場部人員根據(jù)用戶的幾項關鍵的個人基本信息判斷該客戶的信用級別，從而有針對性地對其采用不同的市場營銷策略。
數(shù)據(jù)描述
遵循CRISP-DM的數(shù)據(jù)挖掘過程
在進行數(shù)據(jù)挖掘過程中應該注意的幾個問題
商業(yè)經驗的作用
數(shù)據(jù)的拆分——訓練集與檢驗集
不同模型的印證與比較
結果發(fā)布
信用級別靜態(tài)列表
信用級別寫回數(shù)據(jù)庫
實時判斷信用級別的分析應用
三、數(shù)據(jù)理解：數(shù)據(jù)的可視化和報告
數(shù)據(jù)組織形式
數(shù)據(jù)圖形展現(xiàn)
數(shù)據(jù)表格展現(xiàn)
數(shù)據(jù)挖掘要求的數(shù)據(jù)格式
數(shù)據(jù)尺度
根據(jù)數(shù)據(jù)的不同，可以把變量分為以下一些類型
定類變量
例如：客戶編號、性別、郵編等
不能比較大小
定序變量
產品等級、信用級別、客戶收入水平分類等
可以比較大小、不能進行加減運算
定距變量
出生日期、溫度等
可以進行加減運算、不能進行乘除運算
定比變量
收入、長度等
可以進行乘除運算
各類變量尺度比較
描述性統(tǒng)計量
描述統(tǒng)計量（summary statistic），也稱匯總統(tǒng)計量或概括統(tǒng)計量
用少量數(shù)字概括大量數(shù)據(jù)的技術
離散變量的描述性統(tǒng)計
頻數(shù)
累計頻數(shù)
頻率
累計頻率（累計必須是定序變量）
連續(xù)變量的描述指標
反映數(shù)據(jù)平均趨勢和位置的指標
反映數(shù)據(jù)離散趨勢的指標
反映數(shù)據(jù)分布狀況的指標
反映連續(xù)數(shù)據(jù)平均趨勢的指標
平均數(shù)
算術平均數(shù)
幾何平均數(shù)
截尾算術平均數(shù):比較穩(wěn)健有效地描述平均值
中位數(shù)：（代表群體基本的趨勢，集中的趨勢）
眾數(shù)（多用于離散變量）
四分位數(shù)（25%，50%，75%）
百分位數(shù)
平均數(shù)與中位數(shù)的結合使用
對5個數(shù)值表示的內容說法有些不同
反映連續(xù)數(shù)據(jù)離散趨勢的指標
極差（全距）range =max-min
內距 50%的差距
方差 ：更適合離散趨勢的描述（趨勢放大）
標準差
變異系數(shù)：標準差/均值，值越大，則離散程度越大。
平均數(shù)與標準差的應用
切比雪夫定理
在任何一個數(shù)據(jù)集中，至少有(1-1/z2 )的數(shù)據(jù)項與平均數(shù)的距離在z個標準差之內，其中z是任意大于1的值。
切比雪夫定理含義
1.至少75%的數(shù)據(jù)項與平均數(shù)的距離在2個標準差之內；
2.至少89%的數(shù)據(jù)項與平均數(shù)的距離在3個標準差之內；（6西格瑪質量管理應用）
3.至少94%的數(shù)據(jù)項與平均數(shù)的距離在4個標準差之內。
連續(xù)變量的經驗法則
正態(tài)分布是一種最常用的連續(xù)型分布
關于正態(tài)分布的經驗法則
1.約68%的數(shù)據(jù)項與平均數(shù)的距離在1個標準差之內；
2.約95%的數(shù)據(jù)項與平均數(shù)的距離在2個標準差之內；
3.幾乎全部數(shù)據(jù)項（99.97%）與平均數(shù)的距離在3個標準差之內。
切比雪夫和經驗法則的應用
問題
某單位有100個人，他們的平均身高是170cm，標準差為5cm，那么有多少人的身高是落在160cm-180cm這個區(qū)間里的呢？
經驗法則的應用
根據(jù)切比雪夫定理，該單位至少有75%的人身高在160cm—180cm這個區(qū)間里
根據(jù)正態(tài)分布經驗法則，該單位大約有95%的人身高在160cm—180cm這個區(qū)間里
反映連續(xù)數(shù)據(jù)分布狀況的指標
偏度
峰度
圖形展現(xiàn)數(shù)據(jù)
圖形技術的應用
圖形可以用來直觀的展示數(shù)據(jù)的分布特征和取值情況
常見的描述離散變量的圖形有
條形圖 餅形圖
常見的描述連續(xù)變量的圖形有
直方圖
常見的描述兩個離散變量之間關系的圖形有
Web圖 條形圖
常見的描述兩個連續(xù)變量之間關系的圖形有
散點圖
常見的描述一個離散變量和一個連續(xù)變量之間關系的圖形是
條形圖
通過圖形可以表現(xiàn)多個變量之間的關系
Chapter 2
Clementine 簡介
Chapter 2 Clementine 簡介
目的：
初步了解Clementine軟件
內容：
2.1 SPSS Clementine C/S
2.2 SPSS Clementine 面板
2.3 SPSS Clementine 可視化程序使用基礎
節(jié)點
SPSS file 節(jié)點
Table 節(jié)點
2.1 Clementine C/S
啟動：
Start..Programs..Clementine 8.1 …
Clementine and Clementine Server
Tools…Server Login
2.2 Clementine 面板
第二講：數(shù)據(jù)簡單準備與理解
數(shù)據(jù)準備之讀入數(shù)據(jù)
數(shù)據(jù)理解之數(shù)據(jù)質量
數(shù)據(jù)理解之數(shù)據(jù)分布
Chapter 3
讀取數(shù)據(jù)文件
Chapter 3 讀取數(shù)據(jù)文件
目的
掌握Clementine如何讀取文本格式數(shù)據(jù)
了解Clementine可以讀取的數(shù)據(jù)格式
掌握Clementine中的字段類型和方向
數(shù)據(jù)
Smallsamplecomma.com
Chapter 3 讀取數(shù)據(jù)文件
內容及節(jié)點：
3.1 Clementine可以讀取的數(shù)據(jù)格式
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
3.4 讀取數(shù)據(jù)庫數(shù)據(jù)（專用spss配置的鏈接）
3.5 Clementine中的字段類型
3.6 Clementine中的字段方向
3.7 保存Clementine流
3.1 Clementine可以讀取的數(shù)據(jù)格式
文本格式數(shù)據(jù)
SPSS/SAS數(shù)據(jù)
Excel，Access，dBase，F(xiàn)oxpro，Oracle，SQL Server，DB2等數(shù)據(jù)庫（每次只能讀一個表）
用戶輸入數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
變量標簽
值標簽
3.4 讀取數(shù)據(jù)庫數(shù)據(jù)
ODBC設置
3.5 Clementine中的字段類型
離散型
二分 eg：sex：m/f
多分 eg：等級：好/中/差
離散 eg：
連續(xù)型
整數(shù)
實數(shù)
日期、時間
其它
3.6 Clementine中的字段方向
3.7 讀取其它格式的數(shù)據(jù)
Sas
Fixed text file：同一字段在各行的同一列
Chapter 4
數(shù)據(jù)理解之數(shù)據(jù)質量
Chapter 4 數(shù)據(jù)理解之數(shù)據(jù)質量
目的：
掌握如何應用Clementine發(fā)現(xiàn)數(shù)據(jù)的準確性、完整性
熟悉用于數(shù)據(jù)質量分析的幾個節(jié)點
內容：
4.1 數(shù)據(jù)理解
4.2 缺失值定義
4.3 Quality節(jié)點介紹
4.4 Distribution節(jié)點----初步理解字符型字段的分布
4.5 Histogram/Statistics節(jié)點----初步理解數(shù)值型字段的分布
數(shù)據(jù)：
Smallsamplemissing.txt
Risk.txt
4.1 數(shù)據(jù)理解
在數(shù)據(jù)挖掘之前，理解數(shù)據(jù)的取值范圍及數(shù)值分布是非常重要的
Histogram/Statistics
Distribution
數(shù)據(jù)質量越高，挖掘結果準確性越高
Quality
4.2 缺失值定義
Missing values are values in the data set that are unknown， uncollected， or incorrectly entered. They are invalid for their fields.
缺失值的定義：type節(jié)點
系統(tǒng)默認缺失值----on
Null----數(shù)值型字段----空值----“”----“$Null”
Empty String ----字符型字段----空值----“”
White Space ----字符型字段----空值以及空格值----“”或“ ”----包括Empty String
指定缺失值----Blank Value
系統(tǒng)默認缺失值
指定特殊缺失值----“99”
缺失值的檢查：quality節(jié)點
4.2 缺失值定義
4.2 缺失值定義
數(shù)據(jù)缺失情況
數(shù)據(jù)量的大小
包含缺失值的字段的數(shù)量
缺失值的數(shù)量
缺失值的處理方法
忽略含缺失值的字段
忽略含缺失值的記錄
默認值代替缺失值
根據(jù)一定規(guī)則填充缺失值
4.3 Quality節(jié)點介紹
查看缺失值情況
查看各類型缺失值的分布情況
Blank Value的指定
4.3 Quality節(jié)點介紹
Quality結果
4.4 Distribution節(jié)點----初步理解字符型字段的分布
單個字段的值分布
例：人群中各種風險等級人數(shù)及百分比
與其它分類字段合并
例：分性別顯示各種風險等級人數(shù)及百分比
例：各種風險等級中男性女性各占比例
4.5 Histogram/Statistics節(jié)點----初步理解數(shù)值型字段的分布
單個字段的值分布
例：人群收入水平
與其它分類字段合并
例：顯示各種風險等級的收入水平
例：顯示各收入水平的各風險等級比例
Chapter 5
簡單數(shù)據(jù)整理
Chapter 5 簡單數(shù)據(jù)整理
目的：
掌握Clementine中的數(shù)據(jù)整理技術
熟悉用于數(shù)據(jù)整理的幾個節(jié)點
內容
5.1 Clem語言簡介
5.2 Select節(jié)點介紹
5.3 Filter節(jié)點介紹
5.4 Derive節(jié)點介紹
5.5 自動生成操作節(jié)點
數(shù)據(jù)
Risk.txt
SmallSampleMissing.txt
5.1 Clem語言簡介
Clementine Language of Expression Manipulation
應用節(jié)點：Derive導出， Select選擇， Filter過濾
構建材料：函數(shù)、符號、數(shù)字、字段
記錄敏感：對每條記錄返回值（整數(shù)、實數(shù)、布爾值、字符值、日期、時間）或評估是否滿足條件
兩種表達式：條件表達式與計算表達式
5.2 Select節(jié)點介紹
用于根據(jù)一定條件選擇或丟棄某些記錄
CLEM構建
5.3 Filter節(jié)點介紹
對某些字段進行重命名或丟棄某些無意義的字段
無意義字段
缺失值占大比例
所有記錄有相同值
中間過程生成的中間變量
5.4 Derive節(jié)點介紹
根據(jù)原有字段值生成新字段值
按公式生成字段
生成二分型字段
生成多分型字段
對所有記錄按同樣標準生成新字段
對不同記錄按不同標準生成新字段
對多個字段進行同一轉換
5.4 Derive節(jié)點介紹
5.5 自動生成操作節(jié)點
自動生成“Select”
自動生成“Filter”
第三講主要內容
數(shù)據(jù)理解之數(shù)據(jù)關系探測
基本建模方法簡要介紹
Chapter 6
數(shù)據(jù)理解之
數(shù)據(jù)間簡單關系
Chapter 6 數(shù)據(jù)理解之數(shù)據(jù)間簡單關系
目的：
掌握如何理解字段間關系
熟悉用于字段關系理解的幾個節(jié)點
內容
6.1 Matrix節(jié)點----研究字符型字段間關系
6.2 Web節(jié)點----研究字符型字段間關系
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關關系
6.4 Plot節(jié)點----研究連續(xù)型字段間關系
6.5 Histogram節(jié)點----研究連續(xù)型字段與字符型字段的關系
數(shù)據(jù)
Risk.txt
Chapter 6 數(shù)據(jù)理解之數(shù)據(jù)間簡單關系
解決問題
風險等級是否與收入有關
風險等級是否與性別有關
如果一個人的信用卡數(shù)量較多，是否意味著它欺詐的可能性也大
6.1 Matrix節(jié)點----研究字符型字段間關系
解決問題
月付款的人是否比周付款的人風險程度更高
男性是否比女性風險程序更高
Matrix節(jié)點：
交叉表（列聯(lián)表）來顯示字符型數(shù)據(jù)間關系
行字段與列字段的選擇
顯示百分比
6.1 Matrix節(jié)點----研究字符型字段間關系
6.2 Web節(jié)點----研究字符型字段間關系
例：婚姻狀態(tài)、抵押貸款等是否與風險等級有關
幾個小概念：
人數(shù)
總數(shù)百分比
大類百分比
小類百分比
強、中、弱相關關系
結果解讀
6.2 Web節(jié)點----研究字符型字段間關系
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關關系
例：收入是否隨年齡呈線性增長
Statistics節(jié)點設置
結果解讀
注意：
線性相關關系而非相關關系(線形相關是相關關系的一種，其他相關關系最終需要轉化為線形相關來研究)
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關關系
6.4 Plot節(jié)點----研究連續(xù)型字段間關系
例：顯示孩子數(shù)目與貸款數(shù)目的關系
用點的大小來反映其代表記錄的多少
用點的密度來反映其代表記錄的多少
用不同顏色的點來反映不同類別的記錄
6.4 Plot節(jié)點----研究連續(xù)型字段間關系
6.5 Histogram節(jié)點----研究連續(xù)型字段與字符型字段的關系
例：不同風險等級的人的收入情況
顯示某收入水平的各風險等級人數(shù)
顯示某收入水平----各風險等級在該收入水平所占的比例
表格展現(xiàn)數(shù)據(jù)
表格的元素構成
表格類型 在SPSS里實現(xiàn)
堆疊表(Stacking)
嵌套表(Nesting)
交叉表(Crosstabulation)
分層表(Layers)
堆疊表
嵌套表
交叉表
分層表
把層去掉以后的效果
樞軸表技術（Pivot Tables）
Clementine表格
Chapter 7
建模技術概覽
Chapter 7 Clementine中的建模技術
目的：
了解Clementine中提供的各種建模技術
內容
7.1 Clementine提供的模型技術
7.2 Neural Networks（神經網絡）
7.3 規(guī)則歸納模型
7.4 統(tǒng)計模型
7.5 聚類模型
7.6 關聯(lián)規(guī)則模型
7.7 Sequence模型
7.8 總述
7.1 Clementine提供的模型技術
幾種技術：預測、聚類、關聯(lián)規(guī)則
預測技術：
InputsOutput
六種方法：
Neural Networks
規(guī)則歸納：C5.0，C&RT
與時間或順序有關的關聯(lián)規(guī)則：Sequence(Capri)
統(tǒng)計學：回歸、Logistic回歸
7.1 Clementine提供的模型技術
聚類技術
無Output
無監(jiān)督的學習
三種方法：
Kohonen
統(tǒng)計學：K-means、TwoStep
關聯(lián)規(guī)則
Both Input and Output
三種方法
GRI，Apriori
Sequence (Capri)
7.2 Neural Networks
模仿人腦
Input/Output可以是Num，也可以是Symbolic
MLP與RBFN
劣勢：黑匣子
7.3 規(guī)則歸納模型
是決策樹算法
與Neural Net相比的優(yōu)勢
結果好解釋
自動刪除無意義的Input字段
主要是根據(jù)結果變量值對數(shù)據(jù)按Input進行細分
有兩種結果形式：決策樹形式或規(guī)則集形式
7.4 統(tǒng)計模型之線性回歸
統(tǒng)計模型與Neural Net相比：
嚴格的假設（如誤差正態(tài)分布）
用簡單方程表達模型，便于解釋
可自動選擇字段
無法捕捉Inputs字段間的交互作用
統(tǒng)計模型：
線性回歸
Logistic回歸
主成分分析
7.4 統(tǒng)計模型之回歸
線性回歸：
方程：Y=a+b1x1+b2x2+ +bnxn
原理：尋找使誤差平方和最小的系數(shù)
Output字段----Numeric輸出必須是連續(xù)型
Input字段----Numeric/Symbolic
Logistic回歸：
方程
原理：尋找使誤差平方和最小的系數(shù)
回歸系數(shù)隨結果值而改變，與NN，RI相比，不適合復雜數(shù)據(jù)
Output字段----Symbolic輸出必須是離散性
Input字段----Numeric/Symbolic
7.4 統(tǒng)計模型之主成分分析
數(shù)據(jù)降維技術：
用少量不相關數(shù)據(jù)（主成分）來代替大量相關數(shù)據(jù)（原始數(shù)據(jù)）作分析
主成分是原始數(shù)據(jù)的線性組合
更可能與統(tǒng)計分析方法合并使用（相對于機器學習），尤其是在多個等級分類字段
可用于預測模型或聚類分析之前
7.5 聚類模型
發(fā)現(xiàn)有相似值記錄的群體
多用于市場（細分客戶）和其它商業(yè)應用
與主成分分析相似，多用于預測模型之前
無監(jiān)督學習（無output）
三種聚類分析方法：
Kohonen
K-means
TwoStep
7.5 聚類模型
Kohonen聚類
是一種實施無監(jiān)督學習的神經網絡算法
一維或二維網格，各神經元相互連接
K-means聚類
又稱為快速聚類，（速度快，適合大量數(shù)據(jù)）
用戶指定類別數(shù)
與記錄順序有關（小數(shù)據(jù)量與記錄順序無關，大數(shù)據(jù)需要先執(zhí)行一定程序找出數(shù)據(jù)各類別中心）
TwoStep聚類
用戶指定范圍，模型根據(jù)統(tǒng)計學標準自動選擇類數(shù)
消耗機器資源少
能給出一個較好的結果
7.6 關聯(lián)規(guī)則模型
尋找數(shù)據(jù)中一起發(fā)生的事情
與Web相似，但以極快的速度發(fā)掘更復雜的模式
與規(guī)則歸納不同之處
每個規(guī)則的Output字段可能各不相同
規(guī)則可用于查看，但非預測
可生成同一output字段的規(guī)則，用于預測
與規(guī)則歸納相比，運行較慢，可增加限制條件從而提高速度
兩種算法：Apriori，GRI（廣義規(guī)則探測）
7.7 Sequence模型
與關聯(lián)規(guī)則不同之處在于尋找與時間/順序有關的規(guī)則
應用領域：零售、網絡日志、過程改進
用于字符型字段，數(shù)值被當作是字符
用CARMA算法
7.8 綜述
如果要預測某個字段----有監(jiān)督的機器學習和其中一種統(tǒng)計方法（依結果字段而定）
如果想發(fā)現(xiàn)有相似行為（許多字段）的個體----聚類
關聯(lián)規(guī)則不能直接用于預測，但它是一種用于理解數(shù)據(jù)內模式的有用工具
如果對順序、時間有興趣，可用Sequence算法
7.8 綜述
如果想進一步選擇具體的預測技術，依賴于目的字段，output字段與input字段間關系
有一定經驗規(guī)律，但不是規(guī)則
Clementine的優(yōu)勢之處在于建模的簡單
Clementine只能發(fā)現(xiàn)數(shù)據(jù)內存在的關系，如果數(shù)據(jù)本身不相關聯(lián)，不可能提取出一個模型
數(shù)據(jù)挖掘是一個迭代、重復的過程
第四講：預測建模技術
神經網絡模型技術
決策樹模型技術
回歸分析技術
模型間評估技術
預測的重要性
在當今充滿競爭的社會里，一個企業(yè)如果能準確地預知其未來，那么其生存機會將大大增加，預測科學就是處理對未來的預測等問題的學科。
預測相關注意事項
預測對象所在的環(huán)境常常處于動態(tài)變化之中，一些不可知事件會對預測結果造成很大影響;
被用來進行預測的數(shù)據(jù)常常是不穩(wěn)定、不確定和不完全的，由其來源和收集的方式所決定;
不同的時間區(qū)域常常需要不同的預測方法，形式上難以統(tǒng)一;
因為不同的預測方法在復雜性、數(shù)據(jù)要求以及準確程度上均不同，因此選擇一個合適的預測方法是很困難的。
Chapter 8
Neural Networks
Chpater 8 Neural Networks
目的：
掌握如何在Clementine中進行Neural Network 模型的構建和解讀
掌握Neural Network節(jié)點
數(shù)據(jù)：Risktrain.txt
Chpater 8 Neural Networks
內容
8.1 Neural Net節(jié)點介紹
8.2 構建Neural Network
8.3 模型管理區(qū)介紹
8.4 結果查看和結果解釋
8.5 模型預測值生成
8.6 模型評價
8.7 理解預測原因
8.8 模型總結
神經網絡模型預測技術
8.1 Neural Net節(jié)點介紹
字段方向----Type節(jié)點或表
In----X字段----自變量字段
Out----Y字段----結果字段----聚類、主成分分析除外
Both----自變量和結果字段----關聯(lián)規(guī)則或順序算法
None----不用字段
ID----typeless----None
五種Neural Net方法，默認Quick
過度訓練（長時間接觸同一個數(shù)據(jù)源，并用同樣特征去描述其他數(shù)據(jù)集，結果往往錯誤）
停止規(guī)則（避免過度訓練）
字段的相對重要性分析
避免過度訓練問題 選擇測試集錯誤較低，或者兩集錯誤交叉點
8.2 構建Neural Network
例：用age、sex、income等來預測客戶的風險等級
8.3 模型管理區(qū)介紹
瀏覽模型結果
導出模型代碼
將模型載入數(shù)據(jù)流
將模型導入項目管理區(qū)
保存、清除、裝載模型管理區(qū)
8.4 結果查看和結果解釋
結果的瀏覽：Right click generated “model”
模型準確性
輸入字段或層
輸出字段或層
各輸入字段的相對重要性
8.5 模型預測值生成
8.6 模型評價----預測值與實際值的比較
利用Matrix比較，通常關注的不是整體，例如欠費用戶群而不是整個用戶群。
8.6 模型評價
Evaluation Node----評估比較模型，以選擇最優(yōu)模型
Evaluation 的原理：將數(shù)據(jù)按預測值和置信度從高到低排序，將數(shù)據(jù)拆分為多個集合，每集合包含相同的記錄數(shù)，然后作圖。
關注值：flag變量的真值，set變量的第一個值
五種圖形：收益圖、功效圖、響應圖、投資回報圖、利潤圖
8.6 模型評價
8.7 理解預測原因
Web節(jié)點--Symbolic Input & Symbolic Output
Distribuiton節(jié)點—Symbolic Input & Symbolic Output
Histogram節(jié)點--Numeric Input & Symbolic Output
8.8 模型總結
預測風險中最重要因素是婚姻狀態(tài)和收入
離異、單身、鰥寡人士可能是壞客戶
神經網絡模型，高收入人群是好客戶，但這一點并不與實際相符，如此預測，可能會給銀行帶來損失
題外話：可用驗證數(shù)據(jù)集，利用分析節(jié)點、評估節(jié)點、Matrix節(jié)點對模型進行評估
Chapter 9
規(guī)則歸納模型
決策樹技術
Chapter 9 規(guī)則歸納模型
目的：
掌握如何在Clementine中進行規(guī)則歸納模型的構建和解讀
掌握C5.0節(jié)點
數(shù)據(jù)
Risktrain.txt
Chapter 9 規(guī)則歸納模型
內容
9.1 C5.0、C&RT介紹
9.2 構建C5.0模型
9.3 C5.0 決策樹型結果瀏覽和解釋
9.4 C5.0 規(guī)則集型結果瀏覽和解釋
9.5 模型預測值生成
9.6 模型評價
9.7 模型總結
9.1 C5.0、C&RT介紹
C5.0與C&RT的相似之處：構建決策樹，按照自變量與結果變量的關系將數(shù)據(jù)拆分成各子群
C5.0與C&RT的不同之處：
9.2 構建C5.0模型
模型的準確性與一般性
模型的驗證方法
交叉驗證（分散數(shù)據(jù)集，不斷用新數(shù)據(jù)去驗證）
模型結果字段值的減少（輸入變量最終并非全部進入模型）
建立多個模型：
耗時長
難以解釋結果
9.2 構建C5.0模型
9.3 C5.0 決策樹型結果瀏覽和解釋
結果：
決策樹、模型形式
可分支的子根
眾數(shù)
顯示例數(shù)與置信度
繼承性
9.4 C5.0 規(guī)則集型結果瀏覽和解釋
9.5 模型預測值生成
9.6 模型評價----預測值與實際值的比較
利用Matrix來比較預測值與實際值
9.6 模型評價----不同值的收益圖
9.7 模型總結
C5.0使模型可以不用Web、Histogram等即可有效地理解模型
與Neural Net不同，沒有Sensitivity Analysis，但同樣可以辨別字段的重要性
決策樹的優(yōu)點
可以生成可以理解的規(guī)則
計算量相對來說不是很大
可以處理連續(xù)和種類字段
決策樹可以清晰的顯示哪些字段比較重要
決策樹的缺點
對連續(xù)性的字段比較難預測
對有時間順序的數(shù)據(jù)，需要很多預處理的工作
當類別太多時，錯誤可能就會增加的比較快（對分類變量重新劃分，二分或者數(shù)據(jù)降維，spss聚類分析法）
一般的算法分類的時候，只是根據(jù)一個字段來分類（假設各字段間相關度不是很高）
Chapter 10
模型比較
Chpater 10 模型比較
目的
掌握如何利用Analysis節(jié)點進行模型的評估
掌握如何利用驗證數(shù)據(jù)集比較不同模型
內容
10.1 Analysis節(jié)點用于比較模型
10.2 Evaluation節(jié)點用于比較模型
10.3 利用驗證數(shù)據(jù)集進行模型比較
數(shù)據(jù)
Risktrain.txt
Riskvalidation.txt
10.1 Analysis節(jié)點用于比較模型
10.1 Analysis節(jié)點用于比較模型
評估多個模型
評估各模型結果的一致性
10.2 Evaluation節(jié)點用于比較模型
10.2 Evaluation節(jié)點用于比較模型
評估多個模型
評估各模型結果的一致性
10.3 利用驗證數(shù)據(jù)集進行模型比較
第五講主要內容
聚類分析模型技術
關聯(lián)規(guī)則模型技術
序列探測模型技術
Chapter 11
Kohonen Networks
Chpater 11 Kohonen Networks
目的
掌握Kohonen神經網絡的建立、結果解釋
掌握Kohonen節(jié)點
內容
11.1 Kohonen節(jié)點介紹
11.2 構建Kohonen Networks
11.3 結果解釋
11.4 為每條記錄產生類別字段
11.5 結果理解
數(shù)據(jù)
Shopping.txt
Kohonen網絡結構
11.1 Kohonen節(jié)點介紹
聚類分析
發(fā)現(xiàn)數(shù)據(jù)的總體結構及相互關系
類間差別，類內相似
11.2 構建Kohonen Networks
Kohonen節(jié)點
字段方向設置：
購買產品與否----In
其它----None / Out / Both
反饋圖：紅色越深，記錄越多
指定類別數(shù)：長*寬
11.3 結果解釋
Kohonen結果
X-軸
Y-軸
11.4 為每條記錄產生類別字段
＄KX----Kohonen
＄KY----Kohonen
Cluster=＄KX----Kohonen><＄KY----Kohonen
11.5 結果理解
各Cluster人群多少----條圖
各Cluster人群的一般特征
年齡----條圖
性別----條圖
購買產品----Web圖
孩子
婚姻狀態(tài)
工作狀態(tài)
各Cluster人群總述
各種聚類方法比較
聚類分析之我見
聚類分析的優(yōu)勢在于：它能夠在我們對數(shù)據(jù)了解很少時，提供一種了解數(shù)據(jù)的方法。發(fā)現(xiàn)個體與變量間的綜合關系。
例如：根據(jù)各省市的各種經濟指數(shù)將所有的省市分為幾個等級。
例如：根據(jù)各種指數(shù)的取值范圍，將模式相近的指數(shù)的聚為一類。
聚類分析的缺陷在于：各類之間均值等可能有差別，但每個個體劃歸哪類更多地依賴于數(shù)字，解釋起來比較困難。
Chapter 12
關聯(lián)規(guī)則
Chpater 12 關聯(lián)規(guī)則
目的
掌握關聯(lián)規(guī)則在Clementine中的建立、結果解釋
掌握Apriori節(jié)點
無監(jiān)督的探索性模型
內容
12.1 關聯(lián)規(guī)則簡介
12.2 Apriori節(jié)點及結果解釋
12.3 產生特定結果的規(guī)則集
12.4 特定結果規(guī)則集應用于各記錄
數(shù)據(jù)
Shopping.txt
12.1 關聯(lián)規(guī)則簡介
解決問題考慮的是關聯(lián)，得到的是規(guī)則，處理變量之間的相關，而非客戶之間）
買香煙的人是否傾向于也買巧克力或啤酒
高血脂的人是否也常伴有高血壓
買車險的人是否也傾向于買房險
節(jié)點
GRI----Numeric字段可作為輸入字段，可用于連續(xù)型變量
Apriori----只接受Symbolic字段（只能用字符型輸入）作為輸入字段
特殊之處：產生的模型不能直接加入數(shù)據(jù)流
12.2 Apriori節(jié)點及結果解釋
Apriori節(jié)點設置
字段類型及方向：無主次先后之分
Content1----flag----both
Content2----flag----both
Content3----flag----both
Contentn----flag----both
結果：
有多少人購買了香煙？占總人數(shù)的百分比
其中，有多少人購買了巧克力？占多少百分比
12.2 Apriori節(jié)點及結果解釋
12.3 產生特定結果的規(guī)則集
Generate menu
Rule set
View
12.4 特定結果規(guī)則集應用于各記錄
Chapter 13
序列檢測
Chpater 13 序列檢測
目的
掌握Clementine如何對與時間序列有關的數(shù)據(jù)進行建模
熟悉Sequence節(jié)點
也會存在規(guī)則的重復
內容
13.1 序列檢測簡介
13.2 序列檢測所要求的數(shù)據(jù)結構
13.3 序列檢測模型
13.4 Sequence節(jié)點及結果解釋
13.5 Sequence結果用于各條數(shù)據(jù)
數(shù)據(jù)
Telrepair.txt
13.1 序列檢測簡介
解決的問題：與順序有關的關聯(lián)規(guī)則
Antecedent1Antecedent2 Consequent
可用節(jié)點：Sequence、Capri
13.2 序列檢測所要求的數(shù)據(jù)結構
數(shù)據(jù)結構1
一個客戶一次購買多個產品算一條記錄
數(shù)據(jù)結構2
一個客戶一次購買多個產品算多條記錄
13.3 序列檢測模型
Sequence與Capri二者各有優(yōu)勢
二者使用不同的算法
均可指定順序檢測標準
對于“A1””A2””C”，Capri可以不包含下列
“A1””A2”
”A2””C”
“A1””C”
13.4 Sequence節(jié)點及結果解釋
Sequence節(jié)點設置：
字段類型及方向
ID field----Numeric/Symbolic----Any
Time field----Range----In
Content fields----Set----In/out/both----多個一致
13.4 Sequence節(jié)點及結果解釋
結果：
在先買了A1 ，又買了A2 的客戶中，60%的人后來買 了C；
12%的客戶（48例）是先買了A1 ，又買了A2 ，最后又買了C
可對規(guī)則進行重新排序
13.4 Sequence節(jié)點及結果解釋
13.5 Sequence結果用于各條數(shù)據(jù)
總結
業(yè)務問題是關鍵
歷史數(shù)據(jù)是支撐
業(yè)務思路、數(shù)據(jù)分析思路的轉變
數(shù)據(jù)分析的常態(tài)與技巧
如何使用數(shù)據(jù)分析應用結果是業(yè)務思路的延伸
方法永遠是方法，工具永遠是工具
五、 Clementine組合模型技巧
1.離散變量預測問題;
2.離散變量模型的檢驗；
3.組合模型概述；
4.二值預測問題的組合模型。
Clementine中提供的模型概述
離散變量預測問題是最重要的一類問題
離散變量預測問題也就是分類問題
在Clementine（8.1）中有很多模型可以做分類問題
Neural Net
C5.0
C&RT
Logistic
連續(xù)變量預測問題可以通過某種形式轉化為離散變量預測問題
多值變量問題可以轉化為兩值預測問題
離散值預測模型的幾個重要檢驗指標
1.準確率
2.命中率
3.覆蓋率
離散值預測模型的幾個重要檢驗圖形
1.收益圖（Gains）
2.響應圖（Response）
3.功效圖（Lift）
4.利潤圖（Profit）
5.投資回報圖（ROI）
離散值預測模型的幾個重要檢驗圖形
什么是組合模型
在數(shù)據(jù)挖掘模型中，每種模型都有各自的優(yōu)點和缺陷，為了更好的利用模型的優(yōu)點，在Clementine中可以把不同模型通過一定的方式組合在一起以解決特定的問題
為了提高模型的精確度，我們可以把多個模型通過某種方式組合在一起
組合模型類型
為了提高模型的可解釋性，可以應用C5.0對預測或者聚類結果進行解釋
為了得到各指標對模型影響的重要程度，可以應用神經網絡對指標重要性進行分析
可以通過模型的特定組合提高模型的準確性——下面以數(shù)據(jù)挖掘模型中最常用的二值預測來說明組合模型如何能夠提供模型的準確性
二值預測是數(shù)據(jù)挖掘中重要問題
二值預測問題是個非常常見的數(shù)據(jù)挖掘問題
流失、客戶獲得、欠費、欺詐……
多值預測可以轉化為二值預測問題
連續(xù)預測問題可以轉化為多值預測問題
二值預測結果的可能表達方式
T or F，我們稱為預測值；
預測值為T，預測準確率為P；或者預測值為F，預測準確率為P；
T的概率為p，稱為預測評分(scoring)。
和置信度區(qū)分
例：以預測流失為例
預測客戶A流失；
預測客戶B不流失，把握程度為0.8；
預測客戶C的流失概率為0.792。
多值（set）問題向二值問題的轉化（flag）
多值集合變量向幾個二值變量的轉化（設為標志）
連續(xù)預測問題向多值預測問題的轉化
從C&RT算法想到的……用分級節(jié)點
二值預測的結果表述
T or F
評分(scoring)
T－>1.0
F－>0.0
二值預測結果的評價
（1）總體準確率
（2）命中率
（3）覆蓋率
Clementine中預測二值問題
由預測值和預測把握程度向預測評分的轉化
練習1
對數(shù)據(jù)集data1.csv建立二值預測模型，實現(xiàn)以下目標深圳電信/組合模型）
應用C5.0模型得出預測模型，對模型的準確率（總體準確率、命中率、覆蓋率）作出描述；
應用神經網絡模型建立預測模型，練習把離散問題連續(xù)化的方法；(提示：flag->range，T->1.0)
應用C5.0模型建立scoring型的預測模型（ 提示：$C，$CC的組合）
組合模型解決二值預測的幾種思路
投票法(Voting)——少數(shù)服從多數(shù)，小概率服從大概率原則，主要目的在于提高命中率
修正法——根據(jù)預測結果與實際結果比較調整預測（多個訓練集，一個檢驗集）
投票法之一——多個模型一致
對于同一問題建立不同模型，會得出不同的結果，多個模型同時預測同一結果時，往往這個結果更加可信
方法的優(yōu)點和缺點：
優(yōu)點：提高模型預測精度
缺點：會有一些記錄沒有預測結果
投票法之二——建立奇數(shù)個模型
建立奇數(shù)個預測模型
遵循少數(shù)服從多數(shù)原則
Derive node (type: Conditional)
If ‘$N-Outcome’ == ‘$C-Outcome’ or ‘$N-Outcome’ == ‘$R-Outcome’ then ‘$N-Outcome’ else ‘$C-Outcome’
帶$的變量需要加引號
投票法之三——更高把握程度原則
應用那些具有更多把握程度的模型進行預測
If ‘$CC-Outcome’ > ‘$NC-Outcome’
Then ‘$C-Outcome’
Else ‘$N-Outcome’
投票法之四——根據(jù)把握程度匯總進行投票
建立不同模型的評分（scoring）模型
對不同模型得到評分（score）進行平均
轉化為二值預測問題
Converting : If all_score>0.5 then ‘T’ else ‘F’
Converting the confidence back If all_score > 0.5 Then (all_score – 0.5) * 2 Else (0.5 - all_score) * 2
練習2
應用data2分別應用神經網絡模型、C5.0模型和C&RT模型建立二值預測模型，再按照以上4中思路建立預測模型。對于test數(shù)據(jù)完成下表：
修正法之一——模型堆疊(stacking)
把模型的預測輸出作為另外模型的輸入
修正法之二——找出錯誤預測的規(guī)律（error modelling）
對于一個預測模型，我們能夠發(fā)現(xiàn)錯誤預測的規(guī)律嗎？
挑出那些錯誤的，建立模型（常常需要平衡數(shù)據(jù)）
缺點：有些記錄會沒有預測
修正法之三——多個模型一致（agreement modelling） 處理投票法一中的不確定值
多個模型預測一致的作為預測
對那些不一致的重新建立模型進行預測
Select node ‘$N-Outcome’ /== ‘$C-Outcome’
Derive node (type: conditional) If ‘$N-Outcome’ == ‘$C-Outcome’ Then ‘$N-Outcome’ Else ‘$N1-Outcome’
修正法之四——對模型建模 （speciallist modelling）
建立關于何時規(guī)則模型或神經網絡模型預測準確的模型，得出模型的適用條件（數(shù)據(jù)情況）
根據(jù)數(shù)據(jù)情況選擇使用不同的模型
練習3
對于數(shù)據(jù)集data1 to data5按照修正法思路1－思路4建立模型，對于數(shù)據(jù)集test完成下表：
總結——提高二值預測效果的幾種思路
離散問題向打分（scoring）問題的轉化
投票法之一——多個模型一致
投票法之二——建立奇數(shù)個模型
投票法之三——更高把握程度原則
投票法之四——根據(jù)把握程度匯總進行投票
修正法之一——模型堆疊(stacking)
修正法之二——找出錯誤預測的規(guī)律
修正法之三——多個模型一致
修正法之四——對模型建模
六、數(shù)據(jù)挖掘技術在電信行業(yè)中的應用
數(shù)據(jù)挖掘技術在電信行業(yè)中的應用
案例1：流失分析
案例2：流失癥狀與營銷預演
案例3：交叉銷售（套餐分析）
客戶生命周期理論—客戶分析的基礎
案例一
電信行業(yè)的流失分析
電信行業(yè)流失分析的數(shù)據(jù)挖掘模型
客戶流失分析之商業(yè)理解
移動通信業(yè)是一個競爭異常激烈的行業(yè)，對于移動通信運營商來說，如何對其客戶進行有效的管理，盡可能的減少客戶的流失和跳網是一個緊迫的問題。在這里我們將介紹數(shù)據(jù)挖掘在移動通信業(yè)關于客戶流失研究中的應用。
數(shù)據(jù)挖掘技術將提供功能強大的模型，可以回答“哪些客戶最可能流失？”和“為什么這些客戶會流失？”等問題。
客戶流失分析之商業(yè)理解
什么是流失，流失如何定義
連續(xù)欠費不交？號碼長期不用？二分標記變量？
流失和哪些因素相關
顧客年齡？性別？收入？行業(yè)？話費水平？話務質量？
確定數(shù)據(jù)挖掘目標
（1）對客戶進行聚類分析，尋找那些流失量比較大的客戶群
（2）建立規(guī)則，描述那些易于流失的客戶群的特征
（3）建立打分模型，對客戶流失可能性（概率）進行評價
客戶流失分析之數(shù)據(jù)理解
客戶流失分析之數(shù)據(jù)理解
客戶流失分析之數(shù)據(jù)理解
客戶流失分析之數(shù)據(jù)準備
把CDR月度數(shù)據(jù)匯總成6個月的總體數(shù)據(jù)
根據(jù)CDR數(shù)據(jù)生成各種不同的平均數(shù)據(jù)和組合 數(shù)據(jù)
歸并客戶信息數(shù)據(jù)、CDR數(shù)據(jù)與話費數(shù)據(jù)
對客戶現(xiàn)在付費類型的合理性進行簡單分析
客戶流失分析之建立模型和模型評估
客戶流失分析之模型發(fā)布
對每個特定客戶的流失可能性進行打分評估
寫回數(shù)據(jù)庫
客戶流失分析之建模圖
案例二
流失癥狀與營銷預演
說明
本案例意在說明如何應用Clementine實現(xiàn)規(guī)則導出和營銷預演
本案例是一個簡化了的電信流失問題，我們不追求變量選擇的完整性
本案例目的是說明過程，不追求模型的準確性，對模型不進行任何調整
流失分析使用變量
目標變量：二分變量（是否流失）
輸入變量：
長途時長
國際時長
本地時長
通話時長合計
投訴次數(shù)
支付方式
本地話費支付方式
長途話費支付方式
年齡
性別
收入估計
婚姻狀態(tài)
孩子數(shù)量
是否有汽車
流失分析模型
在流失分析規(guī)則導出中我們應用C5.0模型建立模型
在流失分析營銷預演中我們應用神經網絡建立模型
流失分析規(guī)則導出
數(shù)據(jù)流——總體
超級節(jié)點1——規(guī)則總結
超級節(jié)點2——規(guī)則對應（Clementine自動生成）
超級節(jié)點3——指定客戶
可以在該節(jié)點中根據(jù)需要指定對哪些客戶是否流失進行分析
主要結果1
生成了預測客戶是否流失的決策樹圖如下（片斷）：
主要結果2
生成了客戶流失和不流失的若干規(guī)則如下：
主要結果3——針對指定客戶的流失規(guī)則（1）
例如針對年齡小于30歲的客戶我們可以得到如下流失情況和對應流失規(guī)則：
主要結果4——針對指定客戶的流失規(guī)則（2）
我們也可以針對某一個客戶給出詳細的預測（其中客戶編號由使用者指定）：
流失分析營銷預演
數(shù)據(jù)流——總體
超級節(jié)點——營銷預演
主要結果1:計算成本收益情況
根據(jù)用戶指定的每個客戶的平均成本、營銷活動折扣率和市場活動預測回應率自動得出營銷活動的預計凈收益和市場活動的最優(yōu)覆蓋面及最優(yōu)流失評分臨界值。
主要結果2:營銷活動成本收益圖（1）
主要結果2:營銷活動成本收益圖（2）
案例三
電信行業(yè)的交叉銷售分析（套餐分析）
客戶交叉銷售模型
目的
發(fā)現(xiàn)客戶選擇數(shù)據(jù)業(yè)務的關聯(lián)性
根據(jù)客戶已經選擇數(shù)據(jù)業(yè)務，向客戶進行交叉銷售
研究客戶價值（或客戶分群）與產品組合之間的關系
分析各個產品之間的關聯(lián)性進行交叉銷售
關聯(lián)規(guī)則結果
關聯(lián)規(guī)則結果應用（1）
關聯(lián)規(guī)則結果應用（2）
業(yè)務人員輸入某一項業(yè)務后，可以列出應該向哪些客戶推薦這項業(yè)務，這些客戶目前選擇了哪些業(yè)務，向他們推薦這些業(yè)務的把握程度如何。
關聯(lián)規(guī)則結果應用（3）
業(yè)務人員按照某種規(guī)則選出一部分客戶后，可以列出這些客戶選擇了何種業(yè)務，并提出應該向這些客戶推薦哪些數(shù)據(jù)業(yè)務以及這種推薦的把握程度。
電信交叉效果實際應用效果
客戶價值與交叉銷售關系
電信行業(yè)的交叉銷售數(shù)據(jù)挖掘分析
數(shù)據(jù)流1——數(shù)據(jù)準備 (P4_basket) 數(shù)據(jù)變換，變換為市場籃數(shù)據(jù)
數(shù)據(jù)流2——數(shù)據(jù)準備（P5_custbasket）計算客戶價值
數(shù)據(jù)流3——探索選擇套餐之間的關系，確定套餐組合（E3_products）
數(shù)據(jù)流4——向用戶推薦套餐（D2_recommend）
數(shù)據(jù)流5——細分客戶群，并分析各個細分群體選擇套餐的傾向性（M3_prodassoc）
數(shù)據(jù)流6——不同價值客戶群體選擇套餐情況的探索性分析（E4_prodvalue）
數(shù)據(jù)流7——研究不同價值群體的選擇套餐組合的情況并預測（M4_prodprofile）
電信行業(yè)交叉銷售建模圖培訓ppt課件模板：這是培訓ppt課件模板，包括了文章背景知識，認字識詞朗誦，課文賞析，拓展訓練/分組練習等內容，歡迎點擊下載。
幼兒教師師德培訓ppt1：這是幼兒教師師德培訓ppt1，包括了引言，幼兒園教師師德現(xiàn)狀，幼兒園師德建設存在的問題，原因分析，對策建議等內容，歡迎點擊下載。
釘釘培訓ppt：這是釘釘培訓ppt，包括了釘釘軟件介紹，釘釘常用功能，公司啟用釘釘考勤操作指南，公司啟用釘釘時間等內容，歡迎點擊下載。
-
素材評分榜
素材排行榜
-
猜你喜歡
-
- 培訓ppt課件模板
- 文檔大�。�4 MB
- 上傳時間：03-04
![培訓ppt課件模板]()
-
- 幼兒教師師德培訓ppt1
- 文檔大小：2 MB
- 上傳時間：02-24
![幼兒教師師德培訓ppt1]()
-
- 釘釘培訓ppt
- 文檔大�。�2 MB
- 上傳時間：02-14
![釘釘培訓ppt]()
-
- 人事對新人的培訓ppt
- 文檔大�。�8 MB
- 上傳時間：02-12
![人事對新人的培訓ppt]()
-
- 消毒隔離培訓ppt
- 文檔大�。�318 KB
- 上傳時間：12-16
![消毒隔離培訓ppt]()
-
- 模特培訓ppt
- 文檔大小：37 KB
- 上傳時間：12-16
![模特培訓ppt]()
-
- 秘書培訓ppt
- 文檔大�。�854 KB
- 上傳時間：12-15
![秘書培訓ppt]()
-
