什么是數(shù)據(jù)挖掘(Data Mining)?簡(jiǎn)而言之，就是有組織有目的地收集數(shù)據(jù)，通過(guò)分析數(shù)據(jù)使之成為信息，從而在大量數(shù)據(jù)中尋找潛在規(guī)律以形成規(guī)則或知識(shí)的技術(shù)。在本文中，我們從數(shù)據(jù)挖掘的實(shí)例出發(fā)，并以數(shù)據(jù)挖掘中比較經(jīng)典的分類算法入手，給讀者介紹我們?cè)鯓永脭?shù)據(jù)挖掘的技術(shù)解決現(xiàn)實(shí)中出現(xiàn)的問(wèn)題。
數(shù)據(jù)挖掘是如何解決問(wèn)題的?
本節(jié)通過(guò)幾個(gè)數(shù)據(jù)挖掘?qū)嶋H案例來(lái)詮釋如何通過(guò)數(shù)據(jù)挖掘解決商業(yè)中遇到的問(wèn)題。下面關(guān)于“啤酒和尿不濕”的故事是數(shù)據(jù)挖掘中最經(jīng)典的案例。而Target公司通過(guò)“懷孕預(yù)測(cè)指數(shù)”來(lái)預(yù)測(cè)女顧客是否懷孕的案例也是近來(lái)為數(shù)據(jù)挖掘?qū)W者最津津樂(lè)道的一個(gè)話題。
一、尿不濕和啤酒
很多人會(huì)問(wèn)，究竟數(shù)據(jù)挖掘能夠?yàn)槠髽I(yè)做些什么?下面我們通過(guò)一個(gè)在數(shù)據(jù)挖掘中最經(jīng)典的案例來(lái)解釋這個(gè)問(wèn)題——一個(gè)關(guān)于尿不濕與啤酒的故事。超級(jí)商業(yè)零售連鎖巨無(wú)霸沃爾瑪公司(Wal Mart)擁有世上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)之一。為了能夠準(zhǔn)確了解顧客在其門店的購(gòu)買習(xí)慣，沃爾瑪對(duì)其顧客的購(gòu)物行為進(jìn)行了購(gòu)物籃關(guān)聯(lián)規(guī)則分析，從而知道顧客經(jīng)常一起購(gòu)買的商品有哪些。在沃爾瑪龐大的數(shù)據(jù)倉(cāng)庫(kù)里集合了其所有門店的詳細(xì)原始交易數(shù)據(jù)，在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用數(shù)據(jù)挖掘工具對(duì)這些數(shù)據(jù)進(jìn)行分析和挖掘。一個(gè)令人驚奇和意外的結(jié)果出現(xiàn)了：“跟尿不濕一起購(gòu)買最多的商品竟是啤酒”!這是數(shù)據(jù)挖掘技術(shù)對(duì)歷史數(shù)據(jù)進(jìn)行分析的結(jié)果，反映的是數(shù)據(jù)的內(nèi)在規(guī)律。那么這個(gè)結(jié)果符合現(xiàn)實(shí)情況嗎?是否是一個(gè)有用的知識(shí)?是否有利用價(jià)值?
為了驗(yàn)證這一結(jié)果，沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這一結(jié)果進(jìn)行調(diào)查分析。經(jīng)過(guò)大量實(shí)際調(diào)查和分析，他們揭示了一個(gè)隱藏在“尿不濕與啤酒”背后的美國(guó)消費(fèi)者的一種行為模式：
在美國(guó)，到超市去買嬰兒尿不濕是一些年輕的父親下班后的日常工作，而他們中有30%～40%的人同時(shí)也會(huì)為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國(guó)的太太們常叮囑她們的丈夫不要忘了下班后為小孩買尿不濕，而丈夫們?cè)谫I尿不濕后又隨手帶回了他們喜歡的啤酒。另一種情況是丈夫們?cè)谫I啤酒時(shí)突然記起他們的責(zé)任，又去買了尿不濕。既然尿不濕與啤酒一起被購(gòu)買的機(jī)會(huì)很多，那么沃爾瑪就在他們所有的門店里將尿不濕與啤酒并排擺放在一起，結(jié)果是得到了尿不濕與啤酒的銷售量雙雙增長(zhǎng)。按常規(guī)思維，尿不濕與啤酒風(fēng)馬牛不相及，若不是借助數(shù)據(jù)挖掘技術(shù)對(duì)大量交易數(shù)據(jù)進(jìn)行挖掘分析，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)內(nèi)這一有價(jià)值的規(guī)律的。
二、Target和懷孕預(yù)測(cè)指數(shù)
關(guān)于數(shù)據(jù)挖掘的應(yīng)用，最近還有這樣一個(gè)真實(shí)案例在數(shù)據(jù)挖掘和營(yíng)銷挖掘領(lǐng)域廣為流傳。
美國(guó)一名男子闖入他家附近的一家美國(guó)零售連鎖超市Target店鋪(美國(guó)第三大零售商塔吉特)進(jìn)行抗議：“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券?！钡赇伣?jīng)理立刻向來(lái)者承認(rèn)錯(cuò)誤，但是其實(shí)該經(jīng)理并不知道這一行為是總公司運(yùn)行數(shù)據(jù)挖掘的結(jié)果。如圖所示。一個(gè)月后，這位父親來(lái)道歉，因?yàn)檫@時(shí)他才知道他的女兒的確懷孕了。Target比這位父親知道他女兒懷孕的時(shí)間足足早了一個(gè)月。
Target懷孕預(yù)測(cè)指數(shù)
Target能夠通過(guò)分析女性客戶購(gòu)買記錄，“猜出”哪些是孕婦。他們從Target的數(shù)據(jù)倉(cāng)庫(kù)中挖掘出25項(xiàng)與懷孕高度相關(guān)的商品，制作“懷孕預(yù)測(cè)”指數(shù)。比如他們發(fā)現(xiàn)女性會(huì)在懷孕四個(gè)月左右，大量購(gòu)買無(wú)香味乳液。以此為依據(jù)推算出預(yù)產(chǎn)期后，就搶先一步將孕婦裝、嬰兒床等折扣券寄給客戶來(lái)吸引客戶購(gòu)買。
如果不是在擁有海量的用戶交易數(shù)據(jù)基礎(chǔ)上實(shí)施數(shù)據(jù)挖掘，Target不可能做到如此精準(zhǔn)的營(yíng)銷。
三、電子商務(wù)網(wǎng)站流量分析
網(wǎng)站流量分析，是指在獲得網(wǎng)站訪問(wèn)量基本數(shù)據(jù)的情況下對(duì)有關(guān)數(shù)據(jù)進(jìn)行的統(tǒng)計(jì)和分析，其常用手段就是Web挖掘。Web挖掘可以通過(guò)對(duì)流量的分析，幫助我們了解Web上的用戶訪問(wèn)模式。那么了解用戶訪問(wèn)模式有哪些好處呢?
在技術(shù)架構(gòu)上，我們可以合理修改網(wǎng)站結(jié)構(gòu)及適度分配資源，構(gòu)建后臺(tái)服務(wù)器群組，比如輔助改進(jìn)網(wǎng)絡(luò)的拓?fù)湓O(shè)計(jì)，提高性能，在有高度相關(guān)性的節(jié)點(diǎn)之間安排快速有效的訪問(wèn)路徑等。
幫助企業(yè)更好地設(shè)計(jì)網(wǎng)站主頁(yè)和安排網(wǎng)頁(yè)內(nèi)容。
幫助企業(yè)改善市場(chǎng)營(yíng)銷決策，如把廣告放在適當(dāng)?shù)腤eb頁(yè)面上。
幫助企業(yè)更好地根據(jù)客戶的興趣來(lái)安排內(nèi)容。
幫助企業(yè)對(duì)客戶群進(jìn)行細(xì)分，針對(duì)不同客戶制定個(gè)性化的促銷策略等。
人們?cè)谠L問(wèn)某網(wǎng)站的同時(shí)，便提供了個(gè)人對(duì)網(wǎng)站內(nèi)容的反饋信息：點(diǎn)擊了哪一個(gè)鏈接，在哪個(gè)網(wǎng)頁(yè)停留時(shí)間最多，采用了哪個(gè)搜索項(xiàng)、總體瀏覽時(shí)間等。而所有這些信息都被保存在網(wǎng)站日志中。從保存的信息來(lái)看，網(wǎng)站雖然擁有了大量的網(wǎng)站訪客及其訪問(wèn)內(nèi)容的信息，但擁有了這些信息卻不等于能夠充分利用這些信息。
那么如果將這些數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉(cāng)庫(kù)中呢?這些帶有大量信息的數(shù)據(jù)借助數(shù)據(jù)倉(cāng)庫(kù)報(bào)告系統(tǒng)(一般稱作在線分析處理系統(tǒng))，雖然能給出可直接觀察到的和相對(duì)簡(jiǎn)單直接的信息，卻也不能告訴網(wǎng)站其信息模式及怎樣對(duì)其進(jìn)行處理，而且它一般不能分析復(fù)雜信息。所以對(duì)于這些相對(duì)復(fù)雜的信息或是不那么直觀的問(wèn)題，我們就只能通過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)解決，即通過(guò)機(jī)器學(xué)習(xí)算法，找到數(shù)據(jù)庫(kù)中的隱含模式，報(bào)告結(jié)果或按照結(jié)果執(zhí)行。為了讓電子商務(wù)網(wǎng)站能夠充分應(yīng)用數(shù)據(jù)挖掘技術(shù)，我們需要采集更加全面的數(shù)據(jù)，采集的數(shù)據(jù)越全面，分析就能越精準(zhǔn)。在實(shí)際操作中，有以下幾個(gè)方面的數(shù)據(jù)可以被采集：
訪客的系統(tǒng)屬性特征。比如所采用的操作系統(tǒng)、瀏覽器、域名和訪問(wèn)速度等。
訪問(wèn)特征。包括停留時(shí)間、點(diǎn)擊的URL等。
條款特征。包括網(wǎng)絡(luò)內(nèi)容信息類型、內(nèi)容分類和來(lái)訪URL等。
產(chǎn)品特征。包括所訪問(wèn)的產(chǎn)品編號(hào)、產(chǎn)品目錄、產(chǎn)品顏色、產(chǎn)品價(jià)格、產(chǎn)品利潤(rùn)、產(chǎn)品數(shù)量和特價(jià)等級(jí)等。
當(dāng)訪客訪問(wèn)該網(wǎng)站時(shí)，以上有關(guān)此訪客的數(shù)據(jù)信息便會(huì)逐漸被積累起來(lái)，那么我們就可以通過(guò)這些積累而成的數(shù)據(jù)信息整理出與這個(gè)訪客有關(guān)的信息以供網(wǎng)站使用?？梢哉沓尚偷男畔⒋笾驴梢苑譃橐韵聨讉€(gè)方面：
訪客的購(gòu)買歷史以及廣告點(diǎn)擊歷史。
訪客點(diǎn)擊的超鏈接的歷史信息。
訪客的總鏈接機(jī)會(huì)(提供給訪客的超級(jí)鏈接)。
訪客總的訪問(wèn)時(shí)間。
訪客所瀏覽的全部網(wǎng)頁(yè)。
訪客每次會(huì)話的產(chǎn)出利潤(rùn)。
訪客每個(gè)月的訪問(wèn)次數(shù)及上一次的訪問(wèn)時(shí)間等。
訪客對(duì)于商標(biāo)總體正面或負(fù)面的評(píng)價(jià)。
四、分類：從人臉識(shí)別系統(tǒng)說(shuō)起
美國(guó)電視劇《反恐24小時(shí)》中有一集，當(dāng)一個(gè)恐怖分子用手機(jī)撥打了一個(gè)電話，從CTU(反恐部隊(duì))的計(jì)算機(jī)系統(tǒng)中便立刻發(fā)出恐怖分子出現(xiàn)的預(yù)警。很多好萊塢的大片中此類智能系統(tǒng)的應(yīng)用也比比皆是，它能從茫茫人群中實(shí)時(shí)找出正在苦苦追蹤的恐怖分子或間諜。而在2008年北京奧運(yùn)會(huì)上，最引人注意的IT 熱點(diǎn)莫過(guò)于“實(shí)時(shí)人臉識(shí)別技術(shù)”在奧運(yùn)會(huì)安檢系統(tǒng)中的應(yīng)用，這種技術(shù)通過(guò)對(duì)人臉關(guān)鍵部位的數(shù)據(jù)采集，讓系統(tǒng)能夠精確地識(shí)別出所有進(jìn)出奧運(yùn)場(chǎng)館的觀眾身份。
目前人臉識(shí)別技術(shù)正廣泛的應(yīng)用于各種安檢系統(tǒng)中，警方只需將犯罪分子的臉部數(shù)據(jù)采集到安檢數(shù)據(jù)庫(kù)，那么只要犯罪分子一出現(xiàn)，系統(tǒng)就能精確地將其識(shí)別出來(lái)?，F(xiàn)如今人臉識(shí)別技術(shù)已經(jīng)相對(duì)成熟，谷歌在Picasa照片分享軟件的工具中就已經(jīng)加入了人臉識(shí)別功能。當(dāng)然，人臉識(shí)別技術(shù)牽涉到隱私，是把雙刃劍，谷歌在谷歌街景地圖中故意將人臉模糊化，變得無(wú)法識(shí)別就是這個(gè)原因。如圖所示為人臉識(shí)別示意圖。
人臉識(shí)別示意圖
雖然需要借力于其他技術(shù)，但是人臉識(shí)別中的主要技術(shù)還是來(lái)自于數(shù)據(jù)挖掘中的分類算法(Classification)。讓我們從一個(gè)最簡(jiǎn)單的事實(shí)來(lái)解釋分類的思想。設(shè)想一下，一天中午，你第一次到三里屯，站在幾家以前從未去過(guò)的餐廳門前，現(xiàn)在的問(wèn)題是該選擇哪家餐廳用餐。應(yīng)該怎樣選擇呢?假設(shè)您沒(méi)有帶手機(jī)，無(wú)法上網(wǎng)查詢，那么可能會(huì)出現(xiàn)如下兩種情況：
一種，你記起某位朋友去過(guò)其中一家，并且好像他對(duì)這家的評(píng)價(jià)還不錯(cuò)，這時(shí)，你很有可能就直接去這家了。
第二種，沒(méi)有類似朋友推薦這類先驗(yàn)知識(shí)，你就只能從自己以往的用餐經(jīng)歷中來(lái)選擇了，例如你可能會(huì)比較餐廳的品牌和用餐環(huán)境，因?yàn)樗坪跻郧暗慕?jīng)歷告訴自己，品牌響、用餐環(huán)境好的餐廳可能味道也會(huì)好。不管是否意識(shí)得到，在最終決定去哪家吃的時(shí)候，我們已經(jīng)根據(jù)自己的判斷標(biāo)準(zhǔn)把候選的這幾家餐廳分類了，可能分成好、中、差三類或者值得去、不值得去兩類。而最終去了自己選擇的那家餐廳，吃完過(guò)后我們自然也會(huì)根據(jù)自己的真實(shí)體驗(yàn)來(lái)判定我們的判斷準(zhǔn)則是否正確，同時(shí)根據(jù)這次的體驗(yàn)來(lái)修正或改進(jìn)自己的判斷準(zhǔn)則，決定下次是否還會(huì)來(lái)這家餐廳或者是否把它推薦給朋友。
選擇餐廳的過(guò)程其實(shí)就是一個(gè)分類的過(guò)程，此類分類例子是屢見(jiàn)不鮮的。在古時(shí)，司天監(jiān)會(huì)依賴長(zhǎng)時(shí)間積累的信息，通過(guò)觀察天象對(duì)是否會(huì)有天災(zāi)做出分類預(yù)測(cè)。古人則通過(guò)對(duì)四季氣候雨水的常年觀察，總結(jié)出農(nóng)作物最佳播種時(shí)間。在伯樂(lè)的《相馬經(jīng)》中，就通過(guò)簡(jiǎn)單分類區(qū)分出羸馬的三條標(biāo)準(zhǔn)：“大頭小頸，弱脊大腹，小頸大蹄”。
其實(shí)在數(shù)據(jù)挖掘領(lǐng)域，有大量基于海量數(shù)據(jù)的分類問(wèn)題。通常，我們先把數(shù)據(jù)分成訓(xùn)練集(Training Set)和測(cè) 試集(Testing Set)，通過(guò)對(duì)歷史訓(xùn)練集的訓(xùn)練，生成一個(gè)或多個(gè)分類器(Classifier)，將這些分類器應(yīng)用到測(cè)試集中，就可以對(duì)分類器的性能和準(zhǔn)確性做出評(píng)判。如果效果不佳，那么我們或者重新選擇訓(xùn)練集，或者調(diào)整訓(xùn)練模式，直到分類器的性能和準(zhǔn)確性達(dá)到要求為止。最后將選出的分類器應(yīng)用到未經(jīng)分類的新數(shù)據(jù)中，就可以對(duì)新數(shù)據(jù)的類別做出預(yù)測(cè)了。
