本文講述了大數(shù)據(jù)科學家應(yīng)當了解的五個統(tǒng)計基本概念：統(tǒng)計特征、概率分布、降維、過采樣/欠采樣、貝葉斯統(tǒng)計

從高的角度來看，統(tǒng)計學是一種利用數(shù)學理論來進行大數(shù)據(jù)分析的技術(shù)。象柱狀圖這種基本的可視化形式，會給你更加全面的信息。但是，通過統(tǒng)計學我們可以以更富有信息驅(qū)動力和針對性的方式對大數(shù)據(jù)進行操作。所涉及的數(shù)學理論幫助我們形成大數(shù)據(jù)的具體結(jié)論，而不僅僅是猜測。

利用統(tǒng)計學，我們可以更深入、更細致地觀察大數(shù)據(jù)是如何進行精確組織的，并且基于這種組織結(jié)構(gòu)，如何能夠以最佳的形式來應(yīng)用其它相關(guān)的技術(shù)以獲取更多的信息。今天，我們來看看大數(shù)據(jù)科學家需要掌握的5個基本的統(tǒng)計學概念，以及如何有效地進行應(yīng)用。

特征統(tǒng)計

特征統(tǒng)計可能是大數(shù)據(jù)科學中最常用的統(tǒng)計學概念。它是你在研究大數(shù)據(jù)集時經(jīng)常使用的統(tǒng)計技術(shù)，包括偏差、方差、平均值、中位數(shù)、百分數(shù)等等。理解特征統(tǒng)計并且在代碼中實現(xiàn)都是非常容易的。請看下圖：

上圖中，中間的直線表示大數(shù)據(jù)的中位數(shù)。中位數(shù)用在平均值上，因為它對異常值更具有魯棒性。第一個四分位數(shù)本質(zhì)上是第二十五百分位數(shù)，即大數(shù)據(jù)中的25%要低于該值。第三個四分位數(shù)是第七十五百分位數(shù)，即大數(shù)據(jù)中的75%要低于該值。而最大值和最小值表示該大數(shù)據(jù)范圍的上下兩端。

箱形圖很好地說明了基本統(tǒng)計特征的作用:

· 當箱形圖很短時，就意味著很多大數(shù)據(jù)點是相似的，因為很多值是在一個很小的范圍內(nèi)分布;

· 當箱形圖較高時，就意味著大部分的大數(shù)據(jù)點之間的差異很大，因為這些值分布的很廣;

· 如果中位數(shù)接近了底部，那么大部分的大數(shù)據(jù)具有較低的值。如果中位數(shù)比較接近頂部，那么大多數(shù)的大數(shù)據(jù)具有更高的值。基本上，如果中位線不在框的中間，那么就表明了是偏斜大數(shù)據(jù);

· 如果框上下兩邊的線很長表示大數(shù)據(jù)具有很高的標準偏差和方差，意味著這些值被分散了，并且變化非常大。如果在框的一邊有長線，另一邊的不長，那么大數(shù)據(jù)可能只在一個方向上變化很大;

概率分布

我們可以將概率定義為一些事件將要發(fā)生的可能性大小，以百分數(shù)來表示。在大數(shù)據(jù)科學領(lǐng)域中，這通常被量化到0到1的區(qū)間范圍內(nèi)，其中0表示事件確定不會發(fā)生，而1表示事件確定會發(fā)生。那么，概率分布就是表示所有可能值出現(xiàn)的幾率的函數(shù)。請看下圖：

常見的概率分布，均勻分布(上)、正態(tài)分布(中間)、泊松分布(下)：

· 均勻分布是其中最基本的概率分布方式。它有一個只出現(xiàn)在一定范圍內(nèi)的值，而在該范圍之外的都是0。我們也可以把它考慮為是一個具有兩個分類的變量：0或另一個值。分類變量可能具有除0之外的多個值，但我們?nèi)匀豢梢詫⑵淇梢暬癁槎鄠€均勻分布的分段函數(shù);

· 正態(tài)分布，通常也稱為高斯分布，具體是由它的平均值和標準偏差來定義的。平均值是在空間上來回變化位置進行分布的，而標準偏差控制著它的分布擴散范圍。與其它的分布方式的主要區(qū)別在于，在所有方向上標準偏差是相同的。因此，通過高斯分布，我們知道大數(shù)據(jù)集的平均值以及大數(shù)據(jù)的擴散分布，即它在比較廣的范圍上擴展，還是主要圍繞在少數(shù)幾個值附近集中分布。

· 泊松分布與正態(tài)分布相似，但存在偏斜率。象正態(tài)分布一樣，在偏斜度值較低的情況下，泊松分布在各個方向上具有相對均勻的擴散。但是，當偏斜度值非常大的時候，我們的大數(shù)據(jù)在不同方向上的擴散將會是不同的。在一個方向上，大數(shù)據(jù)的擴散程度非常高，而在另一個方向上，擴散的程度則非常低。

如果遇到一個高斯分布，那么我們知道有很多算法，在默認情況下高思分布將會被執(zhí)行地很好，因此首先應(yīng)該找到那些算法。如果是泊松分布，我們必須要特別謹慎，選擇一個在空間擴展上對變化要有很好魯棒性的算法。

降維

降維這個術(shù)語可以很直觀的理解，意思是降低一個大數(shù)據(jù)集的維數(shù)。在大數(shù)據(jù)科學中，這是特征變量的數(shù)量。請看下圖：

上圖中的立方體表示我們的大數(shù)據(jù)集，它有3個維度，總共1000個點。以現(xiàn)在的計算能力，計算1000個點很容易，但如果更大的規(guī)模，就會遇到麻煩了。然而，僅僅從二維的角度來看我們的大數(shù)據(jù)，比如從立方體一側(cè)的角度，可以看到劃分所有的顏色是很容易的。通過降維，我們將3D大數(shù)據(jù)展現(xiàn)到2D平面上，這有效地把我們需要計算的點的數(shù)量減少到100個，大大節(jié)省了計算量。

另一種方式是我們可以通過特征剪枝來減少維數(shù)。利用這種方法，我們刪除任何所看到的特征對分析都不重要。例如，在研究大數(shù)據(jù)集之后，我們可能會發(fā)現(xiàn)，在10個特征中，有7個特征與輸出具有很高的相關(guān)性，而其它3個則具有非常低的相關(guān)性。那么，這3個低相關(guān)性的特征可能不值得計算，我們可能只是能在不影響輸出的情況下將它們從分析中去掉。

用于降維的最常見的統(tǒng)計技術(shù)是PCA，它本質(zhì)上創(chuàng)建了特征的向量表示，表明了它們對輸出的重要性，即相關(guān)性。PCA可以用來進行上述兩種降維方式的操作。

過采樣和欠采樣

過采樣和欠采樣是用于分類問題的技術(shù)。例如，我們有1種分類的2000個樣本，但第2種分類只有200個樣本。這將拋開我們嘗試和使用的許多機器學習技術(shù)來給大數(shù)據(jù)建模并進行預(yù)測。那么，過采樣和欠采樣可以應(yīng)對這種情況。請看下圖：

在上面圖中的左右兩側(cè)，藍色分類比橙色分類有更多的樣本。在這種情況下，我們有2個預(yù)處理選擇，可以幫助機器學習模型進行訓練。

欠采樣意味著我們將只從樣本多的分類中選擇一些大數(shù)據(jù)，而盡量多的使用樣本少的分類樣本。這種選擇應(yīng)該是為了保持分類的概率分布。我們只是通過更少的抽樣來讓大數(shù)據(jù)集更均衡。

過采樣意味著我們將要創(chuàng)建少數(shù)分類的副本，以便具有與多數(shù)分類相同的樣本數(shù)量。副本將被制作成保持少數(shù)分類的分布。我們只是在沒有獲得更多大數(shù)據(jù)的情況下讓大數(shù)據(jù)集更加均衡。

貝葉斯統(tǒng)計

完全理解為什么在我們使用貝葉斯統(tǒng)計的時候，要求首先理解頻率統(tǒng)計失敗的地方。大多數(shù)人在聽到“概率”這個詞的時候，頻率統(tǒng)計是首先想到的統(tǒng)計類型。它涉及應(yīng)用一些數(shù)學理論來分析事件發(fā)生的概率，明確地說，我們唯一計算的大數(shù)據(jù)是先驗大數(shù)據(jù)(prior data)。

假設(shè)我給了你一個骰子，問你擲出6點的幾率是多少，大多數(shù)人都會說是六分之一。

但是，如果有人給你個特定的骰子總能擲出6個點呢?因為頻率分析僅僅考慮之前的大數(shù)據(jù)，而給你作弊的骰子的因素并沒有被考慮進去。

貝葉斯統(tǒng)計確實考慮了這一點，我們可以通過貝葉斯法則來進行說明:

在方程中的概率P(H)基本上是我們的頻率分析，給定之前的關(guān)于事件發(fā)生概率的大數(shù)據(jù)。方程中的P(E|H)稱為可能性，根據(jù)頻率分析得到的信息，實質(zhì)上是現(xiàn)象正確的概率。例如，如果你要擲骰子10000次，并且前1000次全部擲出了6個點，那么你會非常自信地認為是骰子作弊了。

如果頻率分析做的非常好的話，那么我們會非常自信地確定，猜測6個點是正確的。同時，如果骰子作弊是真的，或者不是基于其自身的先驗概率和頻率分析的，我們也會考慮作弊的因素。正如你從方程式中看到的，貝葉斯統(tǒng)計把一切因素都考慮在內(nèi)了。當你覺得之前的大數(shù)據(jù)不能很好地代表未來的大數(shù)據(jù)和結(jié)果的時候，就應(yīng)該使用貝葉斯統(tǒng)計方法。