一、多元回歸

1、概述：

在研究變量之間的相互影響關(guān)系模型時候，用到這類方法，具體地說：其可以定量地描述某一現(xiàn)象和某些因素之間的函數(shù)關(guān)系，將各變量的已知值帶入回歸方程可以求出因變量的估計(jì)值，從而可以進(jìn)行預(yù)測等相關(guān)研究。

2、分類

分為兩類：多元線性回歸和非線性線性回歸；

其中非線性回歸可以通過一定的變化轉(zhuǎn)化為線性回歸，比如：y＝lnx 可以轉(zhuǎn)化為y＝u    u＝lnx來解決；

3、 注意事項(xiàng)

在做回歸的時候，一定要注意兩件事：

（1） 回歸方程的顯著性檢驗(yàn)

（2） 回歸系數(shù)的顯著性檢驗(yàn)

檢驗(yàn)是很多學(xué)生在建模中不注意的地方，好的檢驗(yàn)結(jié)果可以體現(xiàn)出你模型的優(yōu)劣，這點(diǎn)一定要注意。

二、聚類分析

1、概述：

聚類分析指將物理或抽象對象的集合分組為由類似的對象組成的多個類的分析過程。

2、分類

聚類主要有三種：

（1） K均值聚類

（2） 系統(tǒng)聚類

（3）二階聚類

類的距離計(jì)算方法：

（1） 最短距離法

（2） 最長距離法

（3） 中間距離法

（4） 重心法

（5） 類平均法

（6） 可變類平均法

（7） 可變法

（8） 利差平均和法

3、注意事項(xiàng)

在樣本量比較大時，要得到聚類結(jié)果就顯得不是很容易，這時需要根據(jù)背景知識和相關(guān)的其他方法輔助處理。

還需要注意的是：如果總體樣本的顯著性差異不是特別大的時候，使用的時候也要注意！

三、分類

1、概述

分類是一種典型的有監(jiān)督的機(jī)器學(xué)習(xí)方法，其目的是從一組已知類別的數(shù)據(jù)中發(fā)現(xiàn)分類模型，以預(yù)測新數(shù)據(jù)的未知類別。

這里需要說明的是：預(yù)測和分類是有區(qū)別的，預(yù)測是對數(shù)據(jù)的預(yù)測，而分類是類別的預(yù)測。

2、常用分類模型：

（1）神經(jīng)網(wǎng)絡(luò)

（2）決策樹

3、注意事項(xiàng)

A． 神經(jīng)網(wǎng)絡(luò)適用于下列情況的分類：

（1） 數(shù)據(jù)量比較小，缺少足夠的樣本建立數(shù)學(xué)模型

（2） 數(shù)據(jù)的結(jié)構(gòu)難以用傳統(tǒng)的統(tǒng)計(jì)方法來描述

（3） 分類模型難以表示為傳統(tǒng)的統(tǒng)計(jì)模型

B． 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)：

分類準(zhǔn)確度高，并行分布處理能力強(qiáng)， 對噪聲數(shù)據(jù)有較強(qiáng)的魯棒性和容錯能力，能夠充分逼近復(fù)雜的非線性關(guān)系，具備聯(lián)想記憶的功能等。

C． 神經(jīng)網(wǎng)絡(luò)缺點(diǎn)：

需要大量的參數(shù)，不能觀察中間學(xué)習(xí)過程，輸出結(jié)果較難解釋，會影響到結(jié)果的可信度，需要較長的學(xué)習(xí)時間，當(dāng)數(shù)據(jù)量較大的時候，學(xué)習(xí)速度會制約其應(yīng)用。