python模型的評(píng)估實(shí)例分析

這篇文章主要介紹了python模型的評(píng)估實(shí)例分析的相關(guān)知識(shí)，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇python模型的評(píng)估實(shí)例分析文章都會(huì)有所收獲，下面我們一起來看看吧。

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)寶興免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了近千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

除了使用estimator的score函數(shù)簡單粗略地評(píng)估模型的質(zhì)量之外，

在sklearn.metrics模塊針對(duì)不同的問題類型提供了各種評(píng)估指標(biāo)并且可以創(chuàng)建用戶自定義的評(píng)估指標(biāo)，

使用model_selection模塊中的交叉驗(yàn)證相關(guān)方法可以評(píng)估模型的泛化能力，能夠有效避免過度擬合。

一，metrics評(píng)估指標(biāo)概述

sklearn.metrics中的評(píng)估指標(biāo)有兩類：以_score結(jié)尾的為某種得分，越大越好，

以_error或_loss結(jié)尾的為某種偏差，越小越好。

常用的分類評(píng)估指標(biāo)包括：accuracy_score,f1_score,

precision_score,recall_score等等。

常用的回歸評(píng)估指標(biāo)包括：r2_score,explained_variance_score等等。

常用的聚類評(píng)估指標(biāo)包括：adjusted_rand_score,adjusted_mutual_info_score等等。

二，分類模型的評(píng)估

模型分類效果全部信息：

• confusion_matrix 混淆矩陣,誤差矩陣。

模型整體分類效果：

• accuracy 正確率。通用分類評(píng)估指標(biāo)。

模型對(duì)某種類別的分類效果：

• precision 精確率，也叫查準(zhǔn)率。模型不把正樣本標(biāo)錯(cuò)的能力。“不冤枉一個(gè)好人”。

• recall 召回率，也叫查全率。模型識(shí)別出全部正樣本的能力?！耙步^不放過一個(gè)壞人”。

• f1_score F1得分。精確率和召回率的調(diào)和平均值。

利用不同方式將類別分類效果進(jìn)行求和平均得到整體分類效果：

• macro_averaged：宏平均。每種類別預(yù)測的效果一樣重要。

• micro_averaged：微平均。每一次分類預(yù)測的效果一樣重要。

• weighted_averaged：加權(quán)平均。每種類別預(yù)測的效果跟按該類別樣本出現(xiàn)的頻率成正比。

• sampled_averaged: 樣本平均。僅適用于多標(biāo)簽分類問題。根據(jù)每個(gè)樣本多個(gè)標(biāo)簽的預(yù)測值和真實(shí)值計(jì)算評(píng)測指標(biāo)。然后對(duì)樣本求平均。

僅僅適用于概率模型，且問題為二分類問題的評(píng)估方法：

• ROC曲線

• auc_score

三，回歸模型的評(píng)估

回歸模型最常用的評(píng)估指標(biāo)有：

• r2_score(r方，擬合優(yōu)度，可決系數(shù))

• explained_variance_score(解釋方差得分)

四，使用虛擬估計(jì)器產(chǎn)生基準(zhǔn)得分

對(duì)于監(jiān)督學(xué)習(xí)(分類和回歸)，可以用一些基于經(jīng)驗(yàn)的簡單估計(jì)策略(虛擬估計(jì))的得分作為參照基準(zhǔn)值。

DummyClassifier 實(shí)現(xiàn)了幾種簡單的分類策略:

• stratified 通過在訓(xùn)練集類分布方面來生成隨機(jī)預(yù)測.

• most_frequent 總是預(yù)測訓(xùn)練集中最常見的標(biāo)簽.

• prior 類似most_frequenct，但具有precit_proba方法

• uniform 隨機(jī)產(chǎn)生預(yù)測.

• constant 總是預(yù)測用戶提供的常量標(biāo)簽.

DummyRegressor 實(shí)現(xiàn)了四個(gè)簡單的經(jīng)驗(yàn)法則來進(jìn)行回歸:

• mean 總是預(yù)測訓(xùn)練目標(biāo)的平均值.

• median 總是預(yù)測訓(xùn)練目標(biāo)的中位數(shù).

• quantile 總是預(yù)測用戶提供的訓(xùn)練目標(biāo)的 quantile（分位數(shù)）.

• constant 總是預(yù)測由用戶提供的常數(shù)值.

五，欠擬合，過擬合與交叉驗(yàn)證

在機(jī)器學(xué)習(xí)問題中，經(jīng)常會(huì)出現(xiàn)模型在訓(xùn)練數(shù)據(jù)上的得分很高，

但是在新的數(shù)據(jù)上表現(xiàn)很差的情況，這稱之為過擬合overfitting,又叫高方差high variance。

而如果在訓(xùn)練數(shù)據(jù)上得分就很低，這稱之為欠擬合underfitting,又叫高偏差high bias。

留出法

為了解決過擬合問題，常見的方法將數(shù)據(jù)分為訓(xùn)練集和測試集，用訓(xùn)練集去訓(xùn)練模型的參數(shù)，用測試集去測試訓(xùn)練后模型的表現(xiàn)。有時(shí)對(duì)于一些具有超參數(shù)的模型(例如svm.SVC的參數(shù)C和kernel就屬于超參數(shù))，還需要從訓(xùn)練集中劃出一部分?jǐn)?shù)據(jù)去驗(yàn)證超參數(shù)的有效性。

交叉驗(yàn)證法

在數(shù)據(jù)數(shù)量有限時(shí)，按留出法將數(shù)據(jù)分成3部分將會(huì)嚴(yán)重影響到模型訓(xùn)練的效果。為了有效利用有限的數(shù)據(jù)，可以采用交叉驗(yàn)證cross_validation方法。

交叉驗(yàn)證的基本思想是：以不同的方式多次將數(shù)據(jù)集劃分成訓(xùn)練集和測試集，分別訓(xùn)練和測試，再綜合最后的測試得分。每個(gè)數(shù)據(jù)在一些劃分情況下屬于訓(xùn)練集，在另外一些劃分情況下屬于測試集。

簡單的2折交叉驗(yàn)證：把數(shù)據(jù)集平均劃分成A，B兩組，先用A組訓(xùn)練B組測試，再用B組訓(xùn)練A組測試，所以叫做交叉驗(yàn)證。

常用的交叉驗(yàn)證方法：K折(KFold),留一交叉驗(yàn)證(LeaveOneOut,LOO),留P交叉驗(yàn)證(LeavePOut,LPO),重復(fù)K折交叉驗(yàn)證(RepeatedKFold),隨機(jī)排列交叉驗(yàn)證(ShuffleSplit)。

此外，為了保證訓(xùn)練集中每種標(biāo)簽類別數(shù)據(jù)的分布和完整數(shù)據(jù)集中的分布一致，可以采用分層交叉驗(yàn)證方法(StratifiedKFold，StratifiedShuffleSplit)。

當(dāng)數(shù)據(jù)集的來源有不同的分組時(shí)，獨(dú)立同分布假設(shè)(independent identical distributed:i.i.d)將被打破，可以使用分組交叉驗(yàn)證方法保證訓(xùn)練集的數(shù)據(jù)來自各個(gè)分組的比例和完整數(shù)據(jù)集一致。(GroupKFold,LeaveOneGroupOut,LeavePGroupsOut,GroupShuffleSplit)

對(duì)于時(shí)間序列數(shù)據(jù)，一個(gè)非常重要的特點(diǎn)是時(shí)間相鄰的觀測之間的相關(guān)性(自相關(guān)性)，因此用過去的數(shù)據(jù)訓(xùn)練而用未來的數(shù)據(jù)測試非常重要。TimeSeriesSplit可以實(shí)現(xiàn)這樣的分割。

六，交叉驗(yàn)證綜合評(píng)分

調(diào)用 cross_val_score 函數(shù)可以計(jì)算模型在各交叉驗(yàn)證數(shù)據(jù)集上的得分。

可以指定metrics中的打分函數(shù)，也可以指定交叉驗(yàn)證迭代器。

cross_validate函數(shù)和cross_val_score函數(shù)類似，但功能更為強(qiáng)大，它允許指定多個(gè)指標(biāo)進(jìn)行評(píng)估，并且除返回指定的指標(biāo)外，還會(huì)返回一個(gè)fit_time和score_time即訓(xùn)練時(shí)間和評(píng)分時(shí)間。

使用cross_val_predict可以返回每條樣本作為CV中的測試集時(shí)，對(duì)應(yīng)的模型對(duì)該樣本的預(yù)測結(jié)果。

這就要求使用的CV策略能保證每一條樣本都有機(jī)會(huì)作為測試數(shù)據(jù)，否則會(huì)報(bào)異常。

關(guān)于“python模型的評(píng)估實(shí)例分析”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對(duì)“python模型的評(píng)估實(shí)例分析”知識(shí)都有一定的了解，大家如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

文章標(biāo)題：python模型的評(píng)估實(shí)例分析
網(wǎng)站地址：http://www.muchs.cn/article12/ghgsdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站維護(hù)、ChatGPT、域名注冊(cè)、關(guān)鍵詞優(yōu)化、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)