處理數(shù)據(jù)缺失的方法-創(chuàng)新互聯(lián)

處理數(shù)據(jù)缺失的方法是什么？這個(gè)問(wèn)題可能是我們?nèi)粘９ぷ鹘?jīng)常見(jiàn)到的。通過(guò)這個(gè)問(wèn)題，希望你能收獲更多。下面是解決這個(gè)問(wèn)題的步驟內(nèi)容。

10多年的田東網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。成都全網(wǎng)營(yíng)銷推廣的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整田東建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)建站從事“田東網(wǎng)站設(shè)計(jì)”,“田東網(wǎng)站推廣”以來(lái)，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

數(shù)據(jù)缺失是數(shù)據(jù)科學(xué)家在處理數(shù)據(jù)時(shí)經(jīng)常遇到的問(wèn)題，本文作者基于不同的情境提供了相應(yīng)的數(shù)據(jù)插補(bǔ)解決辦法。沒(méi)有完美的數(shù)據(jù)插補(bǔ)法，但總有一款更適合當(dāng)下情況。

我在數(shù)據(jù)清理與探索性分析中遇到的最常見(jiàn)問(wèn)題之一就是處理缺失數(shù)據(jù)。首先我們需要明白的是，沒(méi)有任何方法能夠完美解決這個(gè)問(wèn)題。不同問(wèn)題有不同的數(shù)據(jù)插補(bǔ)方法——時(shí)間序列分析，機(jī)器學(xué)習(xí)，回歸模型等等，很難提供通用解決方案。在這篇文章中，我將試著總結(jié)最常用的方法，并尋找一個(gè)結(jié)構(gòu)化的解決方法。
插補(bǔ)數(shù)據(jù)vs刪除數(shù)據(jù)

在討論數(shù)據(jù)插補(bǔ)方法之前，我們必須了解數(shù)據(jù)丟失的原因。
1、隨機(jī)丟失（MAR，Missing at Random）：隨機(jī)丟失意味著數(shù)據(jù)丟失的概率與丟失的數(shù)據(jù)本身無(wú)關(guān)，而僅與部分已觀測(cè)到的數(shù)據(jù)有關(guān)。
2、完全隨機(jī)丟失（MCAR，Missing Completely at Random）：數(shù)據(jù)丟失的概率與其假設(shè)值以及其他變量值都完全無(wú)關(guān)。
3、非隨機(jī)丟失（MNAR，Missing not at Random）：有兩種可能的情況。缺失值取決于其假設(shè)值（例如，高收入人群通常不希望在調(diào)查中透露他們的收入）；或者，缺失值取決于其他變量值（假設(shè)女性通常不想透露她們的年齡，則這里年齡變量缺失值受性別變量的影響）。

在前兩種情況下可以根據(jù)其出現(xiàn)情況刪除缺失值的數(shù)據(jù)，而在第三種情況下，刪除包含缺失值的數(shù)據(jù)可能會(huì)導(dǎo)致模型出現(xiàn)偏差。因此我們需要對(duì)刪除數(shù)據(jù)非常謹(jǐn)慎。請(qǐng)注意，插補(bǔ)數(shù)據(jù)并不一定能提供更好的結(jié)果。

刪除

列表刪除

按列表刪除（完整案例分析）會(huì)刪除一行觀測(cè)值，只要其包含至少一個(gè)缺失數(shù)據(jù)。你可能只需要直接刪除這些觀測(cè)值，分析就會(huì)很好做，尤其是當(dāng)缺失數(shù)據(jù)只占總數(shù)據(jù)很小一部分的時(shí)候。然而在大多數(shù)情況下，這種刪除方法并不好用。因?yàn)橥耆S機(jī)缺失（MCAR）的假設(shè)通常很難被滿足。因此本刪除方法會(huì)造成有偏差的參數(shù)與估計(jì)。

成對(duì)刪除

在重要變量存在的情況下，成對(duì)刪除只會(huì)刪除相對(duì)不重要的變量行。這樣可以盡可能保證充足的數(shù)據(jù)。該方法的優(yōu)勢(shì)在于它能夠幫助增強(qiáng)分析效果，但是它也有許多不足。它假設(shè)缺失數(shù)據(jù)服從完全隨機(jī)丟失（MCAR）。如果你使用此方法，最終模型的不同部分就會(huì)得到不同數(shù)量的觀測(cè)值，從而使得模型解釋非常困難。

觀測(cè)行3與4將被用于計(jì)算ageNa與DV1的協(xié)方差；觀測(cè)行2、3與4將被用于計(jì)算DV1與DV2的協(xié)方差。

刪除變量

在我看來(lái)，保留數(shù)據(jù)總是比拋棄數(shù)據(jù)更好。有時(shí)，如果超過(guò)60％的觀測(cè)數(shù)據(jù)缺失，直接刪除該變量也可以，但前提是該變量無(wú)關(guān)緊要。話雖如此，插補(bǔ)數(shù)據(jù)總是比直接丟棄變量好一些。

以上就是處理數(shù)據(jù)缺失方法的簡(jiǎn)略介紹，詳細(xì)使用情況還需要大家自己親自動(dòng)手使用過(guò)才能領(lǐng)會(huì)。如果想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站題目：處理數(shù)據(jù)缺失的方法-創(chuàng)新互聯(lián)
本文地址：http://muchs.cn/article42/dsgshc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、微信公眾號(hào)、網(wǎng)站收錄、網(wǎng)站內(nèi)鏈、企業(yè)建站、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)