python源碼，樸素貝葉斯實(shí)現(xiàn)多分類(lèi)-創(chuàng)新互聯(lián)

機(jī)器學(xué)習(xí)實(shí)戰(zhàn)中，樸素貝葉斯那一章節(jié)只實(shí)現(xiàn)了二分類(lèi)，網(wǎng)上大多數(shù)博客也只是照搬書(shū)上的源碼，沒(méi)有弄懂實(shí)現(xiàn)的根本。在此梳理了一遍樸素貝葉斯的原理，實(shí)現(xiàn)了5分類(lèi)的例子，也是自己的一點(diǎn)心得，交流一下。

創(chuàng)新互聯(lián)專(zhuān)注于企業(yè)成都營(yíng)銷(xiāo)網(wǎng)站建設(shè)、網(wǎng)站重做改版、惠水網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5技術(shù)、商城網(wǎng)站開(kāi)發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性?xún)r(jià)比高，為惠水等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

from numpy import *

'''

貝葉斯公式 p(ci|w) = p(w|ci)*p(ci) / p(w)

即比較兩類(lèi)別分子大小，把結(jié)果歸為分子大的一類(lèi)

p(w|ci)條件概率，即在類(lèi)別1或0下，w(詞頻)出現(xiàn)的概率(詞頻/此類(lèi)別總詞數(shù)即n/N)

'''

# 取得DataSet中不重復(fù)的word

def createVocabList(dataSet):

vocabSet = set([])#使用set創(chuàng)建不重復(fù)詞表庫(kù)

for document in dataSet:

vocabSet = vocabSet | set(document) #創(chuàng)建兩個(gè)集合的并集

return list(vocabSet)

'''

我們將每個(gè)詞的出現(xiàn)與否作為一個(gè)特征，這可以被描述為詞集模型(set-of-words model)。

在詞集中，每個(gè)詞只能出現(xiàn)一次。

'''

def setOfWords2Vec(vocabList, inputSet):

returnVec = [0]*len(vocabList)#創(chuàng)建一個(gè)所包含元素都為0的向量

#遍歷文檔中的所有單詞，如果出現(xiàn)了詞匯表中的單詞，則將輸出的文檔向量中的對(duì)應(yīng)值設(shè)為1

for word in inputSet:

if word in vocabList:

returnVec[vocabList.index(word)] = 1

else: print("the word: %s is not in my Vocabulary!" % word)

return returnVec

'''

如果一個(gè)詞在文檔中出現(xiàn)不止一次，這可能意味著包含該詞是否出現(xiàn)在文檔中所不能表達(dá)的某種信息,

這種方法被稱(chēng)為詞袋模型(bag-of-words model)。

在詞袋中，每個(gè)單詞可以出現(xiàn)多次。

為適應(yīng)詞袋模型，需要對(duì)函數(shù)setOfWords2Vec稍加修改，修改后的函數(shù)稱(chēng)為bagOfWords2VecMN

'''

def bagOfWords2Vec(vocabList, inputSet):

returnVec = [0]*len(vocabList)

for word in inputSet:

if word in vocabList:

returnVec[vocabList.index(word)] += 1

return returnVec

def countX(aList,el):

count = 0

for item in aList:

if item == el:

count += 1

return count

def trainNB0(trainMatrix,trainCategory):

'''

trainMatrix:文檔矩陣

trainCategory:每篇文檔類(lèi)別標(biāo)簽

'''

numTrainDocs = len(trainMatrix)

numWords = len(trainMatrix[0])

pAbusive0 = countX(trainCategory,0) / float(numTrainDocs)

pAbusive1 = countX(trainCategory,1) / float(numTrainDocs)

pAbusive2 = countX(trainCategory,2) / float(numTrainDocs)

pAbusive3 = countX(trainCategory,3) / float(numTrainDocs)

pAbusive4 = countX(trainCategory,4) / float(numTrainDocs)

#初始化所有詞出現(xiàn)數(shù)為1，并將分母初始化為2，避免某一個(gè)概率值為0

p0Num = ones(numWords); p1Num = ones(numWords)

p2Num = ones(numWords)

p3Num = ones(numWords)

p4Num = ones(numWords)

p0Denom = 2.0; p1Denom = 2.0 ;p2Denom = 2.0

p3Denom = 2.0; p4Denom = 2.0

for i in range(numTrainDocs):

# 1類(lèi)的矩陣相加

if trainCategory[i] == 1:

p1Num += trainMatrix[i]

p1Denom += sum(trainMatrix[i])

if trainCategory[i] == 2:

p2Num += trainMatrix[i]

p2Denom += sum(trainMatrix[i])

if trainCategory[i] == 3:

p3Num += trainMatrix[i]

p3Denom += sum(trainMatrix[i])

if trainCategory[i] == 4:

p4Num += trainMatrix[i]

p4Denom += sum(trainMatrix[i])

if trainCategory[i] == 0:

p0Num += trainMatrix[i]

p0Denom += sum(trainMatrix[i])

#將結(jié)果取自然對(duì)數(shù)，避免下溢出，即太多很小的數(shù)相乘造成的影響

p4Vect = log(p4Num/p4Denom)

p3Vect = log(p3Num/p3Denom)

p2Vect = log(p2Num/p2Denom)

p1Vect = log(p1Num/p1Denom)#change to log()

p0Vect = log(p0Num/p0Denom)#change to log()

return p0Vect,p1Vect,p2Vect,p3Vect,p4Vect,pAbusive0,pAbusive1,pAbusive2,pAbusive3,pAbusive4

def classifyNB(vec2Classify,p0Vec,p1Vec,p2Vec,p3Vec,p4Vec,pClass0,pClass1,pClass2,pClass3,pClass4):

p1 = sum(vec2Classify * p1Vec) + log(pClass1)

p2 = sum(vec2Classify * p2Vec) + log(pClass2)

p3 = sum(vec2Classify * p3Vec) + log(pClass3)

p4 = sum(vec2Classify * p4Vec) + log(pClass4)

p0 = sum(vec2Classify * p0Vec) + log(pClass0)

## print(p0,p1,p2,p3,p4)無(wú)錫人流醫(yī)院 http://www.bhnkyy39.com/

return [p0,p1,p2,p3,p4].index(max([p0,p1,p2,p3,p4]))

if __name__ == "__main__":

dataset = [['my','dog','has','flea','problems','help','please'],

['maybe','not','take','him','to','dog','park','stupid'],

['my','dalmation','is','so','cute','I','love','him'],

['stop','posting','stupid','worthless','garbage'],

['mr','licks','ate','my','steak','how','to','stop','him'],

['quit','buying','worthless','dog','food','stupid'],

['i','love','you'],

['you','kiss','me'],

['hate','heng','no'],

['can','i','hug','you'],

['refuse','me','ache'],

['1','4','3'],

['5','2','3'],

['1','2','3']]

# 0，1，2，3，4分別表示不同類(lèi)別

classVec = [0,1,0,1,0,1,2,2,4,2,4,3,3,3]

print("正在創(chuàng)建詞頻列表")

myVocabList = createVocabList(dataset)

print("正在建詞向量")

trainMat = []

for postinDoc in dataset:

trainMat.append(setOfWords2Vec(myVocabList,postinDoc))

print("開(kāi)始訓(xùn)練")

p0V,p1V,p2V,p3V,p4V,pAb0,pAb1,pAb2,pAb3,pAb4 = trainNB0(array(trainMat),array(classVec))

# 輸入的測(cè)試案例

tmp = ['love','you','kiss','you']

thisDoc = array(setOfWords2Vec(myVocabList,tmp))

flag = classifyNB(thisDoc,p0V,p1V,p2V,p3V,p4V,pAb0,pAb1,pAb2,pAb3,pAb4)

print('flag is',flag)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享名稱(chēng)：python源碼，樸素貝葉斯實(shí)現(xiàn)多分類(lèi)-創(chuàng)新互聯(lián)
分享鏈接：http://muchs.cn/article40/dodieo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、ChatGPT、企業(yè)網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)站內(nèi)鏈、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)