Python的字符編碼匯總-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

站在用戶的角度思考問題，與客戶深入溝通，找到噶爾網(wǎng)站設(shè)計(jì)與噶爾網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名注冊、雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋噶爾地區(qū)。

這篇文章運(yùn)用簡單易懂的例子給大家介紹Python的字符編碼匯總，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

一、常見編碼

ASCII：ASCII碼即美國標(biāo)準(zhǔn)信息交換碼(American Standard Code for Information Interchange)。由于計(jì)算機(jī)內(nèi)部所有信息最終都是一個(gè)二進(jìn)制值，而每一個(gè)二進(jìn)制位（bit）有0和1兩種狀態(tài)，因此八個(gè)二進(jìn)制位就可以組合出256種狀態(tài)，這被稱為一個(gè)字節(jié)（byte）。標(biāo)準(zhǔn)ASCII 碼一共規(guī)定了128個(gè)字符的編碼，這是因?yàn)橹皇褂昧撕竺嫫呶?，最前面的一位統(tǒng)一規(guī)定為0。之后IBM制定了128個(gè)擴(kuò)充字符，這些字符并非標(biāo)準(zhǔn)的ASCII碼，而是用來表示框線、音標(biāo)和其它歐洲非英語系的字母。

英語用128個(gè)符號(hào)編碼就夠了，但是用來表示其他語言，128個(gè)符號(hào)是不夠的，而且不同的國家使用不同的字母，有的國家使用的字符也遠(yuǎn)遠(yuǎn)超過256個(gè)，顯然ASCII已經(jīng)無法解決問題了。那么有沒有一種統(tǒng)一且唯一的編碼方式呢？答案就是Unicode。

Unicode：Unicode是計(jì)算機(jī)科學(xué)領(lǐng)域里的一項(xiàng)業(yè)界標(biāo)準(zhǔn)，Unicode 是為了解決傳統(tǒng)的字符編碼方案的局限而產(chǎn)生的，它為每種語言中的每個(gè)字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼，以滿足跨語言、跨平臺(tái)進(jìn)行文本轉(zhuǎn)換、處理的要求。

但是Unicode也是有問題的，比如“中”字的Unicode編碼是十六進(jìn)制的4E2D，即二進(jìn)制的100111000101101占15位，也就是說表示這個(gè)符號(hào)至少需要兩個(gè)字節(jié)，那么怎么知道這兩個(gè)字節(jié)是表示一個(gè)字符而不是分別表示兩個(gè)字符呢？也就是如何區(qū)分Unicode和ASCII？

UTF-8：UTF是“Unicode Transformation Format”的縮寫，可以翻譯成Unicode字符集轉(zhuǎn)換格式。UTF-8 就是在互聯(lián)網(wǎng)上使用最廣的一種Unicode的實(shí)現(xiàn)方式，其他實(shí)現(xiàn)方式還包括UTF-16（字符用兩個(gè)字節(jié)或四個(gè)字節(jié)表示）和UTF-32（字符用四個(gè)字節(jié)表示）。UTF-8大的一個(gè)特點(diǎn)，就是它是一種變長的編碼方式。它可以使用1~6個(gè)字節(jié)表示一個(gè)符號(hào)，根據(jù)不同的符號(hào)而變化字節(jié)長度。對于某一個(gè)字符的UTF-8編碼，如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0；如果是多字節(jié)，其第一個(gè)字節(jié)從最高位開始，連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的位數(shù)，其余各字節(jié)均以10開頭。

字節(jié)數(shù)   |  UTF-8編碼（二進(jìn)制）

　1       |    0xxxxxxx 

　2       |    110xxxxx 10xxxxxx

   3       |    1110xxxx 10xxxxxx 10xxxxxx 

   4       |    11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 

   5       |    111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 

   6       |    1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

很明顯對于“中”字使用UTF-8編碼需要使用三個(gè)字節(jié)，因此從“中”字的最后一個(gè)二進(jìn)制位開始，依次從后向前填入格式中的x，多出的位補(bǔ)0。這樣就得到了“中”字的UTF-8編碼，結(jié)果為：11100100 10111000 10101101，即十六進(jìn)制的E4B8AD。

二、Python3編碼

Python中的編碼問題困擾了我挺久的，尤其是Python2和Python3中還有區(qū)別，不過這里我只討論P(yáng)ython3中的編碼問題。

Python3最重要的新特性大概要算是對文本和二進(jìn)制數(shù)據(jù)作了更為清晰的區(qū)分，文本總是Unicode，由str類型表示，二進(jìn)制數(shù)據(jù)則由bytes類型表示，而兩者之間的轉(zhuǎn)換由編碼（encode）和解碼（decode）實(shí)現(xiàn)。這里可以看一下Python的官方文檔：

str.encode(encoding="utf-8", errors="strict")
　　Return an encoded version of the string as a bytes object. Default encoding is 'utf-8'. errors may be given to 
　　set a different error handling scheme. The default for errors is 'strict', meaning that encoding errors raise 
　　a UnicodeError. Other possible values are 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' and any 
　　other name registered via  codecs.register_error(), see section Error Handlers. For a list of possible encodings, 
　　see section Stardard Encodings.
 
bytes.decode(encoding="utf-8", errors="strict")
　　Return a string decoded from the given bytes. Default encoding is 'utf-8'. errors may be given to set a different 
　　error handling scheme. The default for errors is 'strict', meaning that encoding errors raise a UnicodeError. 
　　Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error(), see 
　　section Error Handlers. For a list of possible encodings, see section Stardard Encodings.

可以看到str是沒有decode方法的，因?yàn)楸旧砭褪荱nicode編碼的，而bytes是沒有encode方法的，而且無論是encode還是decode默認(rèn)都是使用UTF-8編碼的，當(dāng)然我們還可以使用其他方式進(jìn)行編碼和解碼，比如：

s = "博客園"
print(s.encode())
print(s.encode("utf-16"))
print(s.encode("gbk"))
# b'\xe5\x8d\x9a\xe5\xae\xa2\xe5\x9b\xad'
# b'\xff\xfeZS\xa2[\xedV'
# b'\xb2\xa9\xbf\xcd\xd4\xb0'

那么對于某個(gè)數(shù)據(jù)來說，如果我們不知道它的編碼格式，要怎么辦呢？在Python3中可以使用chardet模塊里的detect方法查看：

import chardet
print(chardet.detect(b'\xe5\x8d\x9a\xe5\xae\xa2\xe5\x9b\xad'))
print(chardet.detect(b'\xff\xfeZS\xa2[\xedV'))
{'encoding': 'utf-8', 'confidence': 0.87625, 'language': ''}
{'encoding': 'UTF-16', 'confidence': 1.0, 'language': ''}

detect方法會(huì)返回一個(gè)字典，包含編碼方式、檢測得到的概率和語言信息。可見，用chardet檢測編碼，使用簡單，獲取到編碼后，再轉(zhuǎn)換為str，就可以方便后續(xù)處理。

三、文本編碼

首先新建一個(gè)文本文檔“test.txt”，內(nèi)容為：“博客園Blogs”，然后選擇“另存為”，可以看到默認(rèn)使用的是ANSI編碼：

那么這個(gè)ANSI編碼是什么呢？不同的國家和地區(qū)制定了不同的標(biāo)準(zhǔn)，由此產(chǎn)生了GB2312、GBK、Big5、Shift_JIS等各自的編碼標(biāo)準(zhǔn)。這些使用1至4個(gè)字節(jié)來代表一個(gè)字符的各種漢字延伸編碼方式，稱為ANSI編碼。而在簡體中文Windows操作系統(tǒng)中，ANSI編碼就代表GBK編碼。那么假如我們使用了默認(rèn)的ANSI編碼即GBK編碼，在讀取文本的時(shí)候會(huì)出現(xiàn)什么情況呢？

with open("test.txt", 'r') as f:
    print(f.read())
# 博客園Blogs
with open("test.txt", 'r', encoding="gbk") as f:
    print(f.read())
# 博客園Blogs
with open("test.txt", 'r', encoding="utf-8") as f:
    print(f.read())
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb2 in position 0: invalid start byte

可以看到使用UTF-8編碼打開的時(shí)候報(bào)錯(cuò)了，原因是有無法解碼的字符。那么如果我們保存的時(shí)候使用UTF-8編碼呢？

with open("test.txt", 'r') as f:
    print(f.read())
# 锘垮崥瀹㈠洯Blogs
with open("test.txt", 'r', encoding="gbk") as f:
    print(f.read())
# 锘垮崥瀹㈠洯Blogs
with open("test.txt", 'r', encoding="utf-8") as f:
    print(f.read())
# 博客園Blogs

很明顯看到在使用GBK編碼時(shí)出現(xiàn)亂碼了，原因就是編碼和解碼的方式不一致，導(dǎo)致最終出現(xiàn)了亂碼的情況。

四、URL編碼

URL即全球統(tǒng)一資源定位符（Uniform Resource Locator），一般來說，URL只能使用英文字母、阿拉伯?dāng)?shù)字和某些標(biāo)點(diǎn)符號(hào)，不能使用其他文字和符號(hào)，這是因?yàn)榫W(wǎng)絡(luò)標(biāo)準(zhǔn)RFC1738做出了規(guī)定。這意味著，如果URL中有漢字，就必須編碼后使用。但是麻煩的是，RFC1738沒有規(guī)定具體的編碼方法，而是交給應(yīng)用程序（瀏覽器）自己決定。

這里我們可以任意打開一個(gè)網(wǎng)頁，比如關(guān)于編碼的百度百科，可以看到瀏覽器顯示的鏈接沒有什么問題：

復(fù)制一下，然后粘貼出來看一下：https://baike.baidu.com/item/%E7%BC%96%E7%A0%81/80092，可以看到“編碼”兩個(gè)字被瀏覽器自動(dòng)編碼成了“%E7%BC%96%E7%A0%81”。這里我們需要知道的是“編”的UTF-8編碼為：E7BC96，“碼”的UTF-8編碼為：E7A081，因此“%E7%BC%96%E7%A0%81”就是在每個(gè)字節(jié)前面加上一個(gè)“%”得到的，也就是說URL路徑使用的是UTF-8編碼。

關(guān)于Python的字符編碼匯總就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

當(dāng)前題目：Python的字符編碼匯總-創(chuàng)新互聯(lián)
鏈接地址：http://www.muchs.cn/article26/dpggcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、響應(yīng)式網(wǎng)站、網(wǎng)站內(nèi)鏈、用戶體驗(yàn)、App設(shè)計(jì)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)