本篇文章為大家展示了Python如何爬取某東羽絨服數(shù)據(jù)并繪制可視化圖,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
企業(yè)建站必須是能夠以充分展現(xiàn)企業(yè)形象為主要目的,是企業(yè)文化與產(chǎn)品對(duì)外擴(kuò)展宣傳的重要窗口,一個(gè)合格的網(wǎng)站不僅僅能為公司帶來(lái)巨大的互聯(lián)網(wǎng)上的收集和信息發(fā)布平臺(tái),創(chuàng)新互聯(lián)面向各種領(lǐng)域:成都VR全景等成都網(wǎng)站設(shè)計(jì)、成都全網(wǎng)營(yíng)銷(xiāo)解決方案、網(wǎng)站設(shè)計(jì)等建站排名服務(wù)。
前就在上,廣深的朋友估計(jì)還穿著短袖羨慕著北方的下雪氣氛。結(jié)果就在上周,廣深也迎來(lái)了降溫,大家紛紛加入“降溫群聊”。
為了幫助大家抵抗御嚴(yán)寒,我特地爬了下京東的羽絨服數(shù)據(jù)。為啥不是天貓呢,理由很簡(jiǎn)單,滑塊驗(yàn)證有點(diǎn)麻煩。
京東網(wǎng)站是一個(gè)ajax動(dòng)態(tài)加載的網(wǎng)站,只能通過(guò)解析接口或使用硒自動(dòng)化測(cè)試工具去爬取。關(guān)于動(dòng)態(tài)網(wǎng)頁(yè)爬蟲(chóng),本公眾號(hào)歷史原創(chuàng)文章介紹過(guò),感興趣的朋友可以去了解一下。
本次數(shù)據(jù)獲取采用硒,由于我的谷歌瀏覽器版本更新較快,導(dǎo)致原來(lái)的谷歌驅(qū)動(dòng)程序中斷。于是,我替換了瀏覽器自動(dòng)更新,并下載了對(duì)應(yīng)版本的驅(qū)動(dòng)。
接著,利用硒在京東網(wǎng)搜索羽絨服,手機(jī)掃碼登錄,獲得了羽絨服的商品名稱(chēng),商品價(jià)格,店鋪名稱(chēng),評(píng)論人數(shù)等信息。
from selenium import webdriver from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from lxml import etree import random import json import csv import time browser = webdriver.Chrome('/菜J學(xué)Python/京東/chromedriver') wait =WebDriverWait(browser,50) #設(shè)置等待時(shí)間 url = 'https://www.jd.com/' data_list= [] #設(shè)置全局變量用來(lái)存儲(chǔ)數(shù)據(jù) keyword ="羽絨服"#關(guān)鍵詞 def page_click(page_number): try: # 滑動(dòng)到底部 browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(random.randint(1, 3)) #隨機(jī)延遲 button = wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.pn-next > em')) )#翻頁(yè)按鈕 button.click()#點(diǎn)擊按鈕 wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(30)")) )#等到30個(gè)商品都加載出來(lái) # 滑到底部,加載出后30個(gè)商品 browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(60)")) )#等到60個(gè)商品都加載出來(lái) wait.until( EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#J_bottomPage > span.p-num > a.curr"), str(page_number)) )# 判斷翻頁(yè)成功,高亮的按鈕數(shù)字與設(shè)置的頁(yè)碼一樣 html = browser.page_source#獲取網(wǎng)頁(yè)信息 prase_html(html)#調(diào)用提取數(shù)據(jù)的函數(shù) except TimeoutError: return page_click(page_number)
import pandas as pd import numpy as np df = pd.read_csv("/菜J學(xué)Python/京東/羽絨服.csv") df.sample(10)
df = df.rename(columns={'title':'商品名稱(chēng)','price':'商品價(jià)格','shop_name':'店鋪名稱(chēng)','comment':'評(píng)論人數(shù)'})
df.info() ''' 1.可能存在重復(fù)值 2.商店名稱(chēng)存在缺失值 3.評(píng)價(jià)人數(shù)需要清洗 '''
<class 'pandas.core.frame.DataFrame'> RangeIndex: 4950 entries, 0 to 4949 Data columns (total 4 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 商品名稱(chēng) 4950 non-null object 1 商品價(jià)格 4950 non-null float64 2 店鋪名稱(chēng) 4949 non-null object 3 評(píng)論人數(shù) 4950 non-null object dtypes: float64(1), object(3) memory usage: 154.8+ KB
df = df.drop_duplicates()
df["店鋪名稱(chēng)"] = df["店鋪名稱(chēng)"].fillna("無(wú)名氏")
厚度
tmp=[] for i in df["商品名稱(chēng)"]: if"厚"in i: tmp.append("厚款") elif"薄"in i: tmp.append("薄款") else: tmp.append("其他") df['厚度'] = tmp
版型
for i in df["商品名稱(chēng)"]: if"修身"in i: tmp.append("修身型") elif"寬松"in i: tmp.append("寬松型") else: tmp.append("其他") df['版型'] = tmp
風(fēng)格
tmp=[] for i in df["商品名稱(chēng)"]: if"韓"in i: tmp.append("韓版") elif"商務(wù)"in i: tmp.append("商務(wù)風(fēng)") elif"休閑"in i: tmp.append("休閑風(fēng)") elif"簡(jiǎn)約"in i: tmp.append("簡(jiǎn)約風(fēng)") else: tmp.append("其他") df['風(fēng)格'] = tmp
df["價(jià)格區(qū)間"] = pd.cut(df["商品價(jià)格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)
import re df['數(shù)字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['評(píng)論人數(shù)']] #提取數(shù)字 df['數(shù)字'] = df['數(shù)字'].astype('float') #轉(zhuǎn)化數(shù)值型 df['單位'] = [''.join(re.findall(r'(萬(wàn))', i)) for i in df['評(píng)論人數(shù)']] #提取單位(萬(wàn)) df['單位'] = df['單位'].apply(lambda x:10000if x=='萬(wàn)'else1) df['評(píng)論人數(shù)'] = df['數(shù)字'] * df['單位'] # 計(jì)算評(píng)論人數(shù) df['評(píng)論人數(shù)'] = df['評(píng)論人數(shù)'].astype("int") df.drop(['數(shù)字', '單位'], axis=1, inplace=True)
df["店鋪類(lèi)型"] = df["店鋪名稱(chēng)"].str[-3:]
import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline plt.rcParams['font.sans-serif'] = ['SimHei'] # 設(shè)置加載的字體名 plt.rcParams['axes.unicode_minus'] = False# 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問(wèn)題 import jieba import re from pyecharts.charts import * from pyecharts import options as opts from pyecharts.globals import ThemeType import stylecloud from IPython.display import Image
商品價(jià)格分布直方圖
sns.set_style('white') fig,axes=plt.subplots(figsize=(15,8)) sns.distplot(df["商品價(jià)格"],color="salmon",bins=10) plt.xticks(fontsize=16) plt.yticks(fontsize=16) axes.set_title("商品價(jià)格分布直方圖")
評(píng)論人數(shù)分布直方圖
sns.set_style('white') fig,axes=plt.subplots(figsize=(15,8)) sns.distplot(df["評(píng)論人數(shù)"],color="green",bins=10,rug=True) plt.xticks(fontsize=16) plt.yticks(fontsize=16) axes.set_title("評(píng)論人數(shù)分布直方圖")
評(píng)論人數(shù)與商品價(jià)格的關(guān)系
fig,axes=plt.subplots(figsize=(15,8)) sns.regplot(x='評(píng)論人數(shù)',y='商品價(jià)格',data=df,color='orange',marker='*') plt.xticks(fontsize=16) plt.yticks(fontsize=16)
df2 = df["價(jià)格區(qū)間"].astype("str").value_counts() print(df2) df2 = df2.sort_values(ascending=False) regions = df2.index.to_list() values = df2.to_list() c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK)) .add("", list(zip(regions,values))) .set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽絨服價(jià)格區(qū)間分布",subtitle="數(shù)據(jù)來(lái)源:騰訊視頻\n制圖:菜J學(xué)Python",pos_top="0.5%",pos_left = 'left')) .set_series_opts(label_opts=opts.LabelOpts(formatter=":wwewcgc%",font_size=14)) ) c.render_notebook()
df5 = df.groupby('店鋪名稱(chēng)')['評(píng)論人數(shù)'].mean() df5 = df5.sort_values(ascending=True) df5 = df5.tail(10) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序 .set_global_opts(title_opts=opts.TitleOpts(title="評(píng)論人數(shù)TOP10",subtitle="數(shù)據(jù)來(lái)源:京東 \t制圖:J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
df5 = df.groupby('版型')['商品價(jià)格'].mean() df5 = df5.sort_values(ascending=True)[:2] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各版型羽絨服均價(jià)",subtitle="數(shù)據(jù)來(lái)源:中原地產(chǎn) \t制圖:J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
df5 = df.groupby('厚度')['商品價(jià)格'].mean() df5 = df5.sort_values(ascending=True)[:2] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽絨服均價(jià)",subtitle="數(shù)據(jù)來(lái)源:京東 \t制圖:J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
df5 = df.groupby('風(fēng)格')['商品價(jià)格'].mean() df5 = df5.sort_values(ascending=True)[:4] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各風(fēng)格羽絨服均價(jià)",subtitle="數(shù)據(jù)來(lái)源:京東 \t制圖:J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
上述內(nèi)容就是Python如何爬取某東羽絨服數(shù)據(jù)并繪制可視化圖,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
文章名稱(chēng):Python如何爬取某東羽絨服數(shù)據(jù)并繪制可視化圖
文章網(wǎng)址:http://www.muchs.cn/article8/pgdjip.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供虛擬主機(jī)、App設(shè)計(jì)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、企業(yè)網(wǎng)站制作、企業(yè)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)