Python3爬蟲中Ajax是如何分析方法的

這篇文章給大家分享的是有關(guān)Python3爬蟲中Ajax是如何分析方法的的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)，專注為中小企業(yè)提供官網(wǎng)建設(shè)、營銷型網(wǎng)站制作、響應(yīng)式網(wǎng)站建設(shè)、展示型成都做網(wǎng)站、成都網(wǎng)站制作等服務(wù)，幫助中小企業(yè)通過網(wǎng)站體現(xiàn)價值、有效益。幫助企業(yè)快速建站、解決網(wǎng)站建設(shè)與網(wǎng)站營銷推廣問題。

這里還以前面的微博為例，我們知道拖動刷新的內(nèi)容由Ajax加載，而且頁面的URL沒有變化，那么應(yīng)該到哪里去查看這些Ajax請求呢？

1. 查看請求

這里還需要借助瀏覽器的開發(fā)者工具，下面以Chrome瀏覽器為例來介紹。

首先，用Chrome瀏覽器打開微博的鏈接https://m.weibo.cn/u/2830678474，隨后在頁面中點擊鼠標(biāo)右鍵，從彈出的快捷菜單中選擇“檢查”選項，此時便會彈出開發(fā)者工具，如圖6-2所示：

                                                                           圖6-2 開發(fā)者工具

此時在Elements選項卡中便會觀察到網(wǎng)頁的源代碼，右側(cè)便是節(jié)點的樣式。

不過這不是我們想要尋找的內(nèi)容。切換到Network選項卡，隨后重新刷新頁面，可以發(fā)現(xiàn)這里出現(xiàn)了非常多的條目，如圖6-3所示。

                                                                    圖6-3 Network面板結(jié)果

前面也提到過，這里其實就是在頁面加載過程中瀏覽器與服務(wù)器之間發(fā)送請求和接收響應(yīng)的所有記錄。

Ajax其實有其特殊的請求類型，它叫作xhr。在圖6-3中，我們可以發(fā)現(xiàn)一個名稱以getIndex開頭的請求，其Type為xhr，這就是一個Ajax請求。用鼠標(biāo)點擊這個請求，可以查看這個請求的詳細信息，如圖6-4所示。

                                                                                 圖6-4 詳細信息

在右側(cè)可以觀察到其Request Headers、URL和Response Headers等信息。其中Request Headers中有一個信息為X-Requested-With:XMLHttpRequest，這就標(biāo)記了此請求是Ajax請求，如圖6-5所示。

                                                                                  圖6-5 詳細信息

隨后點擊一下Preview，即可看到響應(yīng)的內(nèi)容，它是JSON格式的。這里Chrome為我們自動做了解析，點擊箭頭即可展開和收起相應(yīng)內(nèi)容，如圖6-6所示。

                                                                               圖6-6 JSON結(jié)果

觀察可以發(fā)現(xiàn)，這里的返回結(jié)果是我的個人信息，如昵稱、簡介、頭像等，這也是用來渲染個人主頁所使用的數(shù)據(jù)。JavaScript接收到這些數(shù)據(jù)之后，再執(zhí)行相應(yīng)的渲染方法，整個頁面就渲染出來了。

另外，也可以切換到Response選項卡，從中觀察到真實的返回數(shù)據(jù)，如圖6-7所示。

                                                                            圖6-7 Response內(nèi)容

接下來，切回到第一個請求，觀察一下它的Response是什么，如圖6-8所示。

                                                                             圖6-8 Response內(nèi)容

這是最原始的鏈接https://m.weibo.cn/u/2830678474返回的結(jié)果，其代碼只有不到50行，結(jié)構(gòu)也非常簡單，只是執(zhí)行了一些JavaScript。

所以說，我們看到的微博頁面的真實數(shù)據(jù)并不是最原始的頁面返回的，而是后來執(zhí)行JavaScript后再次向后臺發(fā)送了Ajax請求，瀏覽器拿到數(shù)據(jù)后再進一步渲染出來的。

2. 過濾請求

接下來，再利用Chrome開發(fā)者工具的篩選功能篩選出所有的Ajax請求。在請求的上方有一層篩選欄，直接點擊XHR，此時在下方顯示的所有請求便都是Ajax請求了，如圖6-9所示。

                                                                                圖6-9 Ajax請求

接下來，不斷滑動頁面，可以看到頁面底部有一條條新的微博被刷出，而開發(fā)者工具下方也一個個地出現(xiàn)Ajax請求，這樣我們就可以捕獲到所有的Ajax請求了。

隨意點開一個條目，都可以清楚地看到其Request URL、Request Headers、Response Headers、Response Body等內(nèi)容，此時想要模擬請求和提取就非常簡單了。

圖6-10所示的內(nèi)容便是我的某一頁微博的列表信息。

                                                                                  圖6-10 微博列表信息

感謝各位的閱讀！關(guān)于Python3爬蟲中Ajax是如何分析方法的就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

當(dāng)前題目：Python3爬蟲中Ajax是如何分析方法的
網(wǎng)站鏈接：http://muchs.cn/article2/ihgcoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站設(shè)計、企業(yè)網(wǎng)站制作、小程序開發(fā)、關(guān)鍵詞優(yōu)化、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)