成都網(wǎng)站建設之搜索引擎的工作原理簡析

搜索引擎的工作原理那是相當?shù)膹碗s的，我們不能全面的詳細的闡述，但是我們可以大概的了解一下搜索引擎的工作原理，這樣有助于我們更好地做網(wǎng)站優(yōu)化。那么今天成都網(wǎng)站建設的小編就簡單的給大家針對搜索引擎的工作原理做一個簡單的闡述 ：

搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛(spider)，也稱為機器人(bot)。

搜索引擎蜘蛛訪問網(wǎng)站頁面時類似于普通用戶使用的瀏覽器。蜘蛛程序發(fā)出頁面訪問請求后，服務器返回HTML代碼，蜘蛛程序把收到的代碼存入原始頁面數(shù)據(jù)庫。搜索引擎為了提高爬行和抓取速度，都使用多個蜘蛛并發(fā)分布爬行。

蜘蛛訪問任何一個網(wǎng)站時，都會先訪問網(wǎng)站根目錄下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目錄，蜘蛛將遵守協(xié)議，不抓取被禁止的網(wǎng)址。

2.跟蹤鏈接

為了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。

整個互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說，蜘蛛從任何一個頁面出發(fā)，順著鏈接都可以爬行到網(wǎng)上的所有頁面。當然，由于網(wǎng)站及頁面鏈接結構異常復雜，蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上所有頁面。

最簡單的爬行遍歷策略分為兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。

所謂深度優(yōu)先，指的是蜘蛛沿著發(fā)現(xiàn)的鏈接一直向前爬行，直到前面再也沒有其他鏈接，然后返回到一個頁面，沿著另一個鏈接再一直往前爬行。

3.吸引蜘蛛

由此可見，雖然理論上蜘蛛能爬行和抓取所有頁面，但實際上不能、也不會這么做。SEO人員要想讓自己的更多頁面被收錄，就要想方設法吸引蜘蛛來抓取。既然不能抓取所有頁面，蜘蛛所要做的就是盡量抓取重要頁面。哪些頁面被認為比較重要呢?有幾方面影響因素。

1、網(wǎng)站和頁面權重。質量高、資格老的網(wǎng)站被認為權重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會有更多內頁被收錄。

2、頁面更新度。蜘蛛每次爬行都會把頁面數(shù)據(jù)存儲起來。如果第二次爬行發(fā)現(xiàn)頁面與一次收錄的完全一樣，說明頁面沒有更新，蜘蛛也就沒有必要經(jīng)常抓取。如果頁面內容經(jīng)常更新，蜘蛛就會更加頻繁地訪問這種頁面，頁面上出現(xiàn)的新鏈接，也自然會被蜘蛛更快地跟蹤，抓取新頁面。

3、導入鏈接。無論是外部鏈接還是同一個網(wǎng)站的內部鏈接，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。高質量的導入鏈接也經(jīng)常使頁面上的導出鏈接被爬行深度增加。

4、與首頁點擊距離。一般來說網(wǎng)站上權重高的是首頁，大部分外部鏈接是指向首頁的，蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離越近，頁面權重越高，被蜘蛛爬行的機會也越大。

新聞標題：成都網(wǎng)站建設之搜索引擎的工作原理簡析
轉載來于：http://www.muchs.cn/news41/189341.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、品牌網(wǎng)站建設、外貿網(wǎng)站建設、移動網(wǎng)站建設、網(wǎng)站內鏈、云服務器

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)