網(wǎng)站的收錄比例往往是很多優(yōu)化人員極其重視的一個(gè)指標(biāo)之一，網(wǎng)站的收錄好壞，從根本上能夠決定網(wǎng)站的流量多少，畢竟有收錄才會(huì)有排名，有排名才可能會(huì)有流量。但是網(wǎng)站收錄是一個(gè)困擾許多站長的難題，很多站長拼命努力做站，卻發(fā)現(xiàn)蜘蛛并不青睞自己的網(wǎng)站，收錄數(shù)量也寥寥無幾。

當(dāng)站長們苦惱網(wǎng)站為何不被收錄時(shí)，應(yīng)該去想想，究竟是誰在決定網(wǎng)站的收錄?答案很明顯，就是搜索引擎蜘蛛。既然搜索引擎蜘蛛是收錄的決定者，我們就應(yīng)該從蜘蛛的工作原理入手，深入去研究一下，然后抓住蜘蛛工作原理規(guī)律去制定方案對(duì)策，來實(shí)現(xiàn)網(wǎng)站的收錄最大化。好了，廢話不多說，下面筆者就來簡單和大家討論一下吧。

原理一：通過網(wǎng)站鏈接爬行網(wǎng)站內(nèi)頁

搜索引擎機(jī)器人之所以被稱之為蜘蛛，原因就是其行為極其類似蜘蛛。蜘蛛會(huì)通過網(wǎng)站上的網(wǎng)狀鏈接來爬行一個(gè)網(wǎng)站的頁面，如果一個(gè)網(wǎng)站沒有任何鏈接入口，那么蜘蛛將會(huì)無從下手。因此，要實(shí)現(xiàn)網(wǎng)站收錄最大化，第一步工作就是要為蜘蛛提供更多的、更加緊密鏈接入口。最簡單的方法就是為蜘蛛制造更多內(nèi)部鏈接，比如筆者的一個(gè)網(wǎng)站就是如此，筆者在每次編輯完文章后都會(huì)添加一到兩條“閱讀推薦”的鏈接，為蜘蛛提供一個(gè)爬行入口，如下圖：

當(dāng)蜘蛛尋找到一個(gè)爬行入口后，它就會(huì)開始進(jìn)行下一步工作——抓取頁面內(nèi)容。但是要注意的是，蜘蛛是不可能一次性把網(wǎng)站上的內(nèi)容都抓取的，它是會(huì)根據(jù)網(wǎng)站結(jié)構(gòu)情況去抓取，也就是說，如果網(wǎng)站的結(jié)構(gòu)不合理，將會(huì)成為蜘蛛抓取頁面的一個(gè)絆腳石。因此，站長們應(yīng)該從兩個(gè)方面去解決網(wǎng)站內(nèi)部結(jié)構(gòu)問題：

(1)精簡flash以及js代碼。百度也曾經(jīng)聲明過，蜘蛛對(duì)于含有過量flash元素的網(wǎng)站是比較難以抓取的，因此站長們應(yīng)該盡量不在網(wǎng)站上使用flash，即使要用也要選取容量較小的flash;對(duì)于js代碼也是如此，過于華麗的js功能其實(shí)是不必要的，這只會(huì)加重蜘蛛的抓取壓力，因此，把冗余的js去掉或者合并是一個(gè)明智的選擇。

(2)徹底清除網(wǎng)站死鏈接。網(wǎng)站死鏈接的產(chǎn)生有時(shí)是不可避免的，但是如果不及時(shí)注意清理，也會(huì)成為蜘蛛抓取頁面的一個(gè)絆腳石。站長們千萬不要嫌麻煩，最好養(yǎng)成每天一查的好習(xí)慣，只要一發(fā)現(xiàn)死鏈接，就應(yīng)該到ftp刪除之，又或者到百度站長平臺(tái)上提交死鏈接，告訴蜘蛛這是一個(gè)死鏈接，不要再去爬行，這樣才能讓蜘蛛增加對(duì)你的網(wǎng)站好感度。

原理三：根據(jù)內(nèi)容質(zhì)量來嘗試索引頁面

網(wǎng)站的結(jié)構(gòu)如果沒有什么大問題的話，蜘蛛一般都能夠順利抓取頁面，然后進(jìn)行下一步的工作——索引頁面內(nèi)容。這一步工作是重中之重，如果成功索引，那么你的網(wǎng)站頁面內(nèi)容也就算成功被收錄了，而蜘蛛索引頁面的決定性因素就是頁面的內(nèi)容質(zhì)量。如果一個(gè)網(wǎng)站的頁面內(nèi)容過關(guān)，或者內(nèi)容重復(fù)度過高都會(huì)被蜘蛛輕易否決。所以，為了讓蜘蛛成功索引我們的頁面，站長們應(yīng)該要著重網(wǎng)站的內(nèi)容建設(shè)，做到規(guī)律更新，即使無法原創(chuàng)也要做到深度偽原創(chuàng)，盡量為蜘蛛提供新鮮的內(nèi)容。當(dāng)然我們也可以通過站長工具或者蜘蛛日志來觀察蜘蛛對(duì)我們的網(wǎng)站索引情況：

當(dāng)蜘蛛完成上面三步工作，并成功索引頁面后，那么就可以說我們的頁面內(nèi)容被真正收錄了，但是你也不要興奮過早，因?yàn)槭珍洸⒉坏扔陧撁姹环懦隽?。蜘蛛有一個(gè)工作原理，就是索引后不會(huì)立刻放出頁面內(nèi)容，而是會(huì)選擇性地考察一下才會(huì)放出，這段時(shí)期我們不必過分緊張，只要繼續(xù)做好內(nèi)容更新，耐心等待，不要犯什么大錯(cuò)誤，我們的頁面內(nèi)容很快就可以放出了!

蜘蛛只是一個(gè)用代碼編寫的程序機(jī)器人，它的規(guī)律始終是被人掌握在手上的，因此我們網(wǎng)站收錄不理想的時(shí)候應(yīng)該多去研究一下蜘蛛的工作原理，并自己總結(jié)出一些規(guī)律來制定方案來解決收錄問題，這樣我們的網(wǎng)站才能實(shí)現(xiàn)收錄最大化。

來源：http://www.bjrmyyghw.com

• 

  廣告合作

• 

  QQ群號(hào)：4114653