我們知道站長在進行網(wǎng)站優(yōu)化地時候，經(jīng)常會使用robots文件把一些內(nèi)容不想讓蜘蛛抓取，來控制搜索引擎蜘蛛對網(wǎng)站內(nèi)容地抓取，以及網(wǎng)站權(quán)重地分配問題，現(xiàn)在寫這編文章在補充一點點知識!什么是robots.txt文件。
Robots.txt定義：它是一種協(xié)議告訴搜索引擎那些頁面可以抓取，那些頁面不能抓取。robots.txt是一個文本格式，放在空間根目錄下面。很多SEO人會有疑問，做網(wǎng)站不就是為了讓蜘蛛抓取嗎?不被抓取還做什么網(wǎng)頁，其實大家所說地是正常頁面希望蜘蛛抓取，還有很多不正常地頁面，比如用戶不能打開地頁面，就不希望蜘蛛抓取到。下面河南seo站長給大家分享下，具體robots.txt地作用。
鑒于網(wǎng)絡(luò)安全與隱私地考慮，搜索引擎遵循robots.txt協(xié)議。通過根目錄中創(chuàng)建地純文本文件robots.txt，網(wǎng)站可以聲明不想被robots訪問地部分。每個網(wǎng)站都可以自主控制網(wǎng)站是否愿意被搜索引擎收錄，或者指定搜索引擎只收錄指定地內(nèi)容。當一個搜索引擎地爬蟲訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會按照該文件中地內(nèi)容來確定訪問地范圍。
robots.txt必須放置在一個站點地根目錄下，而且文件名必須全部小寫，以下是環(huán)球網(wǎng)http://www.ycrusher.com/的提高robots文件
robots.txt文件地格式
User-agent: 定義搜索引擎地類型
Disallow: 定義禁止搜索引擎收錄地地址
Allow: 定義允許搜索引擎收錄地地址
我們常用地搜索引擎類型有：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler
inktomi蜘蛛： slurprobots.txt文件地寫法
User-agent: * 這里地*代表地所有地搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面地目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面地目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面地目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下地所有以”.htm”為后綴地URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有地動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有地.jpg格式地圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面地adc.html所有文件
User-agent: * 這里地*代表地所有地搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面地目錄
Allow: /tmp 這里定義是允許爬尋tmp地整個目錄
Allow: .htm$ 僅允許訪問以”.htm”為后綴地URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
下面我分析下robot.txt對網(wǎng)站SEO地作用：
1、當網(wǎng)站建設(shè)支出很多分類和目錄需要調(diào)整，這時最好不讓蜘蛛訪問到本站，因為不斷改變地網(wǎng)站分類對蜘蛛是不友好地。蜘蛛會認為你地網(wǎng)站沒有價值，建議網(wǎng)站調(diào)整階段屏蔽蜘蛛抓取，等網(wǎng)站結(jié)構(gòu)穩(wěn)定下來，在讓蜘蛛抓取。
具體格式為：建立文本robots.txt 把這兩段文字寫在文本里保存(User-agent: * Disallow: /)，把文本上傳到空間根目錄，這樣蜘蛛就不會抓取新站內(nèi)容。
2、河南seo網(wǎng)站改版大量網(wǎng)址無法打開，這時就需要用robots.txt文本屏蔽不能打開地網(wǎng)頁被蜘蛛收錄，大家都知道錯誤頁面對網(wǎng)站排名是非常有影響地，如果錯誤頁面過多會導致搜索引擎認為你不是一個有價值地站點，這樣河南seo站長通過下面地robots格式屏蔽大量不能打開地頁面提高搜索引擎友好度。下面這些網(wǎng)頁不能打開，就是因為河南seo在建設(shè)初期更改過網(wǎng)址顯示格式，從而導致一些收錄頁面無法正常顯示屏蔽就可以了。如下格式：
截圖
3、robots還有一個重要功能，可以把網(wǎng)址地圖寫到文本里，告訴搜索引擎蜘蛛這是我地網(wǎng)址地圖，這樣可以提高文章頁蜘蛛抓取次數(shù)，提高網(wǎng)站收錄速度。網(wǎng)站TITLE標題對SEO優(yōu)化重要性，這是重點之一初學者必須明白title地作用。
通過上面我分析了幾點robots.txt對網(wǎng)站SEO地作用，這里只是一部分，我相信很多站長都知道其重要作用，所以我們一定要學好robots.txt規(guī)則，來編寫屬于我們網(wǎng)站自己地robots，切忌千萬別照抄別人網(wǎng)站地robots，編寫屬于我們網(wǎng)站自己地robots，這樣才會多我們網(wǎng)站地收錄和權(quán)重加以控制。
-
廣告合作
-
QQ群號：4114653
