編輯“Robots”（章節(jié)）

==robots.txt使用技巧==
1. 每當用戶試圖訪問某個不存在的URL時，服務器都會在日志中記錄404錯誤（無法找到文件）。每當搜索[[蜘蛛]]來尋找并不存在的robots.txt文件時，服務器也將在日志中記錄一條[[404]]錯誤，所以你應該在網(wǎng)站中添加一個robots.txt。

2. 網(wǎng)站管理員必須使蜘蛛程序遠離某些[[服務器]]上的目錄——保證服務器性能。比如：大多數(shù)網(wǎng)站服務器都有程序儲存在“cgi-bin”目錄下，因此在 robots.txt文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節(jié)省服務器資源。一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。

下面是VeryCMS里的robots.txt文件：
<nowiki>
　　User-agent: *
　　Disallow: /admin/ 后臺管理文件
　　Disallow: /require/ 程序文件
　　Disallow: /attachment/ 附件
　　Disallow: /images/ 圖片
　　Disallow: /data/ 數(shù)據(jù)庫文件
　　Disallow: /template/ 模板文件
　　Disallow: /css/ 樣式表文件
　　Disallow: /lang/ 編碼文件
　　Disallow: /script/ 腳本文件
</nowiki>
3. 如果你的網(wǎng)站是動 態(tài)網(wǎng)頁，并且你為這些動 態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設置避免動 態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會被視為含重復內(nèi)容。

4. robots.txt文件里還可以直接包括在[[sitemap]]文件的鏈接。就像這樣：

Sitemap: http://www.***.com/sitemap.xml
(此處請?zhí)顚懲暾鸘RL，如果按習慣填寫Sitemap: /sitemap.xml，提交后會提示：檢測到無效的 Sitemap 網(wǎng)址；語法錯誤)

目前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文[[搜索引擎]]公司，顯然不在這個圈子內(nèi)。這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap 文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。

5. 合理使用robots.txt文件還能避免訪問時出錯。比如，不能讓搜索者直接進入購物車頁面。因為沒有理由使購物車被收錄，所以你可以在robots.txt文件里設置來阻止搜索者直接進入購物車頁面。