前幾天有朋友問到網站Robot是什麽?Robot幹什麽用的?今天快美網絡來與大(dà)家分(fēn)享一(yī)下(xià)關于如何創建合适的robots.txt? 希望對廣大(dà)的朋友們有所幫助。
當搜索引擎訪問一(yī)個網站的時候，第一(yī)步就是檢查網站的robots.txt文件，顯然這是我(wǒ)(wǒ)們seo必做的内容。在了解robots.txt文件寫法之前，我(wǒ)(wǒ)們就先要知(zhī)道robot是什麽?
robot英文翻譯過來：機器人。
robots.txt文件也很好理解：搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。robots.txt這個文件用于指定spider(蜘蛛)在您網站上的抓取範圍。
關于robots.txt需要注意以下(xià)幾點：
1、robots.txt文件應該放(fàng)置在網站根目錄下(xià)。比如，當spider訪問http://www.kuaimei88.com時，首先會檢查該網站中(zhōng)是否存在http://www.kuaimei88.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據這個文件的内容，來确定它訪問權限的範圍。
2、(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時，服務器也将在日志(zhì)中(zhōng)記錄一(yī)條404錯誤文件，所以不管你是否需要屏蔽蜘蛛抓取，都應該在網站中(zhōng)添加一(yī)個robots.txt。
3、一(yī)般網站中(zhōng)不需要蜘蛛抓取的文件有：後台管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模闆文件、導航圖片和背景圖片等等。這些内容目錄可以通過robots.txt屏蔽。
4、robots.txt裏主要有兩個函數：User-agent和 Disallow。
5、robots.txt文件裏還可以直接包括在sitemap文件的鏈接。就像這樣：
Sitemap: http://www.kuaimei88.com/sitemap.xml
6、舉例說明robots.txt,不懂的朋友可以根據自己的網站情況，作爲參考。
User-agent: *
Disallow: /admin/ 後台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 圖片
Disallow: /data/ 數據庫文件
Disallow: /template/ 模闆文件
Disallow: /css/ 樣式表文件
Disallow: /lang/ 編碼文件
Disallow: /script/ 腳本文件
7、文件裏面至少要有一(yī)個Disallow函數，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: / (注：隻是差一(yī)個斜杆)。
8、常見Robots名字
名稱 搜索引擎
google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛： lycos_spider_(t-rex)
alltheweb蜘蛛： fast-webcrawler/
inktomi蜘蛛： slurp
以上就是快美網絡分(fēn)享關于建立Robots.txt 的基本知(zhī)識，希望廣大(dà)的朋友們學以緻用。