robots爬蟲(chóng)協(xié)議，相信很多SEOer或個(gè)人站長(zhǎng)都不會(huì)感到陌生，即使剛?cè)胄械腟EO小白也略有耳聞。對(duì)于SEO小白來(lái)說(shuō)，只是聽(tīng)過(guò)robots爬蟲(chóng)協(xié)議并不了解robots協(xié)議真正意義和用法。今天北京seo就來(lái)帶大家一探究竟，并教你玩轉(zhuǎn)robots協(xié)議。

什么是robots協(xié)議
robots(中文翻譯為機(jī)器人)，robots協(xié)議即搜索引擎爬蟲(chóng)協(xié)議，它是搜索引擎爬蟲(chóng)與網(wǎng)站站點(diǎn)溝通的“橋梁”。網(wǎng)站站點(diǎn)通過(guò)robots文件中的聲明規(guī)則明確告知搜索引擎爬蟲(chóng)哪些文件/目錄可以抓取，哪些文件/目錄不可以抓取。
注意：如果網(wǎng)站站點(diǎn)存在不希望搜索引擎爬蟲(chóng)抓取收錄的內(nèi)容是，才有必要?jiǎng)?chuàng)建robots.txt文件;如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，則無(wú)需建立robots.txt文件。
robots.txt文件的存放位置
　　通常，網(wǎng)站的robots.txt文件放置在網(wǎng)站根目錄下，便于搜索引擎爬蟲(chóng)第一時(shí)間抓取該文件。
robots.txt文件格式
1、robots文件通常包含以一條或多條User-agent開(kāi)始，后面加上若干條Disallow或Allow。
2、User-agent:用來(lái)描述搜索引擎robot的名字。
3、如果存在多條User-agent記錄說(shuō)明有多個(gè)robot會(huì)受到"robots.txt"的限制，至少要有一條User-agent記錄。
4、如果User-agent的值設(shè)為*，則對(duì)任何robot均有效，且"User-agent:*"這樣的記錄只能有一條。
5、如果有"User-agent:SomeBot"和若干Disallow、Allow行，那么搜索引擎爬蟲(chóng)名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
6、Disallow:用來(lái)描述不希望被訪(fǎng)問(wèn)的一組URL。
7、這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被 robot訪(fǎng)問(wèn)。
8、比如："Disallow:/help"這條規(guī)則表示的是禁止robot訪(fǎng)問(wèn)/help.html、/helpabc.html、/help/index.html等。
9、比如："Disallow:/help/"這條規(guī)則表示的是允許robot訪(fǎng)問(wèn)/help.html、/helpabc.html，不能訪(fǎng)問(wèn)/help/index.html。
10、"Disallow:"說(shuō)明允許robot訪(fǎng)問(wèn)該網(wǎng)站的所有url，robots.txt文件中，至少要有一條Disallow記錄。
11、如果網(wǎng)站根目錄下robots.txt不存在或者為空文件，則對(duì)于所有的搜索引擎爬蟲(chóng)來(lái)說(shuō)，該網(wǎng)站都是開(kāi)放的。
12、Allow:用來(lái)描述希望被訪(fǎng)問(wèn)的一組URL。
13、與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開(kāi)頭的URL 是允許robot訪(fǎng)問(wèn)的。
14、比如："Allow:/hibaidu"這條規(guī)則表示的是允許robot訪(fǎng)問(wèn)/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現(xiàn)允許訪(fǎng)問(wèn)一部分網(wǎng)頁(yè)同時(shí)禁止訪(fǎng)問(wèn)其它所有URL的功能。
15、使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url("*" 匹配0或多個(gè)任意字符，"$" 匹配行結(jié)束符)。
北京SEO如何玩轉(zhuǎn)robots協(xié)議
1、禁止所有搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內(nèi)容
　　User-agent: *
　　Disallow: /

2、允許所有搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內(nèi)容
　　User-agent: *
　　Allow: /
3、僅禁止baidu搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內(nèi)容
　　User-agent: Baiduspider
　　Disallow: /
　　User-agent: *
　　Allow: /
4、僅允許baidu搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內(nèi)容
　　User-agent: Baiduspider
　　Allow: /
　　User-agent: *
　　Disallow: /
5、僅允許baidu及google爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內(nèi)容
　　User-agent: Baiduspider
　　Allow: /
　　User-agent: Googlebot
　　Allow: /
　　User-agent: *
　　Disallow: /
6、僅允許baidu及360搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站內(nèi)容，并且禁止抓取所有圖片和php網(wǎng)頁(yè)內(nèi)容
　　User-agent: Baiduspider
　　Allow: /
　　Disallow: /*.jpg$
　　Disallow: /*.jpeg$
　　Disallow: /*.png$
　　Disallow: /*.gif$
　　Disallow: /*.bmp$
　　Disallow: /*.php$
　　User-agent: 360Spider
　　Allow: /
　　Disallow: /*.jpg$
　　Disallow: /*.jpeg$
　　Disallow: /*.png$
　　Disallow: /*.gif$
　　Disallow: /*.bmp$
　　Disallow: /*.php$
　　User-agent: *
　　Disallow: /
　　其他的robots爬蟲(chóng)協(xié)議規(guī)則，北京seo就不在這里給大家一一舉例了。大家可以自己去練習(xí)并理解，robots爬蟲(chóng)協(xié)議也是很重要的。