很對(duì)站長(zhǎng)朋友在對(duì)網(wǎng)站開(kāi)始進(jìn)行優(yōu)化之前，會(huì)忽略非常重要的一點(diǎn)，就是網(wǎng)站上的robots文件，robots文件的作用是告訴搜索引擎蜘蛛，這個(gè)網(wǎng)站上什么內(nèi)容是可以抓取的，哪些內(nèi)容是禁止抓取的。當(dāng)robots文件制作完成之后，放在網(wǎng)站ftp的跟目錄之下，就搞定了。那么，robots文件里寫(xiě)的各種內(nèi)容，都是代表了什么樣的含義呢？下面我們就來(lái)了解一下吧！

　　User-agent禁止訪(fǎng)問(wèn)抓取系列：

　　User-agent: *

　　這里的*好是通配符，意指所有的搜索引擎都可以抓取，包括百度、搜狗、360等等

　　Disallow: /

　　意思是禁止蜘蛛抓取該網(wǎng)站的任何目錄

　　Disallow:/123

　　意思是禁止蜘蛛抓取該網(wǎng)站的123以及123層級(jí)之下的所有內(nèi)容

　　Disallow:/123/

　　意思是禁止蜘蛛抓取123層級(jí)之下的所有內(nèi)容，但是可以抓取123頁(yè)面的內(nèi)容

　　Disallow:/*.png

　　意思是禁止蜘蛛抓取網(wǎng)站上所有png格式的圖片，想要禁止抓取其它格式也是這樣書(shū)寫(xiě)，比如想要禁止抓取網(wǎng)站jpg格式的圖片，書(shū)寫(xiě)方式為Disallow:/*.jpg

　　Disallow:/123/*.png

　　禁止蜘蛛訪(fǎng)問(wèn)123層次下的png圖片，其他格式也是同樣的書(shū)寫(xiě)方式

　　Disallow:/*？*

　　禁止蜘蛛抓取網(wǎng)站上所有的動(dòng)態(tài)url頁(yè)面

　　Disallow:/123/*？*

　　禁止蜘蛛抓取網(wǎng)站上123目錄下的所有動(dòng)態(tài)頁(yè)面，不影響抓取網(wǎng)站123目錄中的其它內(nèi)容

　　Allow允許抓取訪(fǎng)問(wèn)系列：

　　Allow的意思是允許蜘蛛訪(fǎng)問(wèn)抓取的意思，在寫(xiě)robots文件的時(shí)候一定要注意一件事，就是在書(shū)寫(xiě)的時(shí)候，一定要將allow放在disallow前面，才能不受disallow的影響，其它的寫(xiě)法參考disallow的書(shū)寫(xiě)方式，這里就不湊字?jǐn)?shù)了。

　　有一點(diǎn)注意事項(xiàng)，大家在使用的時(shí)候一定要注意，robots.txt文件名稱(chēng)一定要小寫(xiě)的，不要大寫(xiě)。有了完整的robots文件，搜索引擎在抓取的時(shí)候才會(huì)更加的方便，利于對(duì)網(wǎng)站的提升。