一個(gè)標(biāo)準(zhǔn)完整的網(wǎng)站上，基本都會(huì)配備上站點(diǎn)地圖、robots文件之類的，它們的功能都是為了更好的讓搜索引擎抓取網(wǎng)站內(nèi)容，提升網(wǎng)站的抓取速度，那么，站點(diǎn)地圖以及robots文件到底是什么呢？

一、站點(diǎn)地圖是什么？

    站點(diǎn)地圖是一種可以為百度蜘蛛爬行網(wǎng)站時(shí)指示出信息資源方位并具有導(dǎo)航功能的一個(gè)工具，將網(wǎng)站中的關(guān)鍵信息以可視化展現(xiàn)在搜索引擎面前，一般關(guān)鍵信息分為信息獲取、信息檢索、信息表示以及信息關(guān)聯(lián)這四個(gè)方面，就是將這些內(nèi)容以一種類似于地圖的形式，將網(wǎng)站的信息羅列出來并附帶上對(duì)應(yīng)的鏈接，為用戶與百度抓取蜘蛛提供網(wǎng)站的主體信息以及準(zhǔn)確信息入口的工具，所以被通俗稱之為站點(diǎn)地圖。

站點(diǎn)地圖的特點(diǎn)：

1.可視化

    網(wǎng)站地圖的可視化是它非常突出的一個(gè)特點(diǎn)，雖然我們常見的網(wǎng)站地圖內(nèi)容都是以文字表達(dá)的，但是它是以一個(gè)地圖的展現(xiàn)形式出現(xiàn)的，可以清晰明了的表達(dá)出各個(gè)頁面之前的關(guān)系。

2.持續(xù)

    當(dāng)用戶點(diǎn)擊開站點(diǎn)地圖之后，可以使用戶對(duì)網(wǎng)站的信息一目了然，并且在站點(diǎn)地圖中所有對(duì)應(yīng)的文字都會(huì)配上對(duì)應(yīng)的鏈接，使用戶可以點(diǎn)擊鏈接從而進(jìn)入自己想要進(jìn)的欄目，使用戶更加精準(zhǔn)的找到自己想要的信息。

3.同步實(shí)時(shí)更新

    站點(diǎn)地圖有這么一個(gè)功能，就是會(huì)跟隨網(wǎng)站上的內(nèi)容信息，實(shí)時(shí)進(jìn)行一個(gè)地圖更新，它隨著網(wǎng)站變動(dòng)而變動(dòng)，與網(wǎng)站上整體內(nèi)容保持一致，使用戶在站點(diǎn)地圖中隨時(shí)獲得最新網(wǎng)站信息。

二、robots是什么？

    Robots協(xié)議也可以稱呼它為爬蟲協(xié)議或者機(jī)器人協(xié)議，這里要注意的是，robots協(xié)議可不是一個(gè)指令，而是一個(gè)txt文本，robots.txt是百度搜索蜘蛛來到網(wǎng)站時(shí)第一個(gè)需要查看的文件,蜘蛛將根據(jù)robots.txt文件來判斷網(wǎng)站上哪些內(nèi)容可以抓取，哪些內(nèi)容是不允許被抓取的。

robots.txt的作用：

    在對(duì)網(wǎng)站進(jìn)行優(yōu)化的時(shí)候，我們都會(huì)使用robots.txt文件來把網(wǎng)站上哪些想要被搜索引擎抓取或者不想被搜索引擎抓取，通過robots文件來表達(dá)給百度蜘蛛，百度蜘蛛也會(huì)根據(jù)robots文件來進(jìn)行爬行抓取網(wǎng)站。