廣州網站建設告訴你Robots文件的相關知識

Robots文件在網站優化中是一個很重要的文件，搜索引擎爬行網站第一個抓取的文件就是Robots文件。robots.txt是你對搜索引擎制定的一個如何索引你的網站的規則。通過該文件，搜索引擎就可以知道在你的網站中哪些文件是可以被索引的，哪些文件是被拒絕索引的。那么關于Robots文件的知識你又知道多少呢？今天微勤廣州網站建設就帶大家了解一下。

一、robots.txt 文件的定義 

Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

二、robots.txt文件的作用

robots.txt文件主要用來告訴搜索引擎蜘蛛網站哪些內容是可以爬行和抓取的，哪些頁面是被屏蔽的，不能爬行和抓取，例如我們可以通過robots.txt文件屏蔽網站的死鏈接、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面和阻止搜索引擎索引網站隱私性的內容

三、robots.txt文件注意事項

1、必須放置在一個站點的根目錄下;

2、文件名必須全部小寫;

3、最好是UTF-8編碼。

四、robots.txt文件的基本語法

1、User-agent，搜索引擎蜘蛛的名稱;常見蜘蛛名稱見文末。

2、Disallow，要攔截的部分，禁止蜘蛛訪問的部分。

3、Allow，放行的部分，允許蜘蛛訪問的部分。

4、Sitemap，網站地圖索引文件。

五、robots.txt文件常見的用法舉例

例子1：禁止所有搜索引擎訪問網站的任何部分

User-agent: *

Disallow:/

例子2：允許所有搜索引擎訪問網站任何部分

User-agent: *

allow:/

或者創建一個空白的robots.txt文件放在根目錄

本文由廣州網站建設團隊微勤網絡整編而成，如需了解更多網站建設資訊、案例、各種網站建設知識可以聯系廣州網站建設公司微勤網絡專業項目經理進行一對一問答

本文地址：廣州網站建設告訴你Robots文件的相關知識：http://www.birth-inc.com/xcx/99.html