搜尋引擎的網頁搜尋結果，這些資料都是利用Robot程式自動抓取收錄的，小寫的 robots.txt 檔案是用來告知搜尋引擎 的『蜘蛛』程式哪些資料可以被擷取，或是哪些資料及資料夾不可以被擷取。只要用記事本或文字編輯器，儲存一個檔名 為robots.txt，然後依照自己的網站需求來做設定，請參考下列說明來設定。

robots.txt 範例︰
User-agent: 輸入搜尋引擎的『蜘蛛』程式代號
Disallow: 輸入資料夾或檔名的路徑
範例說明︰說明 User-agent: 及 Disallow: 需要輸入的內容。

robots.txt 範例︰
User-agent: *
Disallow:
範例說明︰*表示所有的『蜘蛛』程式都能夠搜尋及擷取整個網站中的資料。

robots.txt 範例︰
User-agent: crawler
Disallow:
範例說明︰*表示不接受crawler這個『蜘蛛』程式搜尋及擷取整個網站中的資料，但是接受其他的。

robots.txt 範例︰
User-agent: *
Disallow: /
範例說明︰表示所有的『蜘蛛』程式都不能夠搜尋及擷取整個網站中的資料。

robots.txt 範例︰
User-agent: *
Disallow: /music/
Disallow: /oaky/abc.php
範例說明︰表示所有的『蜘蛛』程式都不能夠搜尋及擷取網站中的music資料夾及oaky資料夾下的abc.php檔案。

robots.txt 範例︰
User-agent: Googlebot
Disallow: /music/
Disallow: /oaky/abc.php
範例說明︰表示Google『蜘蛛』程式都不能夠搜尋及擷取網站中的music資料夾及oaky資料夾下的abc.php檔案。


robots.txt檔案內容基本上就是使用這兩行在做變化
User-agent:
Disallow:

※ 附註︰如果不希望耗用流量，請設定搜尋引擎都不能夠搜尋及擷取整個網站中的資料。 由於Robot程式是自動執行的，如果使用者的程式因為有未發現的小錯誤，也可能讓Robot拼命地或重複地向同一台 機器不停地抓資料，造成該機器負擔過重，以及整個網路嚴重雍塞，甚至影響整個網際網路及伺服機器的服務品質。

回 SEO 文章列表

Powered By 陳慶煌 CONY CHEN
www.DollarHosts.com.tw
www.FreeHost.com.tw
www.ecShop.com.tw
www.FreeHost.tw
www.KiloInfo.com.tw