|
搜尋引擎的網頁搜尋結果,這些資料都是利用Robot程式自動抓取收錄的,小寫的 robots.txt 檔案是用來告知搜尋引擎
的『蜘蛛』程式哪些資料可以被擷取,或是哪些資料及資料夾不可以被擷取。只要用記事本或文字編輯器,儲存一個檔名
為robots.txt,然後依照自己的網站需求來做設定,請參考下列說明來設定。
robots.txt 範例︰
User-agent: 輸入搜尋引擎的『蜘蛛』程式代號
Disallow: 輸入資料夾或檔名的路徑
範例說明︰說明 User-agent: 及 Disallow: 需要輸入的內容。
robots.txt 範例︰
User-agent: *
Disallow:
範例說明︰*表示所有的『蜘蛛』程式都能夠搜尋及擷取整個網站中的資料。
robots.txt 範例︰
User-agent: crawler
Disallow:
範例說明︰*表示不接受crawler這個『蜘蛛』程式搜尋及擷取整個網站中的資料,但是接受其他的。
robots.txt 範例︰
User-agent: *
Disallow: /
範例說明︰表示所有的『蜘蛛』程式都不能夠搜尋及擷取整個網站中的資料。
robots.txt 範例︰
User-agent: *
Disallow: /music/
Disallow: /oaky/abc.php
範例說明︰表示所有的『蜘蛛』程式都不能夠搜尋及擷取網站中的music資料夾及oaky資料夾下的abc.php檔案。
robots.txt 範例︰
User-agent: Googlebot
Disallow: /music/
Disallow: /oaky/abc.php
範例說明︰表示Google『蜘蛛』程式都不能夠搜尋及擷取網站中的music資料夾及oaky資料夾下的abc.php檔案。
robots.txt檔案內容基本上就是使用這兩行在做變化
User-agent:
Disallow:
※ 附註︰如果不希望耗用流量,請設定搜尋引擎都不能夠搜尋及擷取整個網站中的資料。
由於Robot程式是自動執行的,如果使用者的程式因為有未發現的小錯誤,也可能讓Robot拼命地或重複地向同一台
機器不停地抓資料,造成該機器負擔過重,以及整個網路嚴重雍塞,甚至影響整個網際網路及伺服機器的服務品質。
回 SEO 文章列表
Powered By 陳慶煌 CONY CHEN
www.DollarHosts.com.tw
www.FreeHost.com.tw
www.ecShop.com.tw
www.FreeHost.tw
www.KiloInfo.com.tw |