經典案例
  • 正想科技012
  • 正想科技011
  • 正想科技010
  • 正想科技009
  • 正想科技001
常見問題

robosts文件有什么用,怎么去更解?

發布于:2017/7/31 11:59:46來源:作者:點擊:

robosts文件有什么用,怎么去更解?
robosts文件有什么作用,到底網站優化中有什么作用?今天小威在這里一一說明一下。希望大家以后在創建robots文件時能有更好的理解。
首先我們先來了解一下robots.txt文件,它主要用于指令搜索引擎抓取內容,至于怎么抓取就看你怎么設置robots.txt文件。當你不會設置robots.txt文件時,留空都要建立這個文件,因為意味著搜索引擎默認是全部允許抓取。
robots文件的記錄格式為:<域>:〈可選空格〉〈域值〉〈可選空格〉。
最簡單的robots文件:
user-agent:*
disallow:/
而上面這個文件代表搜索引擎禁止收錄所有內容。
user-agent:*
disallow:
而這個文件則代表搜索引擎允許收所有內容。
其次,robots.txt文件應該放在網站根目錄下,比如:http://www.fx0731.com,這個網站,我們應該把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目錄下。當然有的服務器有問題,會返回一些錯誤信息,就意味道robots文件不存在。所以服務器設置方面應該注意的。
我們再來看看一些robots.txt設置的舉例:
User-agent: *   
Disallow: /admin/ 后臺管理文件   
Disallow: /require/ 程序文件   
Disallow: /attachment/ 附件   
Disallow: /images/ 圖片   
Disallow: /data/ 數據庫文件   
Disallow: /template/ 模板文件   
Disallow: /css/ 樣式表文件   
Disallow: /lang/ 編碼文件   
Disallow: /script/ 腳本文件
當然也有meta robots標簽,只不過谷歌,必應,雅虎才支持。比如:〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本頁面。還有一些相關標簽如下:
noindex: 告訴蜘蛛不要索引本頁面。
nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet:告訴搜索引擎不要在搜索結果中顯示說明文字。
noarchive:告訴搜索引擎不要顯示快照。
noodp:告訴搜索引擎不要使用開放目錄中的標題和說明。
百度目前是只支持nofollow,noarchive的。
再者,robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:Sitemap:http://www.mahaibin.org/sitemap.xml,總之這些設置方面還要你自己多花些心思去研究下,看看什么該抓取什么不該,這樣才能對你網站做優化有好處。
robosts文件有什么用,怎么去更解?
robosts文件有什么作用,到底網站優化中有什么作用?今天小威在這里一一說明一下。希望大家以后在創建robots文件時能有更好的理解。
首先我們先來了解一下robots.txt文件,它主要用于指令搜索引擎抓取內容,至于怎么抓取就看你怎么設置robots.txt文件。當你不會設置robots.txt文件時,留空都要建立這個文件,因為意味著搜索引擎默認是全部允許抓取。
robots文件的記錄格式為:<域>:〈可選空格〉〈域值〉〈可選空格〉。
最簡單的robots文件:
user-agent:*
disallow:/
而上面這個文件代表搜索引擎禁止收錄所有內容。
user-agent:*
disallow:
而這個文件則代表搜索引擎允許收所有內容。
其次,robots.txt文件應該放在網站根目錄下,比如:http://www.fx0731.com,這個網站,我們應該把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目錄下。當然有的服務器有問題,會返回一些錯誤信息,就意味道robots文件不存在。所以服務器設置方面應該注意的。
我們再來看看一些robots.txt設置的舉例:
User-agent: *   
Disallow: /admin/ 后臺管理文件   
Disallow: /require/ 程序文件   
Disallow: /attachment/ 附件   
Disallow: /images/ 圖片   
Disallow: /data/ 數據庫文件   
Disallow: /template/ 模板文件   
Disallow: /css/ 樣式表文件   
Disallow: /lang/ 編碼文件   
Disallow: /script/ 腳本文件
當然也有meta robots標簽,只不過谷歌,必應,雅虎才支持。比如:〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本頁面。還有一些相關標簽如下:
noindex: 告訴蜘蛛不要索引本頁面。
nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet:告訴搜索引擎不要在搜索結果中顯示說明文字。
noarchive:告訴搜索引擎不要顯示快照。
noodp:告訴搜索引擎不要使用開放目錄中的標題和說明。
百度目前是只支持nofollow,noarchive的。
再者,robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:Sitemap:http://www.mahaibin.org/sitemap.xml,總之這些設置方面還要你自己多花些心思去研究下,看看什么該抓取什么不該,這樣才能對你網站做優化有好處。

------分隔線----------------------------
------分隔線----------------------------
天津快乐十分开奖结果走势图 94期码报 江苏快3开奖时间 高频彩辅助软件哪个好 亿客隆 六肖中特给大家验证 大乐透走势图浙江风彩 黑龙江11选5视频 香港曾道人透码资料 体彩p5今日开奖结果查询 亿客隆彩 今日p3开机号 河南11选5开奖 华东15选5独胆号预测 今天幸运赛车开奖结果查询 og视讯真人app下载 河内5分彩专家团队计划