2014年5月27日 星期二
2014年5月25日 星期日
芝麻淘課: 【轉載】Articulate最新消息，強力推薦：新一代課件製作工具Articulate Storyl...
芝麻淘課: 【轉載】Articulate最新消息，強力推薦：新一代課件製作工具Articulate Storyl...: 該軟 體工具功能介 紹 1. 易於操作
人性化的使 用者 介面：符合使用 習慣 ，易於上手
多 樣 化的 頁 面範本： 內 嵌常 見 互 動 ，範本 庫 可自製與 擴 充
人物角色：超 過 475...
芝麻淘課: 【轉載】Storyline:與Articulate Studio的產品比較
芝麻淘課: 【轉載】Storyline:與Articulate Studio的產品比較: Articulate Storyline vs Articulate Studio 總有一款適合您 隨著 Storyline 的發佈， Articulate 公司現在提供了兩套 e-Learning 課件工具： Articulate Studio( 原有工具 ...
2014年5月21日 星期三
2014年5月15日 星期四
robot.txt的規則以及寫法
BY ERIC0703 ON 2013 年 11 月 02 日 18:25:01 ON WEB資料
首先，我們先談些小知識。
1、並不是所有的網站都要建立robot.txt文件。只有當網站存在不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。當robot.txt不存在的時候，搜索引擎蜘蛛就會直接爬鏈接。
2、robot.txt文件只能放在網站的根目錄下，放在其他地方不能被發現。
3、每個站點只能夠有一個robot.txt。註：二級域名被搜索引擎視為一個新的站點。
4、文件名「robots.txt」為小寫字母，其他如Robots.txt或robots.Txt等都是不正確的寫法，命名錯誤將會被搜索引擎的蜘蛛忽略。
再來是robot.txt的書寫語法。
robot.txt文件的語法主要包括了User-Agent、Disallow、Allow這三個命令。
1、User-agent:
其後面接的是具體的搜索引擎的蜘蛛的名字。如果其值設置為「*」，則表示對任何蜘蛛都有效。
在"robots.txt"文件中，可以有多條User-agent記錄，但「User-agent:*」這樣的記錄只能有一條。
如果在"robots.txt"文件中，加入"User-agent: SomeSpider “和若干Disallow、Allow行，那麼名為"SomeSpider"只受到"User-agent: SomeSpider “後面的Disallow和Allow行的限制。
2、Disallow:
不希望被訪問的URL或者文件夾，可以是完整的路徑，也可以是路徑的非空前。robots.txt文件中，至少要有一條Disallow記錄。Disallow的內容對大小寫敏感，書寫時要注意大小寫。
3、Allow:
可以被訪問的一組URL，與Disallow項相似，這個值可以是完整的路徑，也可以是路徑的前綴，Allow同樣對大小寫敏感。
robot.txt的具體寫法舉例。
禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
允許所有的搜索引擎訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者直接建一個空的robot.txt文件。
僅禁止某種蜘蛛訪問，例如google
User-agent: Googlebot
Disallow: /
僅允許某種蜘蛛訪問，例如google
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎訪問網站的特定目錄
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
禁止訪問以.asp 結尾的網址：
User-Agent: *
Disallow:/*.asp$
禁止訪問網站中所有的動態頁面，即禁止訪問包含問號(?)的網址
User-agent: *
Disallow: /*?*
禁止搜索引擎抓取網站上所有的jpg圖片
User-agent: *
Disallow: /*.jpg$
禁止抓取不存在的網頁。如果你的域名之前曾經建過站，那麼一般都會存在一些你網站不存在的網址。這裡建議在建站之前像搜索引擎提交刪除此域名下的所有索引。
提供sitemap位置
User-agent: *
sitemap: http://www.domain.com/sitemap.xml
首先，我們先談些小知識。
1、並不是所有的網站都要建立robot.txt文件。只有當網站存在不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。當robot.txt不存在的時候，搜索引擎蜘蛛就會直接爬鏈接。
2、robot.txt文件只能放在網站的根目錄下，放在其他地方不能被發現。
3、每個站點只能夠有一個robot.txt。註：二級域名被搜索引擎視為一個新的站點。
4、文件名「robots.txt」為小寫字母，其他如Robots.txt或robots.Txt等都是不正確的寫法，命名錯誤將會被搜索引擎的蜘蛛忽略。
再來是robot.txt的書寫語法。
robot.txt文件的語法主要包括了User-Agent、Disallow、Allow這三個命令。
1、User-agent:
其後面接的是具體的搜索引擎的蜘蛛的名字。如果其值設置為「*」，則表示對任何蜘蛛都有效。
在"robots.txt"文件中，可以有多條User-agent記錄，但「User-agent:*」這樣的記錄只能有一條。
如果在"robots.txt"文件中，加入"User-agent: SomeSpider “和若干Disallow、Allow行，那麼名為"SomeSpider"只受到"User-agent: SomeSpider “後面的Disallow和Allow行的限制。
2、Disallow:
不希望被訪問的URL或者文件夾，可以是完整的路徑，也可以是路徑的非空前。robots.txt文件中，至少要有一條Disallow記錄。Disallow的內容對大小寫敏感，書寫時要注意大小寫。
3、Allow:
可以被訪問的一組URL，與Disallow項相似，這個值可以是完整的路徑，也可以是路徑的前綴，Allow同樣對大小寫敏感。
robot.txt的具體寫法舉例。
禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
允許所有的搜索引擎訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者直接建一個空的robot.txt文件。
僅禁止某種蜘蛛訪問，例如google
User-agent: Googlebot
Disallow: /
僅允許某種蜘蛛訪問，例如google
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎訪問網站的特定目錄
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
禁止訪問以.asp 結尾的網址：
User-Agent: *
Disallow:/*.asp$
禁止訪問網站中所有的動態頁面，即禁止訪問包含問號(?)的網址
User-agent: *
Disallow: /*?*
禁止搜索引擎抓取網站上所有的jpg圖片
User-agent: *
Disallow: /*.jpg$
禁止抓取不存在的網頁。如果你的域名之前曾經建過站，那麼一般都會存在一些你網站不存在的網址。這裡建議在建站之前像搜索引擎提交刪除此域名下的所有索引。
提供sitemap位置
User-agent: *
sitemap: http://www.domain.com/sitemap.xml
訂閱：
意見 (Atom)