1. <em id="5aa8d"></em>

          <em id="5aa8d"><tr id="5aa8d"></tr></em>
          <em id="5aa8d"><tr id="5aa8d"></tr></em>

              1. <em id="usmhs"><ol id="usmhs"></ol></em>
                1. <div id="usmhs"></div>
                  1. <legend id="usmhs"><form id="usmhs"></form></legend>
                          1. <div id="ek0og"></div>
                            <div id="ek0og"><tr id="ek0og"><object id="ek0og"></object></tr></div>

                          2. <em id="ek0og"></em>

                            <dfn id="uqdk8"></dfn>

                            <div id="uqdk8"></div>

                          3. <div id="uqdk8"></div>
                            <sup id="auvui"></sup>
                            <div id="auvui"><tr id="auvui"><kbd id="auvui"></kbd></tr></div>

                            1. <em id="auvui"><ol id="auvui"></ol></em>

                                1. <div id="auvui"></div>

                                    <div id="osoaw"><ol id="osoaw"></ol></div><dd id="osoaw"></dd>
                                      <dd id="osoaw"><tr id="osoaw"></tr></dd>

                                      <dd id="osoaw"><legend id="osoaw"></legend></dd>

                                        1. <sup id="yfiuy"></sup>
                                        2. <dl id="yfiuy"><ins id="yfiuy"></ins></dl>
                                          <dl id="yfiuy"><menu id="yfiuy"></menu></dl>
                                          <div id="yfiuy"><s id="yfiuy"></s></div>
                                          <dl id="k511r"></dl><optgroup id="k511r"></optgroup>
                                          <sup id="k511r"></sup>
                                        3. <progress id="k511r"></progress>
                                          <dl id="k511r"><ins id="k511r"></ins></dl>
                                        4. <sup id="jxfeb"><menu id="jxfeb"></menu></sup>
                                          <li id="jxfeb"></li>
                                        5. <li id="jxfeb"></li>
                                          <li id="jxfeb"></li>
                                          <sup id="jxfeb"><ins id="jxfeb"></ins></sup>
                                        6. <sup id="jmi06"></sup>
                                        7. <div id="jmi06"><tr id="jmi06"></tr></div>
                                        8. <dl id="hqc0d"><ins id="hqc0d"></ins></dl>
                                        9. <dl id="rixhw"></dl>
                                          <div id="rixhw"><tr id="rixhw"><object id="rixhw"></object></tr></div>
                                        10. <dl id="rixhw"><ins id="rixhw"><thead id="rixhw"></thead></ins></dl>
                                        11. <dl id="rixhw"><ins id="rixhw"></ins></dl><dl id="rixhw"><ins id="rixhw"><thead id="rixhw"></thead></ins></dl>
                                        12. <li id="rixhw"></li>
                                          <div id="rixhw"><s id="rixhw"></s></div><li id="rixhw"><s id="rixhw"></s></li>
                                        13. <div id="5zohc"><s id="5zohc"></s></div>
                                          <dl id="5zohc"><ins id="5zohc"><thead id="5zohc"></thead></ins></dl>
                                          <dl id="5zohc"><ins id="5zohc"><thead id="5zohc"></thead></ins></dl><li id="5zohc"><s id="5zohc"></s></li>
                                        14. <li id="5zohc"></li>
                                        15. <li id="0mezq"></li>
                                        16. <div id="0mezq"><tr id="0mezq"><strong id="0mezq"></strong></tr></div>
                                          <div id="0mezq"></div><li id="0mezq"><tr id="0mezq"></tr></li>
                                          <li id="0mezq"><tr id="0mezq"></tr></li>
                                        17. <sup id="0mezq"><ins id="0mezq"></ins></sup>
                                        18. <li id="0mezq"><ins id="0mezq"></ins></li>
                                        19. <div id="ugihw"><tr id="ugihw"></tr></div>
                                          <dl id="ugihw"></dl>
                                          <dl id="ugihw"><ins id="ugihw"><thead id="ugihw"></thead></ins></dl>
                                        20. <li id="ugihw"></li>
                                        21. <dl id="ugihw"></dl>
                                          <li id="igdvu"></li>
                                        22. <label id="igdvu"><tbody id="igdvu"></tbody></label>
                                          <li id="igdvu"></li>
                                          <dl id="igdvu"><ins id="igdvu"><thead id="igdvu"></thead></ins></dl>
                                          <div id="qc91r"><tr id="qc91r"></tr></div>
                                        23. <dl id="qc91r"></dl>
                                        24. <code id="qc91r"></code>
                                        25. <div id="qc91r"></div>
                                          <div id="wssbt"><tr id="wssbt"></tr></div>
                                        26. <li id="wssbt"></li><menuitem id="wssbt"><ruby id="wssbt"></ruby></menuitem>
                                          <div id="wssbt"><tr id="wssbt"></tr></div>
                                          <dl id="wssbt"><ins id="wssbt"><thead id="wssbt"></thead></ins></dl>
                                        27. <sup id="wssbt"><menu id="wssbt"></menu></sup>
                                          <dl id="wssbt"></dl>
                                        28. <li id="bisqg"></li>
                                        29. <dl id="bisqg"><menu id="bisqg"><small id="bisqg"></small></menu></dl>
                                        30. <menuitem id="2ul1s"></menuitem>
                                        31. <div id="2ul1s"><tr id="2ul1s"></tr></div>
                                          <div id="2ul1s"></div>
                                          <dl id="2ul1s"><ins id="2ul1s"></ins></dl>
                                        32. <dl id="2ul1s"><ins id="2ul1s"><small id="2ul1s"></small></ins></dl><dl id="2ul1s"></dl>
                                          <dl id="2ul1s"><menu id="2ul1s"><td id="2ul1s"></td></menu></dl>
                                        33. <dl id="2ul1s"><ins id="2ul1s"><td id="2ul1s"></td></ins></dl>
                                          <dl id="2ul1s"><ins id="2ul1s"></ins></dl>
                                          <dl id="eyeur"></dl>
                                        34. <li id="eyeur"></li>
                                          <li id="eyeur"></li>
                                          <dl id="eyeur"></dl>
                                        35. <li id="eyeur"></li>
                                        36. <li id="eyeur"><s id="eyeur"></s></li>
                                          <dl id="eyeur"><menu id="eyeur"><thead id="eyeur"></thead></menu></dl>
                                          <sup id="eyeur"><ins id="eyeur"></ins></sup>
                                          <dl id="eyeur"></dl>
                                          <dl id="pk26s"></dl>
                                        37. <li id="pk26s"><s id="pk26s"></s></li>
                                          <li id="pk26s"><span id="pk26s"></span></li><dl id="pk26s"><tr id="pk26s"></tr></dl>
                                          <li id="pk26s"><s id="pk26s"></s></li>
                                        38. <dl id="pk26s"></dl>
                                        39. <li id="pk26s"><s id="pk26s"></s></li><dl id="pk26s"><ins id="pk26s"></ins></dl>
                                        40. <dl id="pk26s"><ins id="pk26s"></ins></dl>
                                        41. <center id="2uyw8"></center>
                                          <optgroup id="2uyw8"></optgroup><center id="2uyw8"></center>
                                          <center id="2uyw8"></center><optgroup id="2uyw8"></optgroup>
                                          <div id="3w8s6"></div>
                                        42. <div id="3w8s6"><tr id="3w8s6"></tr></div>
                                          <sup id="3w8s6"><ins id="3w8s6"></ins></sup>
                                          <dl id="3w8s6"></dl>
                                        43. <sup id="3wew1"><noscript id="3wew1"></noscript></sup>
                                        44. <div id="3wew1"><tr id="3wew1"><ruby id="3wew1"></ruby></tr></div> <li id="3wew1"></li>
                                          <div id="3wew1"></div>
                                        45. <code id="a6emm"><small id="a6emm"></small></code>
                                          <optgroup id="a6emm"><div id="a6emm"></div></optgroup>
                                          <optgroup id="a6emm"><div id="a6emm"></div></optgroup>
                                          <code id="a6emm"></code><option id="a6emm"><wbr id="a6emm"></wbr></option>
                                        46. <code id="y6a0c"></code>
                                        47. <input id="y6a0c"><samp id="y6a0c"></samp></input>
                                        48. <bdo id="y6a0c"><sup id="y6a0c"></sup></bdo>
                                        49. <div id="y6a0c"></div>
                                          <input id="euywa"></input>
                                          <s id="euywa"></s>
                                          <tbody id="euywa"><blockquote id="euywa"></blockquote></tbody>
                                        50. <input id="siimg"><label id="siimg"></label></input><object id="siimg"><label id="siimg"></label></object>
                                          <menu id="siimg"></menu><code id="siimg"><label id="siimg"></label></code>
                                          <nav id="siimg"><samp id="siimg"></samp></nav>
                                        51. <menu id="siimg"><samp id="siimg"></samp></menu>
                                          <code id="siimg"><samp id="siimg"></samp></code>
                                        52. <object id="yoyk6"><label id="yoyk6"></label></object>
                                        53. <menu id="yeqqs"></menu>
                                          <nav id="yeqqs"><blockquote id="yeqqs"></blockquote></nav><input id="yeqqs"><label id="yeqqs"></label></input>
                                        54. 歇后語大全| 百家姓| 豐胸美乳| 豐胸新聞| 明星美胸| 美胸圖片| 豐胸按摩| 豐胸飲食| QQmi| 圖片素材| 個性簽名| QQ網名| QQ頭像| 空間日志| 好友印象| QQ分組
                                          首頁 > 網站優化知識 > 正文

                                          網站優化知識

                                          只允許收錄首頁robots.txt怎么寫

                                          分享到:

                                          發布:新新網絡 | 發布時間:2013-04-17 | 點擊:


                                          User-agent: *
                                          Allow: /首頁文件(一般是index之類的)比如首頁文件是 index.html 或是 index.asp
                                          Disallow: /

                                          robots.txt放置位置

                                          放在根目錄下.舉列來說當spider訪問一個網站(比如www.weizhuanke.com)時,首先會檢查該網站中是否存在www.weizhuanke.com/robots.txt這個文件,如果機器人找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

                                          robots相關語法

                                          User-agent:
                                             該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

                                          Disallow:
                                             該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被robot訪問。例如"Disallow:/seo"禁止robot訪問/seo.html、/seoabc.html、/seoindex.html,而"Disallow:/seo/"則允許robot訪問/seo.html、/seoabc.html,不能訪問/seop/index.html。"Disallow: "說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

                                          Allow:
                                             該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問hibaidu.htm、hibaiducom.html、hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

                                          需要特別注意的是Disallow與Allow行的順序是有意義的,robot會根據第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

                                          下面介紹下使用"*"和"contentquot;:
                                          使用統配符和模糊匹配,筆者只了解baidu是支持得使用通配符"*"和"contentquot;來模糊匹配url。

                                             "contentquot; 匹配行結束符。
                                             "*" 匹配0或多個任意字符。
                                          禁止所有搜索引擎訪問網站的任何部分

                                          User-agent: *
                                          Disallow: /

                                          禁止所有搜索引擎訪問網站的幾個部分(下例中的01、02、03目錄)

                                          User-agent: *
                                          Disallow: /01/
                                          Disallow: /02/
                                          Disallow: /03/

                                          禁止某個搜索引擎的訪問(下例中的BadBot)

                                          User-agent: BadBot
                                          Disallow: /

                                          只允許某個搜索引擎的訪問(下例中的Crawler)

                                          User-agent: Crawler
                                          Disallow:

                                          User-agent: *
                                          Disallow: /

                                          URL匹配舉例
                                          Allow或Disallow的值    URL     匹配結果
                                          /tmp                /tmp         yes
                                          /tmp                /tmp.html    yes
                                          /tmp                /tmp/a.html  yes
                                          /tmp/               /tmp          no 
                                          /tmp/               /tmphoho      no
                                          /tmp/               /tmp/a.html   yes
                                          /Hello*             /Hello.html   yes
                                          /He*lo              /Hello,lolo   yes
                                          /Heap*lo            /Hello,lolo   no
                                          htmlcontentnbsp;              /tmpa.html    yes
                                          /a.htmlcontentnbsp;           /a.html       yes
                                          htmcontentnbsp;              /a.html         no
                                          robots.txt文件用法舉例
                                          例1. 禁止所有搜索引擎訪問網站的任何部分
                                          User-agent: *
                                          Disallow: /
                                          例2. 允許所有的robot訪問
                                          (或者也可以建一個空文件 "/robots.txt")
                                          User-agent: *
                                          Disallow:
                                          或者
                                          User-agent: *
                                          Allow: / 
                                          例3. 僅禁止baiduspider訪問您的網站
                                          User-agent: baiduspider
                                          Disallow: /
                                          例4. 僅允許baiduspider訪問您的網站
                                          User-agent: baiduspider
                                          Disallow:
                                          User-agent: *
                                          Disallow: /
                                          例5.禁止spider訪問特定目錄
                                          在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明,而不能寫成 "Disallow: /cgi-bin/ /tmp/"。
                                          User-agent: *
                                          Disallow: /cgi-bin/
                                          Disallow: /tmp/
                                          Disallow: /~joe/
                                          例6. 允許訪問特定目錄中的部分url
                                          User-agent: *
                                          Allow: /cgi-bin/see
                                          Allow: /tmp/hi
                                          Allow: /~joe/look
                                          Disallow: /cgi-bin/
                                          Disallow: /tmp/
                                          Disallow: /~joe/
                                          例7. 使用"*"限制訪問url
                                             禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
                                          User-agent: *
                                          Disallow: /cgi-bin/*.htm

                                          例8. 使用"contentquot;限制訪問url
                                             僅允許訪問以".htm"為后綴的URL。 User-agent: *
                                          Allow: .htm$
                                          Disallow: /
                                          例9. 禁止訪問網站中所有的動態頁面
                                          User-agent: *
                                          Disallow: /*?*
                                          另外我們這里介紹下robots 一些meta寫法.
                                          meta就是寫在HTML head 里面的,相對robots.txt來講功能比他弱多了
                                          Robots META標簽則主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣,Robots META標簽也是放在頁面的<head></head>中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內容。
                                          Robots META標簽的寫法:
                                          Robots META標簽中沒有大小寫之分,name=”Robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=”BaiduSpider”。 content部分有四個指令選項:index、noindex、follow、nofollow,指令間以“,”分隔。
                                          INDEX 指令告訴搜索機器人抓取該頁面;
                                          FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;
                                          Robots Meta標簽的缺省值是INDEX和FOLLOW,只有inktomi除外,對于它,缺省值是INDEX,NOFOLLOW。
                                          這樣,一共有四種組合:
                                          <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
                                          <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
                                          <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
                                          <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
                                          其中
                                          <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="ALL">;
                                          <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="NONE">
                                          目前看來,絕大多數的搜索引擎機器人都遵守robots.txt的規則,而對于Robots META標簽,目前支持的并不多,但是正在逐漸增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE還增加了一個指令“archive”,可以限制GOOGLE是否保留網頁快照。例如:
                                          <META NAME="googlebot" CONTENT="index,follow,noarchive">
                                          表示抓取該站點中頁面并沿著頁面中鏈接抓取,但是不在GOOLGE上保留該頁面的網頁快照。


                                          建站知識

                                          Knowledge

                                          相關信息

                                        55. 小伙遭索賠后自殺 與奧迪車剮蹭半從網絡借貸萬余元
                                        56. 臥底京城酒托騙局 酒托女能說會道先喝茶試探再點酒
                                        57. 北京平谷一男子殺害妻兒墜樓 疑因家庭糾紛痛下殺手
                                        58. 最小背包客6天徒步羅布泊 虎爸:入學前帶娃走完四條進藏國道
                                        59. 美呆了!95后小伙耗時3年在游戲中打造虛擬故宮
                                        60. “中國最小背包客”6天徒步羅布泊 孩子們哭著與同伴走出沙漠
                                        61. 掛號App現加價出售專家號情況 黃牛稱有特殊渠道真實可用
                                        62. 媽媽離家8歲女童輟學獨自照顧病父 父親:愧對女兒
                                        63. “驢友”西藏登山遇難 挑戰極限不能拿生命開玩笑把冒險當探險
                                        64. 婚托冒充身家過億相親對象騙30余人400余萬 一婚介機構多人獲刑
                                        65. 本類閱讀排名

                                          本站閱讀排名


                                          關于新新網絡| 業務范圍| 企業動態 | 行業新聞 | 新聞中心| 建站知識| 客戶服務| 招賢納才| 網站模板| 聯系新新網絡| 網站地圖| sitemap
                                          • 熱線電話: 0755-84185494 / 84185967
                                          • 點擊在線咨詢做網站
                                          • 傳真:0755-84185967 郵箱:[email protected] (請將#號換成@)
                                          • 地址:深圳市龍崗區布吉中興路21號基業大廈1109室
                                          深圳最值得信賴的品牌-深圳品牌營銷網站建設專家
                                          分享到:

                                          備案編號:粵ICP備13013056號-1
                                          Copyright © 2009-2013 新新網絡(www.duojiwu.com) All Rights Reserved. 《中華人民共和國增值電信業務經營許可證》

                                          ·1、本站轉載文章及論壇發帖,僅代表原作者觀點和立場,并不代表本網贊同其觀點和立場,也不對其真實性負責。
                                          ·2、如果本站轉載的文章有內容、版權及其它問題,請即與本站聯系,我們將盡快予以更正或刪除。

                                          北京pk10官网 福建十一选五爱采乐 五星玩法漏洞是什么 彩票销售机器怎么开机 内蒙古快三专家推荐号 竟彩彩票站 500彩票网提款麻烦吗 曾道人六合图库 360足彩 平码中奖规则 福彩双色球基本走势图彩票大赢家 主两码防2码 安徽25选5走势图带连线 体育彩票十一运夺金走势图 18选7要多少钱 香港马会生肖公式规律