• 改革开放40年来中国农村发展变化纪实——旧貌换新颜 2019-07-17
  • 侯化任安徽亳州市委秘书长、市委政法委书记(图简历) 2019-07-17
  • 《今天我学习》第一集:如何理解党的十九大的鲜明主题 2019-07-11
  • 十大城市二手房市场“整体降温”态势难改 2019-07-10
  • 这些难免只有马克思主义真理才能自救,其余的都瞎扯淡,至于他们需要从哪里讨说法,也在马克思主义真理里面了 2019-07-10
  • 全世界最美的办公室都在这里了 快来一饱眼福 ——凤凰网房产 2019-07-06
  • 博通裁员1100人以削减成本 涉及公司所有业务部门 2019-06-30
  • 6月15日有回复:陕西省教育厅等单位回复22条网友留言 2019-06-24
  • (两会受权发布)国务院总理简历 2019-06-23
  • 你知道端午节的来历吗? 2019-06-23
  • 国际社会持续热议上合青岛峰会:上合组织发展进入新阶段 彰显中国领导力 2019-06-19
  • 河南鲁山:端午节民俗地图  端午槲坠——深山槲叶悠悠香  2019-06-09
  • 郧西男孩两条腿“长”在一起 十堰市人民医院手术整形帮他迈开双腿 2019-06-08
  • 珠海高栏港经济区2020年村容村貌将明显改观 2019-06-08
  • 视频:带你种草林允谭松韵同款“天价”吹风机 2019-06-08
  • 资讯中心 /NEWS

    世界杯足彩在哪买:蜗牛网络详谈robots.txt写法规则

    发布日期:2014-11-12 点击:次 【字体:
    搜索引擎robots.txt规则,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
    首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置robots.txt协议文件:

    ①robots.txt允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:
    User-agent: *
    Disallow:
    或者
    User-agent: *
    Allow: /

    ②robots.txt禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
    User-agent: Msnbot
    Disallow: /
    例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
    百度的蜘蛛:baiduspider
    Google的蜘蛛: Googlebot
    腾讯Soso:Sosospider
    Yahoo的蜘蛛:Yahoo Slurp
    Msn的蜘蛛:Msnbot
    Altavista的蜘蛛:Scooter
    Lycos的蜘蛛: Lycos_Spider_(T-Rex)

    ③robots.txt禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /目录名字1/
    Disallow: /目录名字2/
    Disallow: /目录名字3/
    把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

    ④robots.txt禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
    Disallow: /目录名字/              说明(这里设定禁止蜘蛛抓取的目录名称)
    例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
    User-agent: Msnbot
    Disallow: /admin/

    ⑤robots.txt设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /*.htm   说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)⑥robots.txt充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:User-agent: *
    Allow: .htm$   说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

    ⑥robots.txt禁止全站被搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /

    ⑦robots.txt只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
    User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
    Disallow:
    如果您有业务需求,请随时联系我们进行咨询!
    电话:0762-3393885
    传真:0762-3228556
    手机:18027933395(李生) 15986023001(高生)
    Q Q: 51198658 / 1209780002
    邮箱:[email protected] / [email protected]
    地址:河源市建设大道友力商务大厦B座502号
    微信号:web0762

    足彩 www.befaq.tw 姓名不能为空!

    邮箱不能为空!

    请填写有效的邮箱地址!

    需求描述不能为空!

    蜗牛微官网

  • 改革开放40年来中国农村发展变化纪实——旧貌换新颜 2019-07-17
  • 侯化任安徽亳州市委秘书长、市委政法委书记(图简历) 2019-07-17
  • 《今天我学习》第一集:如何理解党的十九大的鲜明主题 2019-07-11
  • 十大城市二手房市场“整体降温”态势难改 2019-07-10
  • 这些难免只有马克思主义真理才能自救,其余的都瞎扯淡,至于他们需要从哪里讨说法,也在马克思主义真理里面了 2019-07-10
  • 全世界最美的办公室都在这里了 快来一饱眼福 ——凤凰网房产 2019-07-06
  • 博通裁员1100人以削减成本 涉及公司所有业务部门 2019-06-30
  • 6月15日有回复:陕西省教育厅等单位回复22条网友留言 2019-06-24
  • (两会受权发布)国务院总理简历 2019-06-23
  • 你知道端午节的来历吗? 2019-06-23
  • 国际社会持续热议上合青岛峰会:上合组织发展进入新阶段 彰显中国领导力 2019-06-19
  • 河南鲁山:端午节民俗地图  端午槲坠——深山槲叶悠悠香  2019-06-09
  • 郧西男孩两条腿“长”在一起 十堰市人民医院手术整形帮他迈开双腿 2019-06-08
  • 珠海高栏港经济区2020年村容村貌将明显改观 2019-06-08
  • 视频:带你种草林允谭松韵同款“天价”吹风机 2019-06-08
  • 青海快三开奖 中国网球冠军 恩波利那不勒斯 太空小绿人送彩金 甘肃11选560期 天津快乐十分彩票群 沈阳麻将下载手机版 赫塔菲对瓦拉多利德 国际米兰高清壁纸 广东十一选五走势图l