• 全国象棋甲级联赛第5轮 粤军跃居“第二集团” 2019-05-21
  • 南昌市生殖医院心理门诊正式开诊 2019-05-21
  • 端午节遇上父亲节长沙楼市上演“宫心计” ——凤凰网房产长沙 2019-05-21
  • 一条塔里木河 串起南疆各色景致与无限风光 2019-05-21
  • 大观园举办“古琴雅集” 市民感受“古韵端午” 2019-05-20
  • 十九大精神进机关:原原本本吃透精神 学懂弄通昂扬斗志 2019-05-20
  • 高清:湖北阳新县玉湖截流港溃口已被控制 2019-05-20
  • 本赛季首次梅开二度 C罗“金球定律”如约而至 2019-05-19
  • 中华人民共和国劳动合同法 2019-05-19
  • 让生命奔流成大江大河 2019-05-19
  • 习近平:我们一致主张安全是上合组织可持续发展的基石 2019-05-19
  • vivo韩伯啸:息屏下屏幕指纹解锁无压力 2019-05-18
  • 只有资本主义会关门,社会主义,有无穷的爆发力 2019-05-18
  • 长治举行 “6.16”大型安全生产宣传咨询日活动 2019-05-18
  • 高清:C罗帽子戏法科斯塔梅开二度 葡萄牙3 2019-05-17
  • 资讯中心 /NEWS

    世界杯足彩在哪买:蜗牛网络详谈robots.txt写法规则

    发布日期:2014-11-12 点击:次 【字体:
    搜索引擎robots.txt规则,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
    首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置robots.txt协议文件:

    ①robots.txt允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:
    User-agent: *
    Disallow:
    或者
    User-agent: *
    Allow: /

    ②robots.txt禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
    User-agent: Msnbot
    Disallow: /
    例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
    百度的蜘蛛:baiduspider
    Google的蜘蛛: Googlebot
    腾讯Soso:Sosospider
    Yahoo的蜘蛛:Yahoo Slurp
    Msn的蜘蛛:Msnbot
    Altavista的蜘蛛:Scooter
    Lycos的蜘蛛: Lycos_Spider_(T-Rex)

    ③robots.txt禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /目录名字1/
    Disallow: /目录名字2/
    Disallow: /目录名字3/
    把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

    ④robots.txt禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
    Disallow: /目录名字/              说明(这里设定禁止蜘蛛抓取的目录名称)
    例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
    User-agent: Msnbot
    Disallow: /admin/

    ⑤robots.txt设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /*.htm   说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)⑥robots.txt充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:User-agent: *
    Allow: .htm$   说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

    ⑥robots.txt禁止全站被搜索引擎蜘蛛抓取,设置代码如下:
    User-agent: *
    Disallow: /

    ⑦robots.txt只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
    User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
    Disallow:
    如果您有业务需求,请随时联系我们进行咨询!
    电话:0762-3393885
    传真:0762-3228556
    手机:18027933395(李生) 15986023001(高生)
    Q Q: 51198658 / 1209780002
    邮箱:[email protected] / [email protected]
    地址:河源市建设大道友力商务大厦B座502号
    微信号:web0762

    足彩 www.befaq.tw 姓名不能为空!

    邮箱不能为空!

    请填写有效的邮箱地址!

    需求描述不能为空!

    蜗牛微官网

  • 全国象棋甲级联赛第5轮 粤军跃居“第二集团” 2019-05-21
  • 南昌市生殖医院心理门诊正式开诊 2019-05-21
  • 端午节遇上父亲节长沙楼市上演“宫心计” ——凤凰网房产长沙 2019-05-21
  • 一条塔里木河 串起南疆各色景致与无限风光 2019-05-21
  • 大观园举办“古琴雅集” 市民感受“古韵端午” 2019-05-20
  • 十九大精神进机关:原原本本吃透精神 学懂弄通昂扬斗志 2019-05-20
  • 高清:湖北阳新县玉湖截流港溃口已被控制 2019-05-20
  • 本赛季首次梅开二度 C罗“金球定律”如约而至 2019-05-19
  • 中华人民共和国劳动合同法 2019-05-19
  • 让生命奔流成大江大河 2019-05-19
  • 习近平:我们一致主张安全是上合组织可持续发展的基石 2019-05-19
  • vivo韩伯啸:息屏下屏幕指纹解锁无压力 2019-05-18
  • 只有资本主义会关门,社会主义,有无穷的爆发力 2019-05-18
  • 长治举行 “6.16”大型安全生产宣传咨询日活动 2019-05-18
  • 高清:C罗帽子戏法科斯塔梅开二度 葡萄牙3 2019-05-17