十五年风雨路 · 一心铸精品

一个官网 留一件精品 做一个项目 树一块样板

新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站

上一篇我们提到: 今天我们来说说新都网站推广蜘蛛池做seo优化排名推广的文章,说白了,蜘蛛池就是一组由垃圾域名组成的网站。 每个站点下都会生成大量页面(一堆文本内容相互组合),页面模板与普通网页没有太大区别。 由于每个站点都有大量的页面,整个站点组的蜘蛛抓取总量也是巨大的。 未收录页面引入蜘蛛就是在站群正常页面的模板中单独

接下来我们进入今天的正文:
2022-03-23

今天新都网站建设公司无意中发现我的两个站点的访问速度都很慢。 登录阿里云查看ECS服务器后,发现CPU使用率经常达到99-100%。 看了日志,发现yisouspider(一只蜘蛛,应该是现在的蜘蛛在疯狂爬行,即使我在robots.txt中设置了禁止爬行的路径,它们也在爬行。如果是凌晨爬行,我 不说了,原来是光天化日之下疯狂爬,分分钟就可以瘫痪我们的网站,我发现很多人都在吐槽这个yisouspider,新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站了啦?最后的解决办法就是直接禁止yisouspider的爬取和访问。


限定Yisouspider访问权限的robots协议写法

robots.txt必须放在网站根目录下,且文件名要小写。

具体写法:

1) 完全禁止yisouspider抓取:

  1. User-agent: yisouspider

  2. Disallow: /

2) 禁止yisouspider抓取指定目录

新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站

  1. User-agent: yisouspider

  2. Disallow: /update

  3. Disallow: /history

禁止抓取update、history目录下网页

以上就是新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站的处理办法。

二维码

扫一扫,浏览关注本文

主营业务

  • 高端网站定制
  • SEO网站优化
  • 手机网站建设
  • 网站维护
  • 网页设计制作
  • 微信小程序开发

TAGS

随机案例

  • 阿杰美容美发培训网站建设

    阿杰美容美发培训网站建设

  • 五菱电动观光车网站建设

    五菱电动观光车网站建设

  • 婴之皇/孕婴/母婴连锁加盟/网站建设

    婴之皇/孕婴/母婴连锁加盟/网站建设

  • 功夫蚂蚁餐饮火锅加盟网站建设

    功夫蚂蚁餐饮火锅加盟网站建设

  • 新文必生印务、印刷网站建设、包装网站建设

    新文必生印务、印刷网站建设、包装网站建设

  • 伊卡璐服饰/服装网站建设​

    伊卡璐服饰/服装网站建设​

  • 康伟管业/PP超静音排水管材/网站建设

    康伟管业/PP超静音排水管材/网站建设

  • 高铁乘务/成都职业学校/四川高铁职业技术学校/网站建设

    高铁乘务/成都职业学校/四川高铁职业技术学校/···

案例展示 / CASE

明霆基础工程网站建设

查看详情

功夫蚂蚁餐饮火锅加盟网站建设

功夫蚂蚁是一家专注于麻辣烫,火锅,串串香行业的优质餐饮连锁加盟公司。提供火锅串串香加盟免费指导、火锅加盟店选址等,让您在加盟···

查看详情

晋沙汇川服装定制网站建设

查看详情

天翊装饰网站建设

天翊装饰公司网站以html5响应式一体化设计制作,高端大气上次,关键词:装修公司网站建设,装饰公司网站建设,成都装修公司网站建···

查看详情

婴之皇/孕婴/母婴连锁加盟/网站建设

查看详情

金鹿凯斯服饰/服装网站建设

金鹿凯斯服饰/服装网站建设以html5响应式一体化设计制作,手机端自动响应,高端大气上次,关键词:成都职业装网站建设,成都职业装···

查看详情

宏冠服饰网站建设

查看详情

五菱电动观光车网站建设

网站以HTML5制作,pc+wap网站制作自动跳转。关键词:五菱观光车网站建设,五菱巡逻车网站建设,封闭电动巡逻车网站建设,封闭电动观···

查看详情

康伟管业/PP超静音排水管材/网站建设

查看详情

阿杰美容美发培训网站建设

查看详情

蜀丰食品包装网站建设

实力让我们引领行业为您锁住健康,让食品更安全,让生活更健康!成都市都江堰市蜀丰食品包装有限公司成立于2014年初,是一家集研···

查看详情

伊卡璐服饰/服装网站建设​

网站以定制,订制服装网站建设为主的关键词,网站全新的以HTML5框架定制设计,整站目录清新明了,利于网站优化,搜索引擎蜘蛛爬行···

查看详情

联系我们 / CONTACT US

  • 四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903
  • 服务热线:18080432432  18080432432(微信同号)
  • 总机:028-62322623-0
  • QQ:3575114  107086147

扫码访问手机网站

版权所有 Copyright © 2007-2024 四川冠辰科技开发有限公司    川公安网备案:51010602001006号     

地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903  蜀ICP备11012605号-1

始于2007年,十五年品牌网站建设,值得信赖!  xml地图txt地图