上一篇我们提到: 使用大中型网站的搜索结果页面进行推广排名。 温江seo优化推广说说如何使用蜘蛛池快速万词霸屏,估计在大中型网站工作的同学都遇到过。 他们使用业务电话词(主要是商务联系方式,如“成都网站建设02886088588”)作为查询来构建搜索结果页面。 url,并主动将url暴露给搜索引擎进行爬取,从而达到商业词在搜索
接下来我们进入今天的正文:对于Apache和PHP代码屏蔽yisouspider的办法懿古今没有亲自测试,本站只采用了Nginx屏蔽yisouspider的办法,所以如果采用其他方法遇到问题的请前往温江网站建设公司留言求助。
温江网站建设公司的Apache屏蔽爬虫yisouspider访问站点方法
1、通过修改 .htaccess文件
修改网站目录下的.htaccess,添加如下代码即可(2种代码任选):
可用代码 (1):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]
可用代码 (2):
SetEnvIfNoCase ^User-Agent$ .*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT
2、通过修改httpd.conf配置文件
找到如下类似位置,根据以下代码 新增 / 修改,然后重启Apache即可:
DocumentRoot /home/wwwroot/xxx
<Directory "/home/wwwroot/xxx">
SetEnvIfNoCase User-Agent ".*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
</Directory>
以上温江网站建设公司的Apache屏蔽爬虫yisouspider访问站点方法
扫一扫,浏览关注本文
天翊装饰公司网站以html5响应式一体化设计制作,高端大气上次,关键词:装修公司网站建设,装饰公司网站建设,成都装修公司网站建···
功夫蚂蚁是一家专注于麻辣烫,火锅,串串香行业的优质餐饮连锁加盟公司。提供火锅串串香加盟免费指导、火锅加盟店选址等,让您在加盟···
成都印刷网站建设,成都印刷厂网站设计,成都画册印刷网站制作,成都画册制作网站建设,成都印刷厂家网站建设,四川印刷网站建设,四川···
网站以HTML5制作,pc+wap网站制作自动跳转。关键词:五菱观光车网站建设,五菱巡逻车网站建设,封闭电动巡逻车网站建设,封闭电动观···
网站以定制,订制服装网站建设为主的关键词,网站全新的以HTML5框架定制设计,整站目录清新明了,利于网站优化,搜索引擎蜘蛛爬行···
金鹿凯斯服饰/服装网站建设以html5响应式一体化设计制作,手机端自动响应,高端大气上次,关键词:成都职业装网站建设,成都职业装···
实力让我们引领行业为您锁住健康,让食品更安全,让生活更健康!成都市都江堰市蜀丰食品包装有限公司成立于2014年初,是一家集研···
扫码访问手机网站
版权所有 Copyright © 2007-2024 四川冠辰科技开发有限公司 川公安网备案:51010602001006号
地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903 蜀ICP备11012605号-1
始于2007年,十五年品牌网站建设,值得信赖!