上一篇我们提到: 使用大中型网站的搜索结果页面进行推广排名。 温江seo优化推广说说如何使用蜘蛛池快速万词霸屏,估计在大中型网站工作的同学都遇到过。 他们使用业务电话词(主要是商务联系方式,如“成都网站建设02886088588”)作为查询来构建搜索结果页面。 url,并主动将url暴露给搜索引擎进行爬取,从而达到商业词在搜索
接下来我们进入今天的正文:对于Apache和PHP代码屏蔽yisouspider的办法懿古今没有亲自测试,本站只采用了Nginx屏蔽yisouspider的办法,所以如果采用其他方法遇到问题的请前往温江网站建设公司留言求助。
温江网站建设公司的Apache屏蔽爬虫yisouspider访问站点方法
1、通过修改 .htaccess文件
修改网站目录下的.htaccess,添加如下代码即可(2种代码任选):
可用代码 (1):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]
可用代码 (2):
SetEnvIfNoCase ^User-Agent$ .*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT
2、通过修改httpd.conf配置文件
找到如下类似位置,根据以下代码 新增 / 修改,然后重启Apache即可:
DocumentRoot /home/wwwroot/xxx
<Directory "/home/wwwroot/xxx">
SetEnvIfNoCase User-Agent ".*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
</Directory>
以上温江网站建设公司的Apache屏蔽爬虫yisouspider访问站点方法
扫一扫,浏览关注本文
扫码访问手机网站
版权所有 Copyright © 2007-2025 四川冠辰科技开发有限公司 川公安网备案:51010602001006号
地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903 蜀ICP备11012605号-1
始于2007年,十五年品牌网站建设,值得信赖!