网站robot和meta禁止YisouSpider,解决网站奇卡

tomcat 禁止YisouSpider,解决网站奇卡

有几天时间,网站变得很卡,以为是阿里云的问题,突然有一天觉得会不会是YisouSpider爬去导致占用资源,我这猜想堪比哥德巴赫猜想,很奇葩,但是值得一试。于是查日志,天天,果然无数个YisouSpider爬去记录,果断干掉。

操作一,在robot中禁止YisouSpider,虽然网上说这货可能跳过robot不理睬,也还是设置一下。冗余。

http://www.lijiejie.com/robots-dot-txt-disallow-yisouspider/

接下来第二步,在网页端也设置一下,代码如下:

<META NAME="YisouSpider" CONTENT="NOINDEX, NOFOLLOW">

然后重启服务器,居然速度恢复,这是我没有想到的,按理,网上说这货不理robot,也可能不理html的meta。所以如果上述两项操作无效,那只能进一步寻找tomcat 禁止YisouSpider的配置方法。目前百度上搜索信息了了。

以下是robot设置的其他一些有用信息:

https://blog.csdn.net/chinapi_hzh/article/details/5734024

当然,有时候不仅仅是 YisouSpider 的事,还有如下可能原因:

1,360自动收录代码,这个只要加到网站,就开始有点卡;

2, CNZZ 统计,同样的,这个统计代码一加到网站上,网站也开始卡。

3,服务器内存太小,这个就没有办法,如果内存只剩下200多,那网站是一定要卡的

4,服务器使用突发型实例,这个不用说,必需卡,要换cpu型号才行。现在都用n4.

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: