tomcat 禁止YisouSpider,解决网站奇卡
有几天时间,网站变得很卡,以为是阿里云的问题,突然有一天觉得会不会是YisouSpider爬去导致占用资源,我这猜想堪比哥德巴赫猜想,很奇葩,但是值得一试。于是查日志,天天,果然无数个YisouSpider爬去记录,果断干掉。
操作一,在robot中禁止YisouSpider,虽然网上说这货可能跳过robot不理睬,也还是设置一下。冗余。
http://www.lijiejie.com/robots-dot-txt-disallow-yisouspider/
接下来第二步,在网页端也设置一下,代码如下:
<META NAME="YisouSpider" CONTENT="NOINDEX, NOFOLLOW">
然后重启服务器,居然速度恢复,这是我没有想到的,按理,网上说这货不理robot,也可能不理html的meta。所以如果上述两项操作无效,那只能进一步寻找tomcat 禁止YisouSpider的配置方法。目前百度上搜索信息了了。
以下是robot设置的其他一些有用信息:
https://blog.csdn.net/chinapi_hzh/article/details/5734024
当然,有时候不仅仅是 YisouSpider 的事,还有如下可能原因:
1,360自动收录代码,这个只要加到网站,就开始有点卡;
2, CNZZ 统计,同样的,这个统计代码一加到网站上,网站也开始卡。
3,服务器内存太小,这个就没有办法,如果内存只剩下200多,那网站是一定要卡的
4,服务器使用突发型实例,这个不用说,必需卡,要换cpu型号才行。现在都用n4.