我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: * Disallow: /**
更详细的robots设置方法,可以看下面链接课程
https://ke.seowhy.com/play/9492.html
写在结尾:以上就是蜘蛛抓取有好多动态链接是否有影响?如何处理动态url抓取?的详细内容,更多请关注【杭州SEO博客】其它相关文章!
本文地址:http://seo.youqingshuyuan.com/12179.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。
本文地址:http://seo.youqingshuyuan.com/12179.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。