通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
扩展阅读：
robots.txt概念和10条注意事项
写在结尾：以上就是通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀的详细内容，更多请关注【杭州SEO博客】其它相关文章！
本文地址：http://seo.youqingshuyuan.com/13705.html
版权声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系我们。
本文地址：http://seo.youqingshuyuan.com/13705.html
版权声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系我们。
