robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
如:
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意:
1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。
2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。
扩展阅读:
robots.txt概念和10条注意事项
写在结尾:以上就是Robots.txt 文件应放在哪里?的详细内容,更多请关注【杭州SEO博客】其它相关文章!
本文地址:http://seo.youqingshuyuan.com/13697.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。
本文地址:http://seo.youqingshuyuan.com/13697.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。