建站资讯
将想法与焦点与您共享，让好的想法行之有效并产生价值！
Robots.txt 文件应放在哪里？
发布时间：2021-06-03 14:29:55 浏览次数：15
Robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
比如：
http://xunkj.com/robots.txt
有效
http://xunkj.com/bbs/robots.txt
无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
比如：
http://xunkj.com/robots.txt
有效
http://xunkj.com/bbs/robots.txt
无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
版权：本文由光迅网络(xunkj.com)发布，转载请保留链接:https://xunkj.com/wangzhanyouhua/2276.html
如有内容侵权，请联系我们。
相关推荐
