几乎每个网站都有robots文件，robots文件可以规定哪些蜘蛛可以抓取网站的哪些文件，屏蔽掉不想被访问的蜘蛛，节省资源以及避免被不必要的采集。屏蔽掉不需要被...