robots.txt文件是用来指引搜索引擎机器人应该如何去索引一个网站的一个文件说明，robots.txt文件的运用能很好指导搜索引擎机器人索引网站的路线，从而方便机器人去抓取网站，这也是对搜索引擎友好的一种表现。