常见的robots.txt文件用法实例： 1、禁止所有搜索引擎抓取网站的任何部分 User-agent: * Disallow: / 这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。 2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件） User-agent: * Allow: / 这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以不用创建robtos.txt文件，即默认全部允许抓取。 3、禁止spider抓取特定目录 User-agent: * Disallow: /a/ Disallow: /b/ Disallow: /c/ 这是禁止所有的spider抓取a、b、c目录。这个规则我们最常用到，比如网站的程序后台、程序目录等都可以禁止spider抓取，以减少spider无意义的浪费我们的空间资源。 4、禁止spider抓取搜索结果页面 User-agent: * Disallow: /so_article?* 如果你网站的搜索结果页面URL格式如：/so_article?keyword=搜索关键字，则按以上格式进行屏蔽，注意最后带了一个星号*，代表屏蔽so_article?带头的所有URL。 对于大部分网站，常用的就是以上4种情况。 扩展阅读： robots.txt概念和10条注意事项 robots.txt文件用法举例，百度官方资料截图版