robots.txt

最详细的robots文件的写法解析（符合搜索需求）

在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是 个字母大写，后面的字母小写，而且在:后面必须带一个英文字符下的空格。