• User-agent：指定适用的爬虫名称，* 表示所有爬虫
• Disallow：禁止爬虫访问的路径
• Allow：允许爬虫访问的路径（可覆盖Disallow）
• Sitemap：声明站点地图地址，帮助爬虫发现页面
• Crawl-delay：设置爬虫请求间隔（秒）
• 文件位置：应放在网站根目录下，路径为 /robots.txt