# ============================================================================= # 51吃瓜网 — 站群 robots.txt(相对路径,多域名通用) # 全站允许抓取 | Sitemap 相对路径 /sitemap.xml(随访问域名自动解析) # 新增文章/栏目后运行:python update-sitemap.py # ============================================================================= User-agent: * Allow: / User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Yandex Allow: / Sitemap: /sitemap.xml