# 51视频 · 站群 robots(根相对路径,不写域名) # 允许首页、栏目页、文章页、图片、视频和静态资源。 # 新增 html 由 sitemap / RSS 重新扫描,不用改本文件。 # RSS: /rss.xml # Feed: /feed.xml User-agent: * Allow: / Allow: /images/ Allow: /videos/ Allow: /css/ Allow: /js/ Allow: /articles/ Allow: /article/ Allow: /posts/ Disallow: /*?*debug=1 Disallow: /*?*__path= Sitemap: /sitemap.xml