1stplayer.com Review

 # 允许所有爬虫访问（也可指定特定爬虫）
User-agent: *
# 禁止抓取的敏感路径
Disallow: /admin/

# 针对OpenAI爬虫的单独配置（User-Agent需匹配日志中的标识）
#User-agent: ChatGPT-User
# 允许抓取的路径（仅开放产品相关页面）
#Allow: /productdetails/
#Allow: /product/
Allow: /uploads/images/
# 禁止抓取PDF等大文件（避免资源消耗）
Disallow: /uploads/files/
Disallow: /uploads/videos/
# 抓取间隔：每10秒最多1次请求（crawl-delay单位为秒）
Crawl-delay: 10

# 站点地图（可选，帮助爬虫高效抓取）
#Sitemap: https://www.1stplayer.com/sitemap.xml

HTTP/1.1 200 OK
Server: nginx
Date: Mon, 15 Dec 2025 04:04:32 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
Strict-Transport-Security: max-age=31536000
Content-Encoding: gzip