HN 热帖：网站被 AI 爬虫流量淹没
开发者 sammystraus 在 Hacker News 发布自建 RSS 阅读器 sprinklz.io 后，网站变得极慢。加日志排查发现，大部分请求根本没执行渲染页面的 JavaScript；聚合 NGINX 日志后，近一半流量来自单一用户——对方自称监听网站变化并生成 AI 摘要简报，实际每分钟查询网站多次。另有 Claude bot、OpenAI bot、Google 索引等已知爬虫。作者已封禁该来源。
推荐理由做网站或 API 的人可参考：近半流量来自一个伪装成 AI 简报的爬虫，日志排查思路可直接复用