Jevcrawl – A web crawler for AI agents with no LLM in the crawl loop

为 AI 智能体打造的网页爬虫，找到的是答案，而不只是页面。

一个小型决策模型挑选每一个链接和每一段内容，因此你的智能体的 LLM 只读取能回答其问题的内容只需每次爬取几美分。

快速开始·基准测试·工具·工作原理·配置

为什么选择 jevcrawl

浏览网站的智能体有两个糟糕的选择。它们可以读取所有内容爬虫抓取到的内容，这会把答案淹没在导航和样板文字中，并消耗大量 token。或者它们可以让 LLM 挑选每个链接，这既慢又每个问题要花费数美元。jevcrawl 两者都不做：

• 🎯更常找到答案页面。54% 的任务成功，而由 Claude 挑选链接时为 33%，并且是Crawl4AI目标导向爬取的 2 倍。
• 💸每个任务约便宜 8 倍，每个正确答案便宜 10 倍。爬取决策的成本约为 1 美分。
• ⚡比 LLM 驱动的爬取快 2 倍。一次处理四个页面，每个页面一次决策请求。
• 📜逐字引用，附带来源。每一段内容都从页面复制，并附带其 URL、标题路径和字符偏移量。决策模型只进行评分，因此无法编造文本。
• 🛡️从设计上防范提示注入。页面文本只会被评分，绝不会被遵循。
• 🔌在所有支持 MCP 的地方都能用：Claude Code、Claude Desktop、Cursor 或 CLI。

快速开始

你需要一个 Jev API 密钥，来自console.typesafe.ai以及uv。

Claude Code

claude mcp add jevcrawl -e TYPESAFE_API_KEY=<your key> -- uvx jevcrawl

Claude Desktop、Cursor 和其他 MCP 客户端（mcpServers在客户端的配置文件中）

{
  "mcpServers": {
    "jevcrawl": {
      "command": "uvx",
      "args": ["jevcrawl"],
      "env": { "TYPESAFE_API_KEY": "<your key>" }
    }
  }
}

然后向你的智能体提出类似这样的请求"使用 jevcrawl 从 docs.python.org 开始，查找是哪个 Python 版本引入了海象运算符"。用以下方式检查设置uvx jevcrawl doctor。加载技能的智能体也可以使用skills/jevcrawl/SKILL.md。

基准测试

每个系统都从网站首页开始，使用相同的 30 页预算和相同的问题。每个系统收集到的内容都交给同一个回答 LLM，并且由同一个评判者为答案评分，因此爬虫是唯一变化的因素。

jevcrawl 对比 Crawl4AI

Crawl4AI是最受欢迎的面向 LLM 的开源爬虫之一。其BestFirstCrawlingStrategy配合关键词评分器的方式，是在不使用 LLM 的情况下朝问题方向爬取，因此我们比较了两者是否能抓取到包含答案的页面。

这些数字从何而来

基准测试代码及如何复现每个数字：bench/。

工具

{"blocks": [{"url": "https://docs.python.org/3/whatsnew/3.8.html",
             "heading_path": "What’s New In Python 3.8 > New Features > Assignment expressions",
             "text": "There is new syntax := that assigns values to variables as part of a larger expression. ...",
             "char_start": 307, "char_end": 580, "relevance": 0.97}],
 "uncertain": [],
 "pages": [{"url": "https://docs.python.org/3/", "title": "3.15.0 Documentation", "lang": "en",
            "text_sha256": "b624ce93..."}],
 "stats": {"pages_fetched": 6, "tokens_raw": 80034, "tokens_returned": 1873, "jev_calls": 11,
           "cache_hits": 0, "jev_input_tokens": 164139, "jev_cost_usd": 0.0069,
           "model": "jev-1.13.0", "degraded": false, "degraded_reason": null,
           "needs_js_urls": [], "stopped_because": "answered", "elapsed_seconds": 8.3}}

裁剪为一个块和一个页面。80,034 tokens 的页面变成了 1,873 tokens 的答案，花费 $0.0069，用时 8.3 秒。

• blocks是相关段落，最相关的在前；uncertain是边缘的、值得在断定某些内容缺失之前一读的。
• char_start/char_end索引进页面文本，其 sha256 位于pages，因此引用之后可以核对。
• stopped_because是answered，frontier_empty，max_pages，max_seconds，budget或auth_error。
• 预期内的失败会以{"error": "<code>", "message": "<what to do>"}返回；这些工具永远不会向智能体的会话抛出异常。

同样的操作可以从命令行使用（uv tool install jevcrawl或pip install jevcrawl将jevcrawl放到你的 path 中）：

jevcrawl crawl https://docs.python.org/3/ --goal "海象运算符是做什么的？" [--json]
jevcrawl scrape https://example.com/help/returns [--goal "..."] [--json]
jevcrawl map https://example.com --goal "..." [--limit 20]
jevcrawl doctor

工作原理

• Jev 做判断，它不写作。 Jev对每个是/否问题返回一个概率，因此它无法生成文本。你得到的一切都是从页面复制来的。
• 页面文本是数据，永远不是指令。它只出现在问题的数据字段中；每个问题句子都是 jevcrawl 编写的固定字符串。注入的 "ignore previous instructions" 最多只能影响某个分数。
• 低于优先级下限的链接会被保留备用，而不是被丢弃，因此爬取在仍有页面预算时永远不会提前停止。
• 失败会降级，不会隐藏。在三次 Jev 请求失败后，爬取会继续按广度优先进行，在uncertain中返回每个未评分的块，并设置stats.degraded。
• 重复是免费的。Jev 的答案会缓存在本地（~/.jevcrawl/cache），因此在相同页面上针对相同目标不产生任何费用。

配置

其他一切（阈值、每页链接数、并发数）在jevcrawl/config.py中都有经过测量的默认值，Python 调用方可以传入自己的Config。

成本与隐私

Jev 仅对输入 tokens 收费，每百万 $0.042，用于jev-1.13.0；在基准测试中一次爬取平均花费 $0.011。max_decision_usd是硬性限制：可能超过它的请求永远不会被发送，爬取会以budget停止。每个结果都会报告jev_cost_usd，以及tokens_raw（普通爬取会交给你的 LLM 的内容）对比tokens_returned。

页面文本会发送到 TypeSafe（块、链接标签和 URL）进行评分。API key 从环境中读取，永远不会写入磁盘或日志。

负责任地爬取

jevcrawl 不读取robots.txt并且除了每次抓取四个页面之外，不会对自身进行速率限制。你需要对你抓取的网站、其服务条款以及适用于你的法律负责。它从不登录，不会试图绕过付费墙或 CAPTCHA，也不运行 JavaScript（需要 JavaScript 的页面列在stats.needs_js_urls中）。每次调用都受限于max_pages，max_seconds，max_decision_usd以及return_tokens。

贡献

uv sync
uv run ruff check 。 && uv run ruff format --check 。 && uv run mypy --strict jevcrawl
uv run pytest                                    #离线：所有 HTTP 均被模拟
TYPESAFE_API_KEY=... uv run pytest -m live -s    #一次极小的真实请求，花费不到一美分

测试从不接触网络或花钱；任何会这样做的都被标记为live。README 中的图表由assets/build.py根据实测数字绘制。欢迎提交 issue 和 pull request；请按照SECURITY.md中所述报告安全问题。

致谢

• WebWalkerQA由阿里巴巴通义实验室开发，用于提供真正需要爬取的问题的基准测试。
• Crawl4AI，我们用来对比的基线。
• Model Context Protocol，selectolax以及httpx。

许可证

Apache-2.0