Crawlie

Crawlie 是什么？

Crawlie 是一个用 Rust 开发的高性能网站爬虫，支持 CLI、桌面 App 和 MCP 服务器。它能抓取整个站点，进行 46+ 项检查（持续增加），输出 Health（搜索引擎健康度）和 GEO（AI 搜索可引用度）两个核心分数。每条问题都附带通俗易懂的修复建议：为什么重要、怎么改、忽略后果是什么。完全本地运行，数据不离机，无账号、无付费墙。

Crawlie 网站截图

核心特色

1. 双维度审计：SEO + GEO 并重
   • Health 分数：覆盖断链、重定向、4xx/5xx 错误、Title/Meta、Canonical、robots.txt、图片 Alt、重复/薄内容、性能、安全、移动端、国际化等经典技术 SEO。
   • GEO 分数：专为 AI 时代设计，检查结构化数据（Schema）、语义 HTML、可回答内容块、作者署名/E-E-A-T、llms.txt、日期标注等，帮助网站更容易被 ChatGPT、Perplexity、Google AI Overviews 引用。
2. Agent 原生，支持 MCP 内置 MCP 服务器，Claude、Cursor 等 AI Agent 可直接调用 crawl_site、audit_url、explain_issue 等工具，实现“AI 自己爬、自己诊断、自己提 PR 修复”的闭环。安装一句命令即可：npm i -g crawlie，然后 claude mcp add crawlie crawlie-mcp。这让 AI 生成的站点能快速自检自愈。
3. 本地优先、极速安全 Rust 异步引擎，体积小、速度快，支持并发控制、深度限制、URL 过滤、尊重 robots.txt 和 sitemap。输出支持 Pretty、JSON、CSV、HTML 报告（可分享）。完全开源（MIT），可自行扩展。
4. 易用且强大
   • CLI 一行命令搞定全站审计或单页检查。
   • 桌面 App（Tauri 构建）提供可视化界面、进度展示、历史报告、详细侧边栏。
   • 支持 CI/CD gating（–fail-on error），适合团队和自动化流程。

适用场景

• 独立开发者/产品人：快速验证 AI 生成站点是否 SEO 就绪。
• 营销/SEO 团队：预上线 QA、定期健康检查、生成客户报告。
• AI Agent 工作流：让 Agent 自主审计并优化网站。
• 内容创作者：提升文章在 AI 搜索中的可见度。
• 对比付费工具：替代 Screaming Frog 等，免费却更现代。

相比传统爬虫，Crawlie 真正做到了为 AI 时代而生：不仅找问题，还教你怎么解决；不仅服务人类，还能被 Agent 直接驱动。项目由 Spronta 团队（Sean Ryan）开发，GitHub 活跃，欢迎贡献检查规则或新功能。