核心导读与中文摘要
给自己的 Bot 和 Agent 接上可靠“互联网眼睛”:对比三大主流 AI 搜索与抓取 API 的返回格式、引用精度、动态 JS 页面渲染能力与免费额度。
为什么不能让 Agent 直接抓取 Google 搜索结果 HTML?
传统爬虫面对反爬盾、广告导航栏和海量 HTML 标签时,直接把网页塞给 LLM 会瞬间烧光上万 Token。专门为大模型设计的 Search API 会直接返回去噪后的干净正文、片段摘要和权威出处 URL。
三大主流工具定位对比
| 服务 | 核心专长 | 最适合的 Agent 场景 | 免费开发额度 |
|---|---|---|---|
| Tavily | 为 RAG 优化的问答检索,返回直接可用的 content 摘要 | 通用联网问答 Bot、新闻/财报调研 | 每月 1,000 次免费搜索 |
| Exa (原 Metaphor) | 基于语义 Embeddings 找相似网页、论文、GitHub 与公司官网 | 找竞品清单、筛选高相关学术/技术文章 | 注册赠送调试额度 |
| Firecrawl | 单站深度整站爬取并转为干净 Markdown(支持 JS 渲染) | 把整个官方文档站一键抓取建库做 RAG | 每月 500 页免费抓取 |
组合拳建议:Tavily 搜入口 + Firecrawl 读全文
typescript
// 1. 先用 Tavily 查最近一周的权威信息源
const searchRes = await fetch('https://api.tavily.com/search', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({
api_key: process.env.TAVILY_API_KEY,
query: 'MCP protocol typescript sdk release notes',
search_depth: 'advanced',
max_results: 5,
}),
});
// 2. 命中高价值 URL 后,需要完整文档细节时再用 Firecrawl / Crawl4AI 提取全页 Markdown
