What is Crawly?
从网站上获取结构化信息或清晰的视觉内容通常需要复杂工具的配合或手动操作。而 Crawly 简化了整个流程。它是一个简单直接的 Web 数据提取 API,旨在帮助您精确地提取所需的信息——从特定细节到完整的站点分析——并捕获高质量的屏幕截图,所有这些都通过一个简单的 API 调用实现。
无论您是跟踪竞争对手的价格、收集研究数据,还是仅仅需要网页的视觉快照,Crawly 都能提供一种可靠的、以编程方式访问 Web 信息的途径。
主要功能
🎯 精准数据提取: 使用简单的键和描述,精确指定您需要的内容。 定义您期望的数据类型,例如文本使用
string,数值使用number,多个项目使用list,真/假标志使用boolean,Crawly 将提供结构化的 JSON 输出,随时可供您的应用程序使用。🤖 运用 AI 洞察: 使用可选的
prompt参数来指导数据提取。 要求 Crawly 扮演特定的角色(例如营销专家),或者以某种方式解读页面内容,从而根据页面内容为您提供更具针对性和上下文感知的结果。🔍 全站扫描: 不仅仅局限于单个页面。 将
scan参数设置为"full",Crawly 将智能地发现初始 URL 上的相关链接,抓取它们,并编译全面的数据,从而让您更广泛地了解整个站点的内容。📸 捕获高分辨率屏幕截图: 每次抓取都会自动获取全页、高分辨率的屏幕截图。 API 响应包含指向屏幕截图文件的直接链接,非常适合存档、分析或视觉文档记录。
⚙️ 简易 API 集成: 通过对清晰的端点(
https://api.crawly.dev/crawl)的单个POST请求与 Crawly 交互。 发送您的目标url、提取data要求以及可选参数(如scan或prompt),并直接接收结果。
Crawly 的应用场景
竞品监控: 需要密切关注竞争对手的产品细节吗?设置一个 Crawly 请求,定期从他们的关键产品页面提取名称、价格(
type: "number")和功能列表(type: "list")。 您将获得结构化的数据,非常适合分析或仪表板展示。市场调研数据收集: 正在研究一个新市场? 使用
scan: "full"选项,并结合prompt来收集多个行业网站的描述、关键服务和联系信息,将数小时的手动浏览整合到几分钟内。网站存档与变更追踪: 想要以可视化的方式跟踪合作伙伴网站上的更改,或者在重新设计之前记录网站? 安排定期的 Crawly 请求,以捕获全页屏幕截图并提取关键文本部分(
type: "string"),以便轻松地比较随时间推移的版本。
开始使用 Web 数据提取
Crawly 提供了一条直接访问您需要的 Web 数据和视觉内容的途径,无需管理复杂的爬取基础设施的开销。 它能够处理特定的数据点、执行全站点扫描、使用 AI 提示解读内容以及捕获高质量的屏幕截图,使其成为开发人员、分析师和企业的通用工具。 简单明了的 API 和按需付费的定价意味着您可以高效且经济地集成 Web 数据提取功能。





