用网络爬虫API轻松采集数据

  • 只为成功交付的结果付费

  • 国家级精确的实时数据无IP封锁

  • 无需管理的网络抓取基础架构

网络爬虫API

从任何URL收集高质量数据

凭借Oxylabs网络爬虫API,甚至可以从最复杂的网站中轻松提取数据。我们的内置专利代理轮换工具、JavaScript渲染、和其他智能解决方案能确保快速可靠的数据提取过程。

  • 只为成功交付的结果付费

  • 更少的CAPTCHA验证和IP封锁

  • 精确实时的数据

轻松规避地理限制

无论您身在何处,都能访问几乎世界各地的本地数据。网络爬虫API让您能收集195个国家的本地化搜索结果。

  • 195个国家

  • 国家级精确的定向

获取无需管理的抓取基础架构

利用我们随时可用的顶级网络数据收集基础架构。无需担心JavaScript密集型网站、IP封锁或其他挑战——我们都替您解决了。

  • 无需开发维护您自有的爬虫

  • JavaScript渲染用于复杂网站

  • 失败的抓取尝试会自动重试

客户评价

Daniel Luchino

“爬虫API对我们公司帮助很大。刚开始上手感觉有点复杂,但是我们的客户经理Gabriele非常耐心,给予我们很多帮助。”

Richard Filmerson

“我们公司几年前开始用Oxylabs的服务,我们对他们提供的代理服务一直非常满意。最近他们推荐我们试试他们的爬虫API,老实说我们对结果特别满意。”

Liam Poposter

“很高兴我们选择和Oxylabs合作,开始用他们的爬虫API工具。它对我们的业务很有帮助,我们也很期待尝试更多他们的其他解决方案。”

从任何网站大量收集公共数据

轻松集成

我们的API集成过程快速简单!获取代码示例请查看我们的产品文档


步骤1

创建一个查询代码(query)

添加您的端点URL,有效负载(payload),和API用户凭证。


步骤2

发送您的查询代码到我们的API

接下来的任务交给我们 — 您无需再劳神费力。


步骤3

接收结果

通过API接收结果或将结果交付至您的云端存储。

使用Crawler进行智能抓取

提取数据更有效

使用网络爬虫API的Crawler功能来探索网页,只抓取您需要的数据。Crawler会根据您的标准快速爬取网站,并将完整数据顺畅返回给您。

为什么使用Crawler?

能够快速而且只收集网站上的相关数据,轻松控制爬取范围和最终数据结果,获取HTML文档或URL列表等可靠结果。

如何操作?

您只需选择一个起始URL,设置爬取和处理筛选工具,定义抓取参数,然后就可以将结果收入您选择的云存储桶。

24/7实时支持和便捷功能

深度教程

使用Oxylabs文档GitHub repository,顺利入门。

无需代理管理

利用我们超过1.02亿个代理池,而不必担心其管理问题。

批量抓取

一次性抓取多个页面,每批最多可抓取1000个URL。

多种交付方式

通过API或您的云存储(AWS S3或GCS)来接收结果。

自动作业

通过Scheduler安排重复抓取和解析作业。

24/7实时支持

无论何时,我们的支持团队随时为您提供帮助。

网络爬虫API用例

市场调研

扫描来自世界各地的无数网页来洞悉市场趋势,领先对手。

欺诈防护

设置自动网页抓取,扫描来自任何网站和多个位置的恶意内容。

旅费监控

轻松从大量使用JavaScript的高级网站获取可靠的旅行定价数据。

价格

按月结算
按年结算
10%的折扣

只为成功结果付费

收集国家级数据

获得抓取专业知识

入门级

99

1.3美元/1000 个请求

99美元包月

最热门

业务级

399

1美元/1000 个请求

399美元包月

公司级

999

0.6美元/1000 个请求

999美元包月

企业级

起售价:

10,000

按每个请求定制价格

获得报价

页面
76000
399000
160 万
1400 万+
速率限制
15 个结果/秒
50 个结果/秒
100 个结果/秒
无限
城市级抓取
专属客户经理
仪表板
24/7实时支持

我们接受以下付款方式:

常见问题

我能用网络爬虫API提取什么类型的数据?

网络爬虫API能够交付大多数网站的网页HTML代码。此外,有些网站使用JavaScript来加载动态内容,您还能使用JavaScript渲染功能从这些网站获取所需HTML。

我能用网络爬虫API实现重复抓取自动作业吗?

可以,我们所有的爬虫API都提供免费的Scheduler功能。您只需安排重复抓取作业的日程就能实现自动作业。简单来说,您无需再发送带有相同参数的新请求来接收相同公共数据的日常更新。同样地,您也无需创建或管理您的日程安排脚本。查看我们的文档,了解更多关于Scheduler功能的信息。

网络爬虫API需要用时多久返回结果?

网络爬虫API能交付来自几乎世界各地任何网站的实时结果。交付时间很大程度上取决于请求目标。欲了解关于具体目标的更多信息,请联系您的客户经理或我们的支持团队

对网站的信息进行抓取是否合法?

在不违反任何有关源目标或数据本身的法律的情况下,网络爬取服务可能属于合法。我们强烈建议您在执行任何抓取项目之前阅读相关资料并咨询您的法律顾问,以避免任何潜在风险。

选择Oxylabs®,业务更上一层楼


隐私政策

oxylabs.cn© 2022 保留所有权利©