Oxylabs

产品

爬虫API

网页爬虫 API

用网络爬虫API轻松采集数据

  • 只为成功交付的结果付费

  • 国家级精确的实时数据无IP封锁

  • 无需管理的网络抓取基础架构

网络爬虫API

从任何URL收集高质量数据

凭借Oxylabs网络爬虫API,甚至可以从最复杂的网站中轻松提取数据。我们的内置专利代理轮换工具、JavaScript渲染、和其他智能解决方案能确保快速可靠的数据提取过程。

  • 只为成功交付的结果付费

  • 更少的CAPTCHA验证和IP封锁

  • 精确实时的数据

轻松规避地理限制

无论您身在何处,都能访问几乎世界各地的本地数据。网络爬虫API让您能收集195个国家的本地化搜索结果。

  • 195个国家

  • 国家级精确的定向

获取无需管理的抓取基础架构

利用我们随时可用的顶级网络数据收集基础架构。无需担心JavaScript密集型网站、IP封锁或其他挑战——我们都替您解决了。

  • 无需开发维护您自有的爬虫

  • JavaScript渲染用于复杂网站

  • 失败的抓取尝试会自动重试

爬虫API对我们公司帮助很大。刚开始上手感觉有点复杂,但是我们的客户经理Gabriele非常耐心,给予我们很多帮助。

Daniel Luchino

我们公司几年前开始用Oxylabs的服务,我们对他们提供的代理服务一直非常满意。最近他们推荐我们试试他们的爬虫API,老实说我们对结果特别满意。

Richard Filmerson

很高兴我们选择和Oxylabs合作,开始用他们的爬虫API工具。它对我们的业务很有帮助,我们也很期待尝试更多他们的其他解决方案。

Liam Poposter

爬虫API对我们公司帮助很大。刚开始上手感觉有点复杂,但是我们的客户经理Gabriele非常耐心,给予我们很多帮助。

Daniel Luchino

我们公司几年前开始用Oxylabs的服务,我们对他们提供的代理服务一直非常满意。最近他们推荐我们试试他们的爬虫API,老实说我们对结果特别满意。

Richard Filmerson

很高兴我们选择和Oxylabs合作,开始用他们的爬虫API工具。它对我们的业务很有帮助,我们也很期待尝试更多他们的其他解决方案。

Liam Poposter

爬虫API对我们公司帮助很大。刚开始上手感觉有点复杂,但是我们的客户经理Gabriele非常耐心,给予我们很多帮助。

Daniel Luchino

我们公司几年前开始用Oxylabs的服务,我们对他们提供的代理服务一直非常满意。最近他们推荐我们试试他们的爬虫API,老实说我们对结果特别满意。

Richard Filmerson

很高兴我们选择和Oxylabs合作,开始用他们的爬虫API工具。它对我们的业务很有帮助,我们也很期待尝试更多他们的其他解决方案。

Liam Poposter

客户评价

我们的产品旨在为您处理工作负荷并提供必要的数据。我们致力于提供一流的客户支持和丰富的资源,并随时为您提供帮助。

从任何网站大量收集公共数据

轻松集成

我们的API集成过程快速简单!获取代码示例请查看我们的产品文档


步骤1

创建一个查询代码(query)

添加您的端点URL,有效负载(payload),和API用户凭证。


步骤2

发送您的查询代码到我们的API

接下来的任务交给我们 — 您无需再劳神费力。


步骤3

接收结果

通过API接收结果或将结果交付至您的云端存储。

无头浏览器

只需一行代码就能渲染基于JavaScript的页面,无需复杂的浏览器开发或自动化的第三方工具。内置代理能帮助您访问来自世界各地的数据,并帮助解决反爬虫解决方案。由于能够将加载的页面保存为HTML或PNG,您可以很轻松地访问所需的数据。 

  • 轻松的JavaScript渲染

  • 先进的代理集成

  • 无缝的数据收集

了解更多

具有API功能的智能抓取

自定义解析器

在使用我们的基础架构的同时,独立编写解析指令并轻松解析任何目标。

  • 无需维护自有解析器

  • 使用XPath和CSS选择器定义自己的解析逻辑

  • 收集现成的结构化数据

网络爬虫

利用网络爬虫功能,搜索电商网站上的所有页面,并大规模、实时地获取数据。

  • 只从目标网站中收集您需要的数据

  • 控制爬取范围并定制最终结果

  • 以指定的格式检索您的结果

任务管家

通过使用任务管家功能进行调度,以所需的频率自动进行重复的抓取和解析作业。

  • 为不同的作业创建多个时间表

  • 自动接收数据到您首选的云存储中

  • 每项作业完成后即可收到通知

24/7实时支持和便捷功能

深度教程

使用Oxylabs文档GitHub repository,顺利入门。

无需代理管理

利用我们超过1.02亿个代理池,而不必担心其管理问题。

批量抓取

一次性抓取多个页面,每批最多可抓取1000个URL。

多种交付方式

通过API或您的云存储(AWS S3或GCS)来接收结果。

自动作业

通过Scheduler安排重复抓取和解析作业。

24/7实时支持

无论何时,我们的支持团队随时为您提供帮助。

网络爬虫API用例

市场调研

扫描来自世界各地的无数网页来洞悉市场趋势,领先对手。

欺诈防护

设置自动网页抓取,扫描来自任何网站和多个位置的恶意内容。

旅费监控

轻松从大量使用JavaScript的高级网站获取可靠的旅行定价数据。

价格

常规
企业

只为成功结果付费

收集国家级数据

获得抓取专业知识

机不可失

免费试用

0

1周免费试用

仅限一位用户

初始级

49

2.8美元/1000个结果

49美元包月

入门级

99

2.6美元/1000个结果

99美元包月

进阶级

249

2.4美元/1000个结果

249美元包月

结果
5,000

17,500

38,000

104,000

速率限制

5个请求/秒

10个请求/秒

15 个请求/秒

30个请求/秒

JavaScript渲染
国家级定向
24/7实时支持
专属客户经理

我们接受以下付款方式:

常见问题

我能用网络爬虫API提取什么类型的数据?

网络爬虫API能够交付大多数网站的网页HTML代码。此外,有些网站使用JavaScript来加载动态内容,您还能使用JavaScript渲染功能从这些网站获取所需HTML。

我能用网络爬虫API实现重复抓取自动作业吗?

可以,我们所有的爬虫API都提供免费的Scheduler功能。您只需安排重复抓取作业的日程就能实现自动作业。简单来说,您无需再发送带有相同参数的新请求来接收相同公共数据的日常更新。同样地,您也无需创建或管理您的日程安排脚本。查看我们的文档,了解更多关于Scheduler功能的信息。

网络爬虫API需要用时多久返回结果?

网络爬虫API能交付来自几乎世界各地任何网站的实时结果。交付时间很大程度上取决于请求目标。欲了解关于具体目标的更多信息,请联系您的客户经理或我们的支持团队

对网站的信息进行抓取是否合法?

在不违反任何有关源目标或数据本身的法律的情况下,网络爬取服务可能属于合法。我们强烈建议您在执行任何抓取项目之前阅读相关资料并咨询您的法律顾问,以避免任何潜在风险。

选择Oxylabs®,业务更上一层楼


联系我们

经过认证的数据中心和上游提供商

关注我们

  • we chat qr code

    微信公众号

    微信号

    Oxylabs

高级代理解决方案


隐私政策

oxylabs.cn© 2024 保留所有权利©