用于网络抓取和解析的任务管家

  • 以您喜欢的任何频率安排多项作业

  • 让数据自动发送到您的云存储中

  • 通过交付通知保持信息畅通

*任务管家是爬虫API的一项免费功能

为不同的作业配置多个时间表

当涉及到网络数据采集时,自动化是关键。如果您需要定期执行相同的抓取作业,可以让任务管家为您完成工作。创建多项作业,使用Cron表达式来设置时间间隔,并轻松获得自动数据更新。

让数据自动传输到您的云存储中

借助排定作业实现轻松无忧,您将自动定期在首选的云存储中收到更新和数据。

只要数据传输,就会收到通知

为了定期接收数据更新,您将无需发送新的请求并创建或维护调度脚本。只需设置重复进行的抓取作业,剩下的就由我们来做 - 只要抓取和解析的数据被发送到您的云存储中,您就会收到通知。

任务管家的工作原理为何?

任务管家是我们所有爬虫API的功能之一,用于设置重复进行的抓取和解析作业。其过程可以分成三个部分:使用Cron设置频率,提供抓取和解析参数,并设置结束时间。


第1步

设置一个频率,并在该频率下执行抓取作业。


第2步

向我们提供您选择的作业参数集。


第3步

只要结果出现在您的云存储中,就会收到通知。


第4步

设置结束时间,我们将停止发送数据。

具有任务管家功能的爬虫API

任务管家是我们任何爬虫API用户都能免费获得的额外功能。

SERP爬虫API

主要搜索引擎提供的城市级别SERP数据交付。

  • 本地化搜索结果

  • 实时可靠的数据

  • 能很好地适应SERP布局变化

最适用于:

关键词数据收集、品牌监控、广告数据追踪。

49美元起/月

免费试用

电商爬虫API

抓取电商产品页面并返回随时可用的数据。

  • 1000多家电子商务网站

  • 自适应解析器

  • JSON格式的结构化数据

最适用于:

定价情报、产品目录映射、竞争者分析。

49美元起/月

免费试用

网页爬虫API

可从大多数网站收集可扩展的实时数据。

  • 可定制的请求参数

  • JavaScript渲染

  • 方便交付

最适用于:

网站更改监控、欺诈防护、旅行费用监控。

49美元起/月

免费试用

Aivaras Steponavicius

Oxylabs客户经理

通过根据设定的时间间隔抓取和解析数据,任务管家能够完成繁重的工作 - 将数据发送到客户的云存储中,因此无需再重复发送相同的请求。

Ruta Petronyte

Oxylabs客户经理

任务管家旨在简化您日常的抓取和解析作业。根据您的偏好,它可以每分钟、每小时或每天执行抓取和解析作业。

来自您专属客户经理的寄言

从专属客户经理那里获得关于任何网络抓取相关事宜的个人帮助。

常见问题

什么是任务管家?

任务管家是Oxylabs爬虫API的一项免费功能。它允许您自动定期进行相同的抓取作业,并按您所选的频率接收数据。这样,您就无需再发送新的请求或创建调度脚本来创建重复的抓取和解析作业。

如何用任务管家设置作业?

您必须提交一个请求,让我们创建一个时间表,并指定:

  1.  我们应该多长时间重复一次作业
  2. 作业的具体详情
  3. 作业结束时间
  4. 回调URL(可选)
  5. 云存储URL(可选)

如果您向我们提供回调URL,只要排定的作业完成,我们就会向您发出通知。您即可在您的云存储中(如果您已指定)访问抓取和解析的结果。

选择Oxylabs®,业务更上一层楼


联系我们

经过认证的数据中心和上游提供商

关注我们

  • we chat qr code

    微信公众号

    微信号

    Oxylabs

高级代理解决方案


隐私政策

oxylabs.cn© 2024 保留所有权利©