关注微信公众号

关注微信公众号

QQ

QQ二维码

微信

微信二维码

联系我们

实时爬虫程序 数据提取可选方案

1

数据API

侧重于搜索引擎和电子商务站点,通过随时可用的数据API接收JSON格式的结构化数据。

label.products.rtc.extraction.imgAlt.es

电子商务API

专为访问电子商务站点的数据而量身定制

电子商务API

搜索引API

从主流搜索引擎实时获取结构化数据

2

HTML爬虫程序API

可在不被封锁的情况下对大多数HTML网站实施爬取项目,从而实现更高资源利用率的数据采集。

取数据

单一查询和批量可选方案

以最方便的方式获取数据。

渲染JS

渲染大量使用JavaScript的网站

我们将为您渲染JS

价格

按月结算
按年结算10%的折扣

国家/地区和ASN过滤

100%交付

高度的可扩展性

入门级

99

包括以下一项数量的IP:

60千

HTML网页


或者

40千

带有JS渲染的HTML网页


或者

29千

电子商务/搜索引擎API网页

续费价格:

1.65美元

/1000个HTML网页


或者

2.50美元

/1000个带有JS渲染的HTML网页


或者

3.50美元

/1000个电子商务/搜索引擎API网页

业务级

399

包括以下一项数量的IP:

285千

HTML网页


或者

190千

带有JS渲染的HTML网页


或者

160千

电子商务/搜索引擎API网页

续费价格:

1.40美元

/1000个HTML网页


或者

2.10美元

/1000个带有JS渲染的HTML网页


或者

2.50美元

/1000个电子商务/搜索引擎API网页

公司级

999

包括以下一项数量的IP:

833千

HTML网页


或者

555千

带有JS渲染的HTML网页


或者

526千

电子商务/搜索引擎API网页

续费价格:

1.20美元

/1000个HTML网页


或者

1.80美元

/1000个带有JS渲染的HTML网页


或者

1.90美元

/1000个电子商务/搜索引擎API网页

企业级

起售价:

10,000

包括以下一项数量的IP:

14M+

HTML网页


或者

11M+

带有JS渲染的HTML网页


或者

10M+

电子商务/搜索引擎API网页

入门级

99美元

89

包括以下一项数量的IP:

60千

HTML网页


或者

40千

带有JS渲染的HTML网页


或者

29千

电子商务/搜索引擎API网页

续费价格:

1.48美元

/1000个HTML网页


或者

2.22美元

/1000个带有JS渲染的HTML网页


或者

3.07美元

/1000个电子商务/搜索引擎API网页

业务级

399美元

359

包括以下一项数量的IP:

285千

HTML网页


或者

190千

带有JS渲染的HTML网页


或者

160千

电子商务/搜索引擎API网页

续费价格:

1.26美元

/1000个HTML网页


或者

1.89美元

/1000个带有JS渲染的HTML网页


或者

2.24美元

/1000个电子商务/搜索引擎API网页

公司级

999美元

899

包括以下一项数量的IP:

833千

HTML网页


或者

555千

带有JS渲染的HTML网页


或者

526千

电子商务/搜索引擎API网页

续费价格:

1.08美元

/1000个HTML网页


或者

1.62美元

/1000个带有JS渲染的HTML网页


或者

1.71美元

/1000个电子商务/搜索引擎API网页

企业级

起售价:

9,000

包括以下一项数量的IP:

14M+

HTML网页


或者

11M+

带有JS渲染的HTML网页


或者

10M+

电子商务/搜索引擎API网页

无需额外费用,价格中包含:

关于目标信息抓取的建议

已解析的数据

已获专利的代理轮换工具

无需代理维护

高度的可定制性

24/7全天候实时支持

试用实时爬虫程序的 数据API

搜索引AP请求

!

必填项

电子商务站点API请求

!

必填项

        
{ "title": "See Real-Time Crawler in action!", "message": "Enter your keyword to see the real output example.", "note": "Choose other criteria (optional).", }
实时爬虫程序电子商务API

从主流
来自领先电子商务网站的结果

利用实时爬虫程序电子商务API,为以下用途获取解析的数据:

产品网页 问题与解答 优惠列表网页 评价 搜索 畅销产品
实时爬虫程序搜索引擎

从主流搜索引擎获取结构化结果

实时爬虫程序搜索引擎API能够为以下用途提供解析的数据:

原生 受欢迎产品 付费 视频 产品列表广告 图片
HTML结果

大多数网站获取HTML结果

利用新增的功能,HTML爬虫程序API能够提供原始数据,例如:

IP封锁管理 批量查询 Captcha验证应对 代理池管理

实时爬虫程序
主要优势

确保100%的成功率

确保100%的成功率

只为成功抓取的网页支付费用*

能够从大多数网站提取数据,而不被封锁

采用下一代住宅代理技术

采用下一代住宅代理技术

采用AI/ML算法技术的下一代住宅代理可确保平稳的数据采集

用于封锁管理的代理轮换工具

用于封锁管理的代理轮换工具

已获专利的Oxylabs代理轮换工具支持更快速地实现成功请求

JSON格式的结构化结果

JSON格式的结构化结果

从主流电子商务和搜索引擎站点实时或通过回调方法获取结构化JSON数据

高度的可扩展性和可定制性

高度的可扩展性和可定制性

通过利用Oxylabs全球代理基础设施来支持大批量请求

在国家/地区和城市级别或者按设备量身定制的请求

零代理维护

零代理维护

适应网站更改

可应对IP封锁和CAPTCHA验证

负责代理管理

易于集成


  import requests
  from pprint import pprint

  # Structure payload.
  payload = {
    'source': 'universal',
    'url': 'https://stackoverflow.com/questions/tagged/python',
    'user_agent_type': 'desktop',
  }

  # Get response.
  response = requests.request(
  'POST',
  'https://realtime.oxylabs.io/v1/queries',
  auth=('user', 'pass1'),
  json=payload,

  # This will return the JSON response with results.
  pprint(response.json())


<?php
  $params = array(
    'source' => 'universal',
    'query'  => 'https://stackoverflow.com/questions/tagged/python',
    'user_agent_type'  => 'desktop',
  );

  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
  curl_setopt($ch, CURLOPT_POST, 1);
  curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

  $headers = array();
  $headers[] = "Content-Type: application/json";

  curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
  $result = curl_exec($ch);

  echo $result;

  if (curl_errno($ch)) {
      echo 'Error:' . curl_error($ch);
  }
  curl_close ($ch);
?>


  curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
  -d '{"source": "universal", "url": "https://stackoverflow.com/questions/tagged/python", "user_agent_type": "desktop"}'


  https://realtime.oxylabs.io/v1/queries?source=universal&url=https%3A%2F%2Fstackoverflow.com%2Fquestions%2Ftagged%2Fpython&user_agent_type=desktop&access_token=1234abcd