过去几个月里，我们一直在改进实时爬虫产品。现在，我们高兴地宣布，我们即将带来爬虫新产品！不像以往的单一解决方案，我们将推出不同定位的3款工具：SERP爬虫API、电商爬虫API和网络爬虫API。我们上一代产品非常出色，只是该更新了。在这篇博文中，我们会说明为什么我们决定升级产品。
有哪些变化？
实时爬虫是网络抓取行业中最早出现的数据采集工具之一，专门用于大规模采集电子商务公共数据和搜索引擎数据。它帮助过许多公司轻松收集公共数据，而现在我们的产品性能更加出色。
“我们根据实时爬虫的不同功能，分别开发出3款专用爬虫工具。这样我们得以有针对性地进行产品开发，从而为客户提供整体性能和使用体验更加优越的产品。”
– Aleksandras Šulženko, Oxylabs爬虫API产品经理
从现在开始，实时爬虫已演生为一组稳健的爬虫API，其中每一款都能充分发挥特定优势：
产品功能优化
所有爬虫API的共同特点和优势，是都能帮助公司轻松采集公共数据：
100%数据交付成功率
专利代理切换工具
高可扩展性
可轻松集成
超过1亿零2百万个IP
按用户首选格式交付数据（AWS S3或GCS）
24/7全天候实时支持
当然，每款产品都有独特优势：
SERP爬虫API：
本地化的搜索结果
实时可靠数据
不受SERP布局变化影响
电商爬虫API：
数千家电商网站可供数据抓取
自适应解析器
JSON格式的结构化数据
网络爬虫API：
请求参数可定制
JavaScript渲染
便捷的数据交付
全新外观
现在，3款爬虫API都有特定用途新标志，可以轻松识别:
沿用以前的集成方式
为了方便我们的现有客户和本次更新前试用过我们产品的潜在客户使用，我们决定沿用之前的集成和身份验证方式，以及相同的请求参数。
SERP爬虫API身份验证方式
SERP爬虫API采用基本HTTP身份验证方式，仅需用户名和密码。这是启用此工具最简单的方式之一。以下代码示例展示如何通过实时（Realtime）方式发送GET请求，从搜索引擎抓取公共数据。如需了解更多信息，请查看SERP爬虫API快速指南。
curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source": "SEARCH_ENGINE_search", "domain": "com", "query": "shoes"}'
*对于这个示例，你必须指定确切来源以查找可用来源。
电商爬虫API身份验证方式
电商爬虫API采用基本HTTP身份验证方式，仅需用户名和密码。以下代码示例展示如何通过实时交付方式，发送GET请求至books.toscrape.com。
curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source": "universal_ecommerce", "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html", "geo_location": "United States", "parse": true, "parser_type": "ecommerce_product"}'
网络爬虫API身份验证方式
和以前的爬虫一样，SERP爬虫API也采用基本HTTP身份验证方式，仅需用户名和密码。以下代码示例展示如何通过实时交付方式，发送GET请求至https://ip.oxylabs.io。
curl --user "USERNAME:PASSWORD"'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source": "universal", "url": "https://ip.oxylabs.io"}'
总结
我们希望这篇帖子可以帮助你了解，为什么我们决定将实时爬虫改为3款不同工具，以及各款爬虫API分别有哪些精彩功能。
如果你对爬虫API的变化有任何疑问或建议，欢迎通过专属客户经理，或者发送电子邮件至support@oxylabs.io与我们联系。
关于作者
Iveta Vistorskyte
内容经理
Iveta Vistorskyte 在 Oxylabs 担任一名内容经理。作为一名作家和挑战者，她决定进军技术领域，并立即对这个领域产生了兴趣。当她不工作时，您可能会发现她只是在听她最喜欢的音乐或与朋友们玩棋盘游戏来放松身心。
Oxylabs博客上的所有信息均按“原样”提供，仅供参考。对于您使用Oxylabs博客中包含的任何信息或其中可能链接的任何第三方网站中包含的任何信息，我们不作任何陈述，亦不承担任何责任。在从事任何类型的抓取活动之前，请咨询您的法律顾问，并仔细阅读特定网站的服务条款或取得抓取许可。
选择Oxylabs®，业务更上一层楼
oxylabs.cn© 2024 保留所有权利©