网络爬虫：从哪里入门&如何操作

网络爬虫的操作

网络爬虫可以帮助您利用我们的爬虫API的抓取和解析数据功能，通过JavaScript渲染等高级功能顺利爬取网站。

流程主要包括三个阶段：

1.用户输入。首先，制定爬取模式来定义所需数据：

• 选择起始网页链接（URL）。

• 定义网络爬虫要访问的系列链接。

• 定义包含有用信息的链接。

• 指定数据收集偏好，例如地理位置。

2.发现数据。接收到您的输入信息后，网络爬虫按照网页之间的链接遍历网站，直到再也找不到与您指定的模式匹配的新链接。

3.爬取结果。网络爬虫结束任务后，您便可以通过API下载指定格式的可用数据结果，或者将它们上传到您选择的云存储空间。

任务设置

接下来我们快速了解如何使用网络爬虫。您可以在我们的产品文档中找到各种端点、参数和值的详细设置说明。

端点

您可以在API客户端（例如Postman）上，通过端点与API进行通信。用户可以通过网络爬虫的端点来控制流程 ：

• 启动、停止或恢复作业。

• 了解作业信息。

• 获取爬取过程中发现的URL列表。

• 获取数据结果。

爬取参数

您可以提供一组参数来确定爬取范围。选择起始URL（目标网站）并通过筛选器来确定爬取流程的范围。通过筛选器还可以确定最终结果中应包含哪些URL。

抓取参数

除定义网络爬虫如何处理遍历网站时发现的URL外，您还可以添加抓取参数来微调抓取作业方式。抓取参数因使用的不同爬虫API而有所不同。

注意：例如，如果要爬取亚马逊网站，可以输入亚马逊爬虫特定参数。确保查看对应的爬虫技术文档，进一步了解详细信息。

您可能希望在爬取站点时执行Javascript渲染，或者希望定位到特定地理位置，都可以通过输入参数来设定。

在设置结束前，设定最终输出参数以确定数据结果的格式（请参见爬取结果部分）。

爬取结果

网络爬虫将作业结果聚合为一个或多个最终输出的结果文件，随时可用。包括三种类型的输出结果：

1. URL列表（站点地图）

2. 包含聚合的解析结果数据JSON文件。

3. 包含聚合的HTML结果数据 JSON 文件。

注意：如果您选择第一种结果，可以下载列表上的所有URL。这些URL与抓取作业ID相关联，可用于获取抓取结果。请查看这里了解更多详细信息。

上传到云端（可选）

完成爬取后，用户可以通过Oxylabs下载结果,也可以将它们上传到云存储。  指定确切位置，网络爬虫会将文件上传，例如到AWS S3。

总结

网络爬虫易于设置，定制程度高，它通过抓取网页时发现的链接遍历网站来发现URL。欢迎使用为期一周的网络爬虫 API和电商爬虫 API免费试用来测试网络爬虫的功能。

在使用网络爬虫时，需要了解如何设置和自定义爬取任务，请随时通过我们主页上的24/7实时聊天联系我们的客服，或者给我们发送电子邮件。

我们建议您在从事任何类型的抓取活动之前寻求法律咨询，以评估具体情况，并就进一步的流程咨询专业人士的意见。