# 数分钟内的抓取 API

我们创建了一个 API,它可以让 Crawlbase 非常容易地集成到您的爬虫项目中。

# 您的第一个 API 调用

所有 API URL 都以以下基本部分开头: https://api.crawlbase.com

因此,拨打您的第一个电话就像在终端中运行以下行一样简单。
继续尝试!

curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

有时使用普通令牌是不够的,因为该站点仅在启用 JavaScript 浏览器时才能工作,或者因为您需要的内容是通过客户端的 JavaScript 呈现的,因此您需要使用 JavaScript 令牌。
来试试 JS 爬取吧!

curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

备注解决方案&帖子 也支持请求。 请 去这里 了解更多信息或继续下面的 API 参数。

# 免费试用

前 1,000 个请求是免费的。

确保充分使用免费试用版!

# 速率限制

API 的速率限制为最大值 每秒 20 个请求, 每个令牌(可根据要求增加速率限制)。

这意味着您可以发送 每秒最多 20 个请求,这意味着每月大约 51 万个请求,无论他们使用多少线程。

API 将响应 429 超过速率限制时的状态码。

请注意: 某些特定网站可能有较低的限制。 如果您需要更高的限制,请 联系支持 (打开新窗口) (opens new window).

# API 响应时间

API 的平均响应时间在 4 到 10 秒之间,但 我们推荐 为至少 90 秒的调用设置超时。

# 成功与失败

我们只对成功的请求收费(请参阅 原始状态电脑状态 在下面的响应参数中)。

# 其他说明

# 认证

您将需要身份验证令牌才能使用 API。
你有两个令牌; 一个用于普通请求,另一个用于 JavaScript 请求(真实浏览器)。

普通令牌

_USER_TOKEN_

JavaScript 令牌

_JS_TOKEN_