利用制限
利用制限:利用額、1分間のリクエスト数、1分間のトークン数を範囲ごとに制限する機能です。 制限は「組織 → プロジェクト → APIキー」の順に適用されます。 組織ではRPMとTPM、プロジェクトでは予算・予算のリセット期間・RPM・TPM、APIキーとルールでは予算・RPM・TPMを設定できます。
- 予算:指定期間内の利用額の上限です。 リセット期間は毎日、毎週、毎月から選べます。
- RPM:1分間に受け付けるリクエスト数の上限です。
- TPM:1分間に受け付けるトークン数の上限です。
それぞれの制限は同時に適用されます。 APIキーの上限を設定してもプロジェクト全体の上限は変わらず、別に判定されます。
制限されたときの応答
| 状況 | HTTPステータス | code |
|---|---|---|
| 予算の上限を超えた | 403 Forbidden | budget_guardrail_exceeded |
| RPM・TPMなどの上限を超えた | 429 Too Many Requests | rate_limit_exceeded |
予算上限を超えた場合は 403 Forbidden / budget_guardrail_exceeded が返ります。
レート制限を超えた場合は 429 Too Many Requests / rate_limit_exceeded が返ります。
JSON
{
"error": {
"message": "Rate limit exceeded",
"type": "rate_limit_error",
"code": "rate_limit_exceeded"
}
}429 には retry-after ヘッダーが付く場合があります。
秒数を待ってから再実行し、続く場合は待ち時間を段階的に長くしてください。
429 Too Many Requests が返ったときは、APIキーだけでなくプロジェクトと組織のRPM・TPM設定、プロバイダー側のレート制限も確認してください。
予算の上限を超えた場合は、待つだけでは解決しません。 上限とリセット期間、現在の利用額を確認してください。
モデルの絞り込みも同じ順序です。 組織で許可した候補から、ルールまたはAPIキーでさらに絞り込めます。 画面に表示される操作は、契約状態、組織の状態、ロール、プロジェクトでの権限によって異なります。
ここで説明するのはダッシュボードで設定する上限です。 リクエストボディのサイズや同時受付など、設定では変えられないリクエスト単位の上限は、APIリファレンスのリクエストの上限にまとめています。