Giới hạn Tốc độ
> ProxyLLM áp dụng giới hạn tốc độ để đảm bảo sử dụng công bằng và duy trì chất lượng dịch vụ cho tất cả người dùng.
[INFO]Áp dụng theo API key
Giới hạn tốc độ được áp dụng cho mỗi API key. Liên hệ với chúng tôi nếu bạn cần giới hạn cao hơn.
//Giới hạn theo Gói
| Gói | Yêu cầu/Phút |
|---|---|
| Pay As You Go | 20 |
| Basic | 40 |
| Pro | 45 |
| Pro Plus | 60 |
| Ultra | 60 |
| Ultra Plus | 60 |
//Headers Giới hạn Tốc độ
Mỗi phản hồi API đều bao gồm headers để giúp bạn theo dõi trạng thái giới hạn tốc độ:
| Header | Mô tả |
|---|---|
| X-RateLimit-Limit | Số lượng yêu cầu tối đa |
| X-RateLimit-Remaining | Số yêu cầu còn lại trong cửa sổ hiện tại |
| X-RateLimit-Reset | Thời điểm giới hạn được đặt lại |
| Retry-After | Số giây phải chờ trước khi retry (chỉ xuất hiện khi 429) |
//Xử lý Giới hạn Tốc độ
Khi vượt quá giới hạn tốc độ, bạn sẽ nhận được 429 Too Many Requests phản hồi:
429 Responsejson
{
"error": {
"message": "Rate limit exceeded. Please retry after 60 seconds.",
"type": "rate_limit_error",
"code": "rate_limit_exceeded"
}
}[WARN]Tránh lạm dụng
Liên tục đạt giới hạn tốc độ có thể dẫn đến việc tạm khóa API key. Triển khai exponential backoff trong ứng dụng của bạn.
//Thực hành Tốt nhất
- Triển khai exponential backoff khi nhận lỗi 429
- Theo dõi headers giới hạn tốc độ để tránh đạt giới hạn
- Sử dụng hàng đợi yêu cầu cho các thao tác hàng loạt
- Cache phản hồi khi có thể để giảm cuộc gọi API