Grenzwerte für DIE LLM-Rate: Token pro Minute, Anfragen pro Minute und was passiert, wenn Sie sie erreichen

Sprachmodell-APIs begrenzen Den Datenverkehr auf 2 Arten gleichzeitig: wie viele Anforderungen Sie pro Minute (RPM) senden und wie viele Token Sie pro Minute (TPM) verwenden. Sie können gut unter Ihrem Anfragelimit bleiben und trotzdem eingeschränkt werden, da einige lange Prompts Ihr Tokenbudget verbraucht haben. Wenn Sie einen der beiden Grenzwerte erreichen, antwortet die API mit 429 Too Many Requests und Ihre App muss warten.

Wie OpenAI, Azure OpenAI und Anthropic Zählen

Wenn Sie max_tokens auf 4.000 festgelegt und 200 Token wieder erhalten, zählen OpenAI und Azure OpenAI trotzdem die 4.000 für Ihr Limit. So können Sie 429s erhalten, während Ihre Nutzungsmetriken gut unter Ihrem Kontingent aussehen.

Was ein 429 für jeden Anbieter bedeutet

Nicht alle 429 gehen weg, wenn Sie warten.

Umgang mit LLM-Ratenlimits

1. Überprüfen Sie, welche 429 Sie erhalten haben. Abrechnungs-, Ausgaben- und Kontingentfehler benötigen eine Person, keinen erneuten Versuch.
2. Warten Sie so lange, wie die API es verlangt. OpenAI und Anthropic senden retry-after in Sekunden. Azure OpenAI sendet retry-after-ms in Millisekunden. Ohne einen Hinweis warten Sie mit exponentiellem Backoff mit zufälligem Jitter und deckeln Sie sowohl die Anzahl der Versuche als auch die Gesamtzeit.
3. Wissen Sie, was Ihr SDK bereits tut. Die OpenAI- und Anthropic Python SDKs wiederholen bei Verbindungsfehlern sowie bei 408, 409, 429 und 5xx Antworten standardmäßig 2 mal. Wenn Sie eine eigene Wiederholungsschleife hinzufügen, deaktivieren Sie die Wiederholungen des SDK, z. B. mit max_retries=0 in Python, wie Azure OpenAI empfiehlt, andernfalls vervielfacht sich die Anzahl der Versuche.
4. Verkleinere, was zählt. Stellen Sie auf OpenAI und Azure OpenAI max_tokens nahe der erwarteten Antwortgröße ein. Speichern Sie auf Anthropic wiederholte Inhalte wie Systemanweisungen zwischen.
5. Allmählich hochfahren. Ein starker Anstieg des Traffics löst die Beschränkungen bei der Beschleunigung von OpenAI slow_down und Anthropic aus, selbst wenn Sie innerhalb Ihrer Limits bleiben. OpenAI weist darauf hin, dass Sie, sobald Sie 1 Millionen Eingabetoken pro Minute erreicht haben, um höchstens 50 % alle 15 Minuten wachsen.
6. Geben Sie einen Datenstrom, den Sie bereits gelesen haben, nicht erneut wieder. Ein Fehler nach dem Starten eines Datenstroms kann als Datenstromereignis eingehen, und OpenAI empfiehlt, eine Anfrage nicht automatisch erneut zu senden, nachdem Sie bereits Ausgabe empfangen haben.
7. Informieren Sie den Benutzer, wenn eine Anforderung bei einem 429-Fehler stagniert, anstatt ein Ladesymbol anzuzeigen.

So testen Sie, ob Ihre App LLM-Ratenbegrenzungen verarbeitet

Probieren Sie sie in Ihrer App aus

Dev Proxy fängt die Anforderungen Ihrer App an die Sprachmodell-API ab und gibt die eigenen Fehler des Anbieters zurück, während Ihre App die echte URL aufruft. Laden Sie für OpenAI die Voreinstellung herunter, und starten Sie Dev Proxy damit:

devproxy config get openai-throttling
devproxy --config-file "~dataFolder/configs/openai-throttling/.devproxy/devproxyrc.json"

Die openai-throttling Voreinstellung schlägt 90% von Anforderungen https://api.openai.com/* mit einem zufälligen Fehler fehl: rate_limit_exceeded für TPM oder RPM, slow_down, credit_balance_exhaustedoder 503 server_is_overloaded. Die anthropic-throttling Voreinstellung gilt entsprechend für https://api.anthropic.com/* mit RPM, Eingabetoken, Ausgabetoken und Beschleunigung von 429s und 529 overloaded_error. Beide Voreinstellungen enthalten den RetryAfterPlugin, der Ihnen angibt, wann Ihre App die API erneut aufruft, bevor die retry-after Zeit für eine 429 ist. Die Antworten von 503 und 529 werden nicht überprüft.

Verwenden Sie das LanguageModelRateLimitingPlugin, um auf Grundlage der von Ihrer App tatsächlich verwendeten Token zu drosseln. Es zählt die Eingabeaufforderungs- und Abschlusstoken, die von den einzelnen Antwortberichten gemeldet werden, und gibt 429 zurück retry-after , wenn Ihre App die von Ihnen festgelegten Grenzwerte überschreitet. Es funktioniert mit openAI-kompatiblen APIs, einschließlich Azure OpenAI und lokalen Modellen:

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v3.3.1/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelRateLimitingPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelRateLimitingPlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "https://*.openai.azure.com/openai/deployments/*/chat/completions*"
  ],
  "languageModelRateLimitingPlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v3.3.1/languagemodelratelimitingplugin.schema.json",
    "promptTokenLimit": 1000,
    "completionTokenLimit": 500,
    "resetTimeWindowSeconds": 60
  }
}

Das Plug-In reproduziert die max_tokens Schätzung nicht. Der Standardtext 429 verwendet den insufficient_quota Code. Um den Fehlertext zurückzugeben, den Ihre App für eine Ratenbegrenzung erwartet, setzen Sie whenLimitExceeded auf Custom und verweisen Sie customResponseFile auf Ihre eigene Antwort. Zum Installieren von Dev Proxy siehe Dev Proxy einrichten.

Nächste Schritte

Siehe auch

• 429 Zu viele Anfragen: Was dies bedeutet und wie sie behandelt werden
• Was ist die Zinsbegrenzung?
• Tokenlimits von Sprachmodellen testen
• LanguageModelRateLimitingPlugin
• So testen Sie, was Ihr KI-Agent tut, wenn seine Tools fehlschlagen