P1: Разобрать HTTP 429 на IFT hold ×3 #32

New Issue

2026-07-15T15:49:28+03:00

cursor-ai commented

2026-07-15 15:49:28 +03:00

Проблема

Hold ×3 на IFT: overall BOUNDARY_HIT из‑за массовых HTTP 429 (~3772), при этом mean latency оставалась низкой (~44 ms). Неясно, кто отвечает 429 (приложение, Traefik/Coraza, другой middleware) и какие пороги.

Влияние

При replicas×3 connect-слой держится, но клиенты получают отказ по rate limit — потолок capacity искажён.

Ожидаемый результат

Известен источник 429, пороги, поведение под loadtest; при необходимости — bypass/raise для IFT loadtest или тюнинг лимитера.

Критерии приёмки

Найден код/конфиг, отдающий 429 на hot-path
Зафиксированы пороги и scope (per-IP / per-user / global)
Решение: тюнинг / bypass для loadtest / остаётся as-is с документацией
Повторный hold ×3 не упирается в тот же 429 (или явно ок по решению)

Файлы (подсказка)

Erlang rate limit / cowboy middleware
Traefik / Coraza middleware на IFT

Приоритет

P1

Связь

EventHub/EventHubBack#30

## Проблема Hold ×3 на IFT: overall BOUNDARY_HIT из‑за массовых **HTTP 429** (~3772), при этом mean latency оставалась низкой (~44 ms). Неясно, кто отвечает 429 (приложение, Traefik/Coraza, другой middleware) и какие пороги. ## Влияние При replicas×3 connect-слой держится, но клиенты получают отказ по rate limit — потолок capacity искажён. ## Ожидаемый результат Известен источник 429, пороги, поведение под loadtest; при необходимости — bypass/raise для IFT loadtest или тюнинг лимитера. ## Критерии приёмки - [ ] Найден код/конфиг, отдающий 429 на hot-path - [ ] Зафиксированы пороги и scope (per-IP / per-user / global) - [ ] Решение: тюнинг / bypass для loadtest / остаётся as-is с документацией - [ ] Повторный hold ×3 не упирается в тот же 429 (или явно ок по решению) ## Файлы (подсказка) - Erlang rate limit / cowboy middleware - Traefik / Coraza middleware на IFT ## Приоритет P1 ## Связь EventHub/EventHubBack#30

cursor-ai added the Bug label 2026-07-15 15:49:28 +03:00

cursor-ai self-assigned this 2026-07-15 15:49:28 +03:00

cursor-ai commented

2026-07-15 15:53:31 +03:00

Диагностика

Источник 429 — Traefik rateLimit, не Erlang.

Файл: EventHubDevOps/ift/traefik/dynamic_conf.yml

api-ratelimit:
  rateLimit:
    average: 5000
    period: 1m
    burst: 500

По умолчанию лимит per source IP. Tsung идёт с одного IP → ~83 req/s после burst 500. Hold ×3 легко превышает → тысячи 429 при низкой latency.

Исправление — в EventHubDevOps (конфиг IFT Traefik).

Варианты

A (рекомендую): для IFT поднять average/burst (напр. average 2000 / period 1s, burst 2000) — стенд для capacity, не прод-защита.

B: на время prepare снимать api-ratelimit с router, на restore возвращать (точнее для loadtest, сложнее).

C: оставить лимит как есть и считать 429 потолком edge; документировать в README/спеке.

Жду выбор; по умолчанию при «делай» — A.

## Диагностика Источник 429 — **Traefik rateLimit**, не Erlang. Файл: `EventHubDevOps/ift/traefik/dynamic_conf.yml` ``` api-ratelimit: rateLimit: average: 5000 period: 1m burst: 500 ``` По умолчанию лимит **per source IP**. Tsung идёт с одного IP → ~83 req/s после burst 500. Hold ×3 легко превышает → тысячи 429 при низкой latency. Исправление — в **EventHubDevOps** (конфиг IFT Traefik). ## Варианты **A (рекомендую):** для IFT поднять `average/burst` (напр. average 2000 / period 1s, burst 2000) — стенд для capacity, не прод-защита. **B:** на время prepare снимать `api-ratelimit` с router, на restore возвращать (точнее для loadtest, сложнее). **C:** оставить лимит как есть и считать 429 потолком edge; документировать в README/спеке. Жду выбор; по умолчанию при «делай» — **A**.

cursor-ai commented

2026-07-15 15:55:53 +03:00

Иду по A: в EventHubDevOps/ift/traefik/dynamic_conf.yml:

api: average 2000/1s, burst 2000
admin: average 500/1s, burst 500

Stage/prod не трогаю. Катаю конфиг на IFT.

Иду по **A**: в `EventHubDevOps/ift/traefik/dynamic_conf.yml`: - api: average **2000**/1s, burst **2000** - admin: average **500**/1s, burst **500** Stage/prod не трогаю. Катаю конфиг на IFT.

cursor-ai commented

2026-07-15 15:57:14 +03:00

Конфиг залит на IFT (/opt/eventhub-ift/devops/ift/traefik/dynamic_conf.yml), traefik force-update converged, health API/admin OK.

Осталось: перепроверить hold ×3 (по желанию) и закоммитить DevOps-изменение. Stage не трогали.

Конфиг залит на IFT (`/opt/eventhub-ift/devops/ift/traefik/dynamic_conf.yml`), traefik force-update converged, health API/admin OK. Осталось: перепроверить hold ×3 (по желанию) и закоммитить DevOps-изменение. Stage не трогали.

cursor-ai referenced this issue from a commit

2026-07-15 16:01:01 +03:00

fix(ift): устойчивый loadtest-restore и выше Traefik rate limit на IFT. Refs EventHub/EventHubDevOps#2 Refs EventHub/EventHubBack#32 [skip ci]

cursor-ai commented

2026-07-15 16:06:14 +03:00