В тариф включено 5 млн токенов. Клиент уже использовал 4,8 млн и отправляет новый запрос на 500 тысяч. Кто должен решить, можно ли его выполнить? Ответ зависит от того, кто считает потребление. Сервис может сам вести счетчик и контролировать лимит либо передавать события в биллинг, оставляя ему…
Кто должен считать потребление в AI-сервисе: продукт или биллинг
Это краткое изложение. Полный текст материала доступен на сайте источника.