Начните с единиц биллинга
Одни API разделяют input, cached input, output и reasoning, другие публикуют blended rate за charged tokens. Нельзя сравнивать эти значения, пока не определены token mix и minimum charge.
Используйте одинаковый workload
Соберите короткий набор тестов: короткий вопрос, coding task, input-heavy и output-heavy запрос. Запишите model ID, token budget, cache и reasoning settings. Одинаковые prompts позволяют сравнить именно биллинг.
Смотрите на финальное списание
Цена в таблице — только оценка до settlement. Запишите terminal tokens, итоговое списание, minimum charge и комиссии. Для prepaid-wallet проверьте, что временная reservation освобождается после settlement.
Streaming меняет выбор
Для интерактивных coding tools важны time to first byte, time to first token и stream completion. Измеряйте P50/P95 latency, disconnect, 429 и 5xx рядом со стоимостью: дешёвый, но нестабильный API может оказаться дороже.
Официальный API, aggregator или prepaid gateway?
Официальный API удобен для provider-native функций, aggregator — для breadth и routing, prepaid gateway — для одного ключа и фиксированного бюджета. Совместимый SDK не означает принадлежность к владельцу модели.
Воспроизводимый чек-лист
Выберите несколько моделей, определите workload, выполните JSON и streaming, проверьте terminal usage, посчитайте итоговую стоимость, измерьте latency и повторите тест через 24 часа. Публикуйте дату проверки и все допущения.