Предыдущая глава Ну а теперь рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки, потому что теперь приходится учитывать еще один фактор - задержку. Так что давайте разбираться, как устроен инференс LLM и как его правильно…
[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Это краткое изложение. Полный текст материала доступен на сайте источника.