Если вдруг вы моргнули на моменте, когда разработчики нейросетей мерились, у кого больше цифра рядом с названием модели, а выморгнув, обнаружили, что теперь модно флексить скромными размерами активных параметров, эта статья для вас. Сегодня объясняю, как же так произошло, что все флагманы опенсорса…
Как 17B активных бьют 70B плотных: анатомия Mixture-of-Experts (MoE)
Это краткое изложение. Полный текст материала доступен на сайте источника.