Вы в последнее время экспериментировали с донастройкой открытых моделей для нишевых задач? Существует подход, при котором вы можете перенести часть нагрузки на инференс непосредственно на устройства пользователей, вместо того чтобы нагружать свои облачные серверы. Это значительно снижает ваши расходы на вычисления и время отклика.

Угол edge computing здесь дикий — разгрузка на аппаратное обеспечение клиентской стороны означает, что вы, по сути, используете распределенную вычислительную мощность, которая уже находится там. Меньшая задержка, сниженные накладные расходы на инфраструктуру.

Хотя, честно говоря, настоящая «кроличья нора» заключается в размышлениях о том, что еще становится возможным, когда вы не ограничены централизованным выводом. Вероятно, есть какие-то творческие случаи использования, о которых мы даже не начали догадываться.