¿Has estado experimentando con el ajuste fino de modelos de código abierto para tareas específicas últimamente? Hay un enfoque en el que puedes trasladar parte de la carga de trabajo de inferencia directamente a los dispositivos de los usuarios en lugar de sobrecargar tus servidores en la nube. Reduce tanto tus costos de computación como los tiempos de respuesta de manera bastante significativa.

El ángulo de la computación en la nube aquí es impresionante: descargar en hardware del lado del cliente significa que básicamente estás aprovechando el poder de cómputo distribuido que ya está ahí. Menor latencia, reducción de los costos de infraestructura.

Aunque, honestamente, el verdadero agujero del conejo es pensar en qué más se vuelve posible cuando no estás limitado por la inferencia centralizada. Probablemente algunos casos de uso creativos que aún no hemos siquiera comenzado a explorar.