¿Cuándo vale la pena usar un LLM y cuándo no?
Los LLMs resuelven ciertos problemas mejor que cualquier otro enfoque. Otros los resuelven peor que un clasificador de tres líneas. La pregunta que hay que hacerse antes de abrir la API de OpenAI.
La pregunta no es si los LLMs son potentes. Lo son. La pregunta es si son la herramienta correcta para tu problema concreto. Y la respuesta honesta es: depende de lo que necesitas, y muchas veces la respuesta es no.
Cuándo un LLM tiene sentido. Los LLMs brillan en tareas donde la entrada y la salida son texto no estructurado y donde la variabilidad es alta: resumir documentos largos sin perder matices, clasificar texto con categorías ambiguas que cambian, extraer campos de documentos heterogéneos, responder preguntas sobre un corpus propio con RAG, generar variantes de texto con tono controlado. En estos casos, intentar construir un sistema basado en reglas o un clasificador clásico se convierte en un problema de mantenimiento interminable.
Cuándo un LLM probablemente no lo es. Si el problema es clasificación de texto con categorías bien definidas y muchos ejemplos etiquetados, un modelo fine-tuned o incluso TF-IDF + regresión logística bate a GPT-4 en latencia, coste y consistencia. Si necesitas que la respuesta sea determinista (siempre la misma para el mismo input), los LLMs no son la respuesta. Si el problema es tabular (predecir churn, impago, precio) con datos estructurados, gradient boosting gana. Si necesitas privacidad total y no puedes enviar datos a una API externa, el coste de operar un modelo local puede no compensar.
El problema de la evaluación post-demo. La trampa clásica con LLMs: demuestras el sistema con cinco ejemplos que funcionan, lo enseñas, todo el mundo queda impresionado y se despliega. Tres semanas después hay un 15% de respuestas que son plausibles pero incorrectas. La diferencia entre una demo y un sistema es la evaluación: necesitas un conjunto de pruebas con respuesta esperada y métricas automáticas (faithfulness, precisión de recuperación si hay RAG, ROUGE para resumen) antes de poner el sistema en producción.
La pregunta real antes de elegir un LLM. ¿Puedes medir si la respuesta es correcta de forma automática? ¿Tienes ejemplos suficientes para evaluar? ¿El coste por consulta a la API es sostenible a tu volumen? ¿Puedes aceptar que el 2-5% de respuestas sean incorrectas? Si la respuesta a alguna de estas es no, o no lo sé, ese es el problema que hay que resolver antes de elegir la arquitectura.
La regla práctica que uso: si lo puedes resolver con un clasificador clásico y tienes ejemplos etiquetados, empieza por ahí. Añade un LLM solo cuando el clasificador se quede corto de forma medida, no solo intuitiva. El LLM que añades tendrá que ser evaluado de todas formas — así que la evaluación siempre va antes que la arquitectura.
