Cuando el modelo ya está entrenado y se usa para generar respuestas. Es lo que ocurre cada vez que haces una pregunta a ChatGPT: el modelo "infiere" la respuesta más probable.
La inferencia es el proceso de usar un modelo ya entrenado para generar respuestas o predicciones. Es la fase de "explotación" del modelo: ya no está aprendiendo, sino aplicando lo que aprendió durante el entrenamiento.
Cada vez que escribes un prompt en ChatGPT y recibes una respuesta, estás viendo inferencia en acción. El modelo recibe tu texto, lo procesa a través de sus capas neuronales, y genera token a token la respuesta más probable. Todo esto ocurre en segundos o incluso milisegundos.
La inferencia es mucho más barata que el entrenamiento (milisegundos vs. semanas), pero sigue requiriendo hardware potente, especialmente para modelos grandes. Por eso los asistentes de IA se ejecutan en la nube, no en tu teléfono.
💡 Ejemplos prácticos
Usar ChatGPTEscribes una pregunta y el modelo infiere la respuesta en 1-5 segundos, usando el conocimiento adquirido durante su entrenamiento.
Búsqueda semánticaCuando buscas en una base de datos usando frases completas, el modelo infiere qué documentos son relevantes para tu consulta.
Moderación de contenidoLos sistemas de moderación de redes sociales infieren en tiempo real si una publicación infringe las normas.