Modelo que puede procesar y entender varios tipos de entrada a la vez: texto, imágenes, audio y vídeo. Puede, por ejemplo, analizar una foto y describirla por escrito.
Un modelo multimodal es un modelo de IA capaz de procesar y entender varios tipos de datos simultáneamente: texto, imágenes, audio, vídeo y documentos. A diferencia de los modelos tradicionales que solo entienden un formato (solo texto, solo imágenes), los multimodales integran toda esa información en una misma representación interna.
Esto permite, por ejemplo, mostrarle una foto de un plato de comida y preguntarle "¿qué ingredientes lleva?". O enviarle un gráfico y pedirle que extraiga los datos. O mostrarle un vídeo y preguntarle qué ocurre en un minuto concreto.
Los modelos multimodales más avanzados son GPT-4V (visión), Gemini de Google (nativo multimodal: texto, imágenes, audio, vídeo), Claude 3.5 Sonnet (visión + texto), y Llama 3.2 (visión + texto).
💡 Ejemplos prácticos
Analizar una facturaFotografías una factura y el modelo extrae el importe, la fecha y el concepto automáticamente.
Describir una imagen para personas ciegasEl modelo recibe una foto y genera una descripción detallada que un lector de pantalla puede vocalizar.
Transcribir y resumir una reuniónSubes el audio de una reunión y el modelo la transcribe, identifica quién dijo qué, y genera un resumen.