Arquitectura de red neuronal que revoluciono la IA en 2017. Es la base de GPT, BERT, Claude, y se caracteriza por el mecanismo de atencion.
El Transformer es una arquitectura de red neuronal que revoluciono la inteligencia artificial en 2017. Es la base de todos los modelos modernos (GPT, BERT, Claude, Gemini).
Su innovacion clave es el mecanismo de atencion (attention), que permite al modelo analizar todas las palabras de una frase simultaneamente en lugar de una por una. Asi entiende el contexto completo, no solo las palabras cercanas.
Antes de los Transformers, los modelos procesaban el texto secuencialmente (palabra por palabra), lo que era lento y perdia contexto. El Transformer lo hace en paralelo, mucho mas rapido y preciso.
💡 Ejemplos prácticos
GPT-4El Transformer mas grande del mundo. Con cientos de miles de millones de parametros.
Google TranslateDesde 2019 usa Transformers para traducciones mucho mas naturales y contextuales.
BERTEl Transformer de Google que entiende el contexto de cada palabra mirando a izquierda y derecha.