Unidad minima de texto que un modelo procesa. No son palabras completas, sino fragmentos. Por ejemplo, "inteligencia" puede partirse en varios tokens.
Un token es la unidad minima de texto que un modelo de lenguaje procesa. No son palabras completas, sino fragmentos. Por ejemplo, "inteligencia" podria ser un solo token o dividirse en "inteli" + "gencia".
Los tokens determinan el coste y la capacidad. Cada llamada a una API se cobra por tokens. 100 tokens equivalen aproximadamente a 75 palabras en ingles.
💡 Ejemplos prácticos
Coste50 palabras en espanol ~ 80 tokens de entrada. Respuesta de 200 palabras ~ 320 tokens.
Limite GPT-4128K tokens permiten procesar un libro de 300 paginas en una sola peticion.
Modelos baratosGPT-4o mini cuesta centesimas por millon de tokens frente a los 30$ de GPT-4.