¿Qué es un token en inteligencia artificial?
Las inteligencias artificiales de texto no leen letra por letra ni palabra por palabra exactamente. Cortan el texto en pedazos llamados tokens. Un token puede ser una palabra corta completa, una parte de una palabra larga o incluso un signo de puntuación.
Es como cuando un niño aprende a leer por sílabas: “ca-sa”, “pe-rro”. La IA también divide el texto en bloques para procesarlo. Las palabras comunes suelen ser un solo token y las raras o largas se parten en varios.
Importa por dos razones prácticas. Primero, muchos servicios de IA cobran según la cantidad de tokens que envías y recibes. Segundo, cada modelo tiene un límite de tokens que puede manejar a la vez, llamado ventana de contexto.
Por ejemplo, si una empresa conecta su sistema a una IA para responder correos, el costo mensual dependerá de cuántos tokens se usen: mientras más largos los mensajes, más tokens y más gasto.
Si pegas un documento muy largo y la IA dice que excede el límite, es porque superaste la cantidad de tokens que puede procesar de una vez.
