Lo que acabas de ver
La IA lee a trozos
¿Por qué a la IA le cuesta contar las erres de «ferrocarril»?
Después de jugar · IA · 5 min
¿Por qué a la IA le cuesta contar las letras de una palabra?
En una fraseLa IA no recibe letras, sino trozos de texto convertidos en números.
Qué es una ficha
Antes de leer nada, un modelo de lenguaje parte el texto en trozos que en inglés se llaman tokens y aquí llamamos fichas. Una ficha puede ser una palabra entera («hola»), un trozo («fer», «roc»), un signo o un espacio con la palabra que le sigue (« hola»). Cada ficha tiene un número fijo en el vocabulario del modelo, y lo que entra en el modelo es esa lista de números, no las letras.
Las cintas de esta pieza usan el vocabulario real de o200k_base, el tokenizador de GPT-4o y de otros modelos de OpenAI, publicado en abierto en la biblioteca tiktoken. Tiene unas 200 000 fichas. Cada familia de modelos tiene el suyo: en Claude, Gemini o Llama, la misma palabra se corta en otros sitios y con otros números.
Dentro del modelo, cada número sirve para buscar una lista de valores aprendidos durante el entrenamiento (un embedding). Así es como el modelo llega a «saber» que «Hola» y « hola» se parecen: no porque compare sus letras, sino porque las ha visto en sitios parecidos millones de veces. Y la respuesta también sale ficha a ficha, como cuenta La baraja estocástica.
Cómo se fabrica el vocabulario
El método se llama Byte Pair Encoding (BPE): codificación por parejas de bytes. Nació en 1994 como un truco para comprimir datos y desde 2016 se usa para trocear texto en los modelos de lenguaje.
- Se empieza por los bytes. Hay 256 piezas básicas, y con ellas se puede escribir cualquier texto, en cualquier idioma y con emojis.
- Se juntan las parejas más frecuentes. En un montón enorme de textos se busca qué dos piezas aparecen juntas más a menudo y se funden en una pieza nueva. Luego se repite, decenas de miles de veces.
- Lo frecuente acaba en una ficha. Por eso « the», « hola» o «biblioteca» casi no se parten, y «esternocleidomastoideo» necesita siete fichas.
- Antes, un primer corte por palabras. El texto se separa en palabras, signos y espacios, y las cifras van de tres en tres: «2026» son las fichas «202» y «6». También eso complica las cuentas.
Por qué cuesta contar letras (y por qué a veces ya no)
Para contar las erres de «ferrocarril», el modelo recibe cuatro números: 855, 27212, 1614 y 311. Tiene que saber de memoria qué letras hay dentro de cada uno y, además, sumarlas sin perderse. Las fichas esconden las letras, pero no del todo: los modelos aprenden bastante bien qué letras lleva cada ficha, como mostraron Kaushal y Mahowald en 2022.
Por eso las fichas explican el problema solo en parte. Un estudio de 2024 de Fu y colaboradores encontró que los modelos suelen reconocer bien las letras y que lo que más falla es la cuenta, sobre todo cuando una letra se repite más de dos veces, como las cuatro erres de «ferrocarril». Les va mejor si primero deletrean la palabra: separada con guiones, casi cada letra pasa a ser su propia ficha. Muchos asistentes actuales lo hacen por su cuenta o usan una herramienta para contar, y aciertan.
Cada idioma cuesta distinto
«Me gusta leer libros por la noche» ocupa 7 fichas en inglés, 8 en castellano y en gallego, 11 en catalán y 14 en euskera con o200k_base. Los modelos miden en fichas lo que pueden leer de una vez, el tiempo que tardan y, en los servicios de pago, el precio.
Petrov y colaboradores compararon en 2023 el mismo texto traducido a muchos idiomas y encontraron diferencias de hasta 15 veces en el número de fichas. Pasa en buena parte porque el vocabulario se fabricó con mucho más texto en unos idiomas que en otros: lo que más se ha visto cabe en menos fichas.
Rigor y fuentes
Lo que esta pieza simplifica
- Para que la pieza pese poco, el vocabulario va sin las fichas de alfabetos no latinos (griego, cirílico, árabe, chino…). Con letras latinas, cifras, signos y emojis, las cintas son exactamente las de o200k_base, con sus números reales. Si escribes en otros alfabetos, la pieza los parte en más trozos que el modelo, y te avisa.
- El modelo no «ve» el número como tal: lo usa para buscar su embedding. En una conversación real, además, el texto va envuelto en fichas especiales que marcan quién habla.
- Las frases en otros idiomas son traducciones mías de «Me gusta leer libros por la noche». Con otra frase, las cifras cambian.
- Una etiquetadora de verdad no cambia el color de la cinta a cada corte: aquí sí, para que se vea dónde acaba cada ficha.
Fuentes y notas (7)
- OpenAI, tiktoken: biblioteca y vocabulario o200k_base (el de GPT-4o). github.com/openai/tiktoken
- Gage, P. (1994). A New Algorithm for Data Compression. The C Users Journal, 12(2), 23–38. El origen del BPE.
- Sennrich, R., Haddow, B. y Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016. arxiv.org/abs/1508.07909
- Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners (GPT-2): BPE sobre bytes. openai.com
- Kaushal, A. y Mahowald, K. (2022). What do tokens know about their characters and how do they know it? NAACL 2022. aclanthology.org
- Fu, T., Ferrando, R., Conde, J., Arriaga, C. y Reviriego, P. (2024). Why Do Large Language Models (LLMs) Struggle to Count Letters? arxiv.org/abs/2412.18626
- Petrov, A., La Malfa, E., Torr, P. y Bibi, A. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. NeurIPS 2023. arxiv.org/abs/2305.15425
Los cortes y números de todos los ejemplos están comprobados con el vocabulario o200k_base completo (huella SHA-256 446a9538…1a2d, la misma que verifica tiktoken).
Sigue jugando
Más preguntas que se entienden tocando.
Hecho por Mikel Carpio García
Creative Technologist. Diseño explicaciones que se entienden jugando, sobre IA, ciencia y el mundo.
Explorables · explorables.mikelcarpio.com · 2026 · Privacidad · Los cortes y números de las cintas son los reales de o200k_base; las traducciones, mías.