Tally: contador de tokens

Qué es un token

Un token es la unidad con la que un modelo de lenguaje lee y escribe. Puede ser una palabra entera («hola»), un pedazo de palabra («murci» + «él» + «ago»), un signo o un espacio. Antes de procesar tu texto, el modelo lo corta en tokens y trabaja con sus números: el modelo nunca ve letras sueltas.

Los tokens importan por dos motivos: los límites de cada chat y de cada modelo se miden en tokens, y la API de OpenAI cobra por cada millón de tokens que mandás y que recibís. Saber cuántos tokens tiene un prompt te dice si entra y cuánto va a costar; para pasarlo a dólares por mes, usá Burnrate.

Por qué este contador es exacto

OpenAI publica sus tokenizadores con el nombre tiktoken. Tally usa una versión para navegador de esos mismos datos, y la comparamos con la biblioteca oficial de OpenAI en textos con tildes, eñes, emojis, código y documentos de más de 100.000 caracteres: dio exactamente los mismos tokens en todos los casos. No es una estimación por cantidad de caracteres, como hacen muchos contadores.

¿Y Claude y Gemini?

Anthropic (Claude) y Google (Gemini) usan tokenizadores propios y no los publican para usar sin conexión: el número exacto solo se obtiene con la API de cada empresa. El mismo texto da otra cantidad de tokens en cada modelo, y en los modelos más nuevos de Claude la diferencia con GPT puede ser grande. Por eso Tally no te muestra un número inventado para esos modelos. Si vas a usar Claude o Gemini, tomá la cifra de GPT como referencia y dejá un margen amplio.

Cuántos tokens son, más o menos

Medimos textos reales en español con el tokenizador de GPT-4o: salieron unos 3,8 caracteres por token y 1,4 tokens por palabra. En inglés las cuentas dan menos tokens, porque los tokenizadores se entrenaron con más texto en inglés. Con el tokenizador de GPT-4, el mismo texto en español usó un 12 % más de tokens.

Son promedios: un texto con muchos números, nombres propios, código o emojis usa más tokens por palabra. Para el número exacto, pegalo arriba.

Detalles que cambian la cuenta

• El espacio va pegado a la palabra. «hola» y « hola» (con espacio adelante) son tokens distintos. Por eso Tally te muestra los espacios dentro de cada token.
• Las mayúsculas cuentan. Una palabra en MAYÚSCULAS suele ocupar más tokens que la misma en minúsculas.
• Los emojis y los caracteres raros pesan. Algunos emojis ocupan 2 o 3 tokens; los que combinan varios (como las familias o los tonos de piel), más.
• En la API, cada mensaje suma unos tokens extra. El formato de la conversación agrega unos 3 o 4 tokens por mensaje, además de tu texto.
• Las palabras como <|endoftext|> se cuentan como texto común, igual que si las mandaras dentro de un mensaje normal.

Para qué te sirve contar tokens

Para saber si un documento entra en el contexto de un modelo antes de mandarlo, para calcular cuánto va a costar un proceso con la API, para ajustar un prompt de sistema que se repite en cada pedido y para controlar que un texto no se corte en un campo con límite de tokens. Si tu texto es demasiado largo, Chunky lo parte en pedazos que sí entran.