O que são Tokens? Entenda como as IAs leem e processam textos
Você já conversou com uma inteligência artificial e ficou curioso para saber como ela consegue entender o que você escreveu?
A resposta passa por uma pequena unidade chamada token.
Apesar do nome parecer complicado, a ideia é simples. Um token é uma parte do texto que um modelo de inteligência artificial consegue processar.
Porém, existe um detalhe importante: token não é exatamente a mesma coisa que palavra.
Além disso, entender tokens ajuda a compreender como funcionam os grandes modelos de linguagem, conhecidos como LLMs, e também como APIs de inteligência artificial calculam o consumo.
O que é um token?
Imagine que você entregou um livro para uma pessoa que não consegue enxergar palavras inteiras. Em vez disso, ela precisa analisar o livro em pequenos pedaços.
Esses pedaços seriam os tokens.
Um token pode representar uma palavra inteira, parte de uma palavra, um número, um sinal de pontuação ou até mesmo um espaço, dependendo do sistema de tokenização utilizado.
Por exemplo, a frase:
“Olá, mundo!”
pode ser dividida em diferentes tokens.
O modelo não recebe necessariamente a frase como nós enxergamos. Antes disso, um processo chamado tokenização transforma o texto em unidades que o modelo consegue processar.
Portanto, quando você escreve uma pergunta para uma IA, existe uma etapa invisível acontecendo antes da resposta.
Texto → tokens → números → processamento pelo modelo → resposta
Token é a mesma coisa que palavra?
Não.
Essa é uma das principais confusões quando começamos a estudar LLMs.
Uma palavra pode ser formada por um ou vários tokens. Da mesma forma, sinais de pontuação também podem ser representados por tokens.
Veja um exemplo simples:
“casa”
Dependendo do tokenizador, essa palavra pode ser representada por um único token.
Agora imagine uma palavra mais rara ou complexa. O modelo pode dividi-la em várias partes.
Por isso, não podemos simplesmente contar o número de palavras de um texto e dizer que esse é o número de tokens.
Uma analogia simples
Imagine que você tenha uma caixa de LEGO.
Uma palavra seria como uma construção pronta. Já os tokens seriam as peças usadas para montar essa construção.
Uma construção pequena pode usar poucas peças. Outra construção pode precisar de várias.
Da mesma forma, uma palavra pode consumir um ou vários tokens.
O que pode virar um token?
Um token pode representar diferentes partes de um texto.
Por exemplo:
- palavras;
- partes de palavras;
- números;
- pontuação;
- símbolos;
- espaços ou combinações de caracteres;
- trechos frequentes de texto.
No entanto, a forma exata depende do tokenizador usado pelo modelo.
Isso significa que dois modelos diferentes podem dividir a mesma frase de maneiras diferentes.
Além disso, idiomas também podem apresentar diferenças no consumo de tokens.
Textos em português, inglês, japonês ou outros idiomas não necessariamente geram a mesma quantidade de tokens para transmitir uma ideia semelhante.
Como funciona a tokenização?
A tokenização é o processo que transforma um texto em tokens.
Imagine que você escreva:
“A inteligência artificial está mudando o mundo.”
O tokenizador analisa essa frase e a divide em unidades.
Depois disso, essas unidades são associadas a números.
Esses números fazem parte do vocabulário utilizado pelo modelo.
Assim, o LLM consegue trabalhar matematicamente com o texto.
Isso é importante porque computadores não processam linguagem da mesma maneira que seres humanos.
Para nós, a frase possui significado.
Para o modelo, o texto precisa ser convertido em uma representação numérica que possa ser processada por sua arquitetura.
Por que os tokens são importantes nos LLMs?
Os tokens são fundamentais para o funcionamento dos Large Language Models, ou grandes modelos de linguagem.
Modelos como os utilizados em ferramentas de inteligência artificial recebem textos, transformam esses textos em tokens e, então, processam essas informações.
Além disso, os modelos também geram suas respostas utilizando tokens.
É justamente aí que aparece uma diferença importante:
existem tokens de entrada e tokens de saída.
O que são tokens de entrada?
Os tokens de entrada são aqueles enviados para o modelo.
Por exemplo, imagine que você faça esta pergunta:
“O que é inteligência artificial?”
O texto da sua pergunta será transformado em tokens antes de ser processado.
Esses tokens fazem parte da entrada da requisição.
Porém, em uma aplicação real, a entrada pode ser muito maior.
Uma API pode receber:
- a pergunta do usuário;
- instruções do sistema;
- histórico da conversa;
- documentos;
- resultados de ferramentas;
- informações adicionais enviadas pelo aplicativo.
Portanto, o número de tokens de entrada pode ser muito maior do que o tamanho da pergunta que você digitou.
E os tokens de saída?
Os tokens de saída são aqueles gerados pelo modelo na resposta.
Por exemplo, se você perguntar:
“Explique o que é uma API.”
A resposta produzida pela inteligência artificial será formada por tokens.
Quanto maior for a resposta, maior tende a ser o número de tokens de saída.
Por isso, em muitas APIs de inteligência artificial, o consumo considera tanto a entrada quanto a saída.
Uma maneira simples de visualizar é:
Tokens totais = tokens de entrada + tokens de saída
Contudo, o cálculo de cobrança pode variar de acordo com o provedor e o modelo utilizado.
Por que as APIs cobram por tokens?
Agora chegamos a uma parte importante para quem pretende desenvolver aplicações com inteligência artificial.
Quando você utiliza uma API de LLM, o provedor precisa processar sua solicitação.
Esse processamento utiliza infraestrutura computacional.
Por isso, muitos serviços estabelecem preços baseados na quantidade de tokens processados.
Imagine uma gráfica.
Se você pedir para imprimir uma página, o custo tende a ser menor.
Por outro lado, se pedir para imprimir um livro inteiro, o custo será maior.
Com tokens acontece algo parecido.
Quanto mais texto você envia e recebe, maior pode ser o consumo.
Como calcular tokens ao usar uma API?
O cálculo exato depende do modelo e do tokenizador utilizado.
Por isso, não existe uma regra universal como:
1 palavra = 1 token.
Essa aproximação pode ajudar a entender o conceito. Entretanto, ela não serve para calcular custos com precisão.
Ao utilizar uma API, você deve consultar a documentação do modelo para descobrir:
- qual tokenizador é utilizado;
- como o provedor contabiliza os tokens;
- qual é o preço por milhão de tokens;
- se entrada e saída possuem preços diferentes;
- se existem outros tipos de tokens contabilizados.
Além disso, muitas APIs retornam informações de uso na própria resposta.
Um retorno pode informar valores como:
input tokens: quantidade utilizada na entrada.
output tokens: quantidade utilizada na saída.
total tokens: soma dos tokens processados.
Dessa forma, sua aplicação consegue acompanhar o consumo.
Exemplo de cálculo de custo
Imagine uma API cujo preço seja:
US$ 1 por 1 milhão de tokens de entrada
e:
US$ 3 por 1 milhão de tokens de saída.
Agora imagine uma requisição que utilize:
10.000 tokens de entrada
e:
2.000 tokens de saída.
O cálculo seria:
Entrada:
10.000 ÷ 1.000.000 × US$ 1 = US$ 0,01
Saída:
2.000 ÷ 1.000.000 × US$ 3 = US$ 0,006
Portanto:
Custo total = US$ 0,016
Esse é apenas um exemplo didático. Os preços reais variam conforme o provedor, o modelo e o período.
Como descobrir quantos tokens um texto possui?
Existem ferramentas de tokenização que permitem inserir um texto e visualizar sua divisão em tokens.
Além disso, algumas bibliotecas utilizadas no desenvolvimento de aplicações com LLMs conseguem fazer essa contagem.
Imagine, por exemplo, que você esteja desenvolvendo um chatbot.
Antes de enviar uma conversa enorme para a API, você pode calcular aproximadamente quantos tokens serão utilizados.
Isso ajuda a controlar custos e também a respeitar o limite de contexto do modelo.
O que é a janela de contexto?
Aqui aparece outro conceito importante.
Os LLMs possuem uma janela de contexto.
Ela representa a quantidade máxima de tokens que o modelo consegue considerar em determinada interação.
Imagine uma mesa.
Você consegue colocar muitos objetos sobre ela. Entretanto, existe um limite físico.
Com a janela de contexto acontece algo semelhante.
Quanto maior a quantidade de tokens de uma conversa, documento ou instrução, mais espaço de contexto será utilizado.
Por isso, uma aplicação que envia documentos gigantes para uma IA precisa administrar esse conteúdo com cuidado.
Tokens também aparecem em documentos?
Sim.
Isso é especialmente importante em aplicações de RAG, chatbots e sistemas que trabalham com documentos.
Imagine que você tenha um PDF com 100 páginas.
Ao enviar esse documento para uma aplicação de IA, o sistema pode transformar o conteúdo em tokens.
Entretanto, nem sempre é necessário enviar o documento inteiro para o modelo.
Uma aplicação RAG pode dividir o conteúdo em partes menores e recuperar somente os trechos relevantes para determinada pergunta.
Assim, você reduz o volume de informações enviado ao modelo.
Consequentemente, isso pode ajudar no controle de custos e no uso da janela de contexto.
Tokens e palavras: qual é a diferença?
A melhor maneira de guardar essa ideia é:
Palavra é uma unidade da linguagem humana.
Token é uma unidade de processamento utilizada pelo modelo.
Portanto, uma palavra pode resultar em um ou vários tokens.
Além disso, pontuação, números e outros elementos também podem contribuir para a quantidade de tokens.
Por esse motivo, contar palavras não é suficiente para calcular o consumo de uma API.
Por que entender tokens é importante para desenvolvedores?
Se você pretende criar aplicações com inteligência artificial, entender tokens é fundamental.
Primeiro, você consegue estimar custos.
Segundo, pode controlar o tamanho das requisições.
Além disso, consegue administrar melhor o histórico de conversas.
Isso também ajuda a escolher modelos e arquiteturas mais adequados para cada projeto.
Por exemplo, um chatbot que envia todo o histórico da conversa a cada nova pergunta pode consumir muitos tokens.
Uma estratégia melhor pode ser resumir conversas antigas e manter apenas as informações realmente importantes.
Tokens são a “moeda” das IAs?
É comum ouvir essa comparação.
De certa forma, ela funciona.
Os tokens podem ser vistos como uma espécie de unidade de consumo em aplicações de inteligência artificial.
Entretanto, eles não são exatamente uma moeda.
Um token é uma unidade de texto processada pelo modelo.
O provedor, por sua vez, pode utilizar essa quantidade para determinar o custo da utilização da API.
Assim, podemos imaginar:
Texto → tokens → processamento → tokens de saída → custo
Essa pequena sequência ajuda a entender boa parte da economia por trás das APIs de inteligência artificial.
Conclusão
Tokens são pequenas unidades utilizadas pelos modelos de linguagem para processar textos.
Apesar de muitas vezes serem associados às palavras, eles não são a mesma coisa.
Uma palavra pode ocupar vários tokens. Além disso, números, pontuação e outros elementos também podem ser tokenizados.
Por isso, entender tokens é importante para quem utiliza ou desenvolve aplicações com LLMs.
Principalmente quando uma API está envolvida, é fundamental acompanhar os tokens de entrada, os tokens de saída e o consumo total.
No fim das contas, compreender tokens ajuda a entender melhor como a inteligência artificial transforma aquilo que escrevemos em algo que um modelo consegue processar.
Publicar comentário