Tokens e a próxima palavra

O texto vira pedaços antes de tudo

No módulo anterior ficou a frase que resume tudo: ele prevê a próxima palavra. A OpenAI escreve isso quase igual na documentação para leigos: durante o treinamento o modelo analisa as relações dentro dos dados e usa esse entendimento para prever a próxima palavra mais provável ao gerar uma resposta, uma palavra por vez. Agora vem a versão precisa dessa frase, e a diferença importa. O que o modelo processa não é exatamente palavra, é token. A definição oficial: o texto pode ser convertido em unidades menores, às vezes chamadas de tokens, que podem representar palavras inteiras, pedaços de palavras ou pontuação. Tokens são os blocos de construção do texto que o modelo processa.

Um detalhe da própria documentação da OpenAI mostra como isso é literal. A palavra red, em inglês, não tem um código único. Escrita em minúscula no meio da frase, ela recebe um código. Com inicial maiúscula no meio da frase, recebe outro. No começo da frase, sem o espaço antes, recebe um terceiro. São três peças diferentes para o que os nossos olhos leem como a mesma palavra. O modelo não vê a palavra que você vê, ele vê a peça que aquele trecho virou naquele lugar exato.

Existe uma régua aproximada, que a OpenAI publica para o inglês: um token equivale mais ou menos a quatro caracteres, ou a três quartos de uma palavra, e cem tokens dão perto de setenta e cinco palavras. Guarde como ordem de grandeza, não como conta exata, e lembre que a própria documentação avisa que a fatia depende do idioma. Português cheio de acento e de palavra comprida não se comporta igual ao inglês. O que interessa aqui não é o número, é a ideia: existe uma moeda invisível por trás de toda conversa, e ela se chama token.

Um pedaço de cada vez, sempre olhando para trás

Com o texto fatiado, o ciclo é quase decepcionante de tão simples. O modelo olha todos os tokens que já existem, o seu pedido e o que ele mesmo já escreveu, e calcula qual é o próximo token mais provável. Escolhe um, escreve, e recomeça o cálculo com a lista agora um token maior. De novo. E de novo. É por isso que a resposta aparece escorrendo na tela em vez de surgir pronta: você está assistindo ao ciclo acontecer. Cada peça que ele acabou de colocar entra na conta da peça seguinte.

Isso já explica um comportamento que irrita muita gente. Quando o ChatGPT começa a resposta com uma premissa errada, o resto costuma sair errado junto, mesmo que ele fosse capaz de acertar. Não é teimosia. É que a premissa errada virou contexto, e a partir dali a continuação mais provável é a que combina com o erro. A saída prática é não brigar com a resposta ruim: peça de novo, ou edite o pedido original em vez de discutir por cima. Recomeçar sai mais barato que consertar.

Dois defeitos que nascem do mecanismo

Entendido o mecanismo, dois defeitos famosos deixam de ser mistério. O primeiro é contar letras. Pergunte quantas vezes a letra R aparece em uma palavra e há uma chance real de vir bobagem. Parece absurdo, porque até criança conta letra. Só que o modelo não recebeu a palavra como uma fila de letras: recebeu um bloco, às vezes dois. Pedir para ele contar as letras de dentro de um bloco é como pedir para você contar quantos grãos de trigo tem uma fatia de pão. O trigo está lá, mas não é assim que a fatia chegou até você.

O segundo defeito incomoda mais: a mesma pergunta pode dar respostas diferentes. Você testa um prompt, funciona, mostra para o colega e sai outra coisa. A explicação oficial é elegante e vem direto do mecanismo. Como existem múltiplas maneiras plausíveis de completar uma frase, diz a OpenAI, há um elemento inerente de aleatoriedade em como o modelo responde, e por isso a mesma pergunta pode gerar respostas diferentes em consultas diferentes. O guia técnico deles reforça: o conteúdo gerado é não determinístico, e é justamente por isso que escrever bons prompts é descrito como uma mistura de arte e ciência, não como fórmula. Duas consequências valem ouro. Primeira: se a resposta veio ruim, tentar de novo é uma tática legítima, não teimosia. Segunda: desconfie de quem vende o prompt mágico que sempre funciona, porque nem a empresa que fez a ferramenta promete isso.