A janela de contexto e a memória curta

O limite tem nome e tem unidade

A definição oficial da OpenAI é curta e vale ler devagar: os modelos só conseguem lidar com uma certa quantidade de dados dentro do contexto que consideram durante uma requisição de geração, e esse limite de memória é chamado de janela de contexto, definido em termos de tokens. Repare em duas coisas. Primeiro, a unidade é o token, aquele pedaço da primeira aula. Segundo, e mais importante, o limite vale por geração. Não é um limite da sua conta nem do seu dia. É o teto do que cabe diante dos olhos dele em cada resposta.

A imagem que funciona é a de uma mesa de trabalho, não a de um cérebro. Tudo que ele vai usar precisa estar em cima da mesa naquele instante: o seu pedido, o contrato que você colou, o histórico do que já foi dito, as instruções internas do sistema. A mesa tem um tamanho fixo. Se você empilhar coisa demais, algo cai no chão. E o que cai no chão não fica guardado em uma gaveta, simplesmente deixa de existir para aquela resposta. É por isso que a metáfora do cérebro atrapalha: cérebro esquece devagar, mesa cheia derruba na hora.

Esse compartilhamento é documentado, não é suposição nossa. A OpenAI registra que a janela é dividida entre as instruções de sistema, a memória e o processamento interno, e que pode mudar dinamicamente. Há ainda os tokens de raciocínio, e aqui a documentação é bem direta: embora eles não sejam visíveis, ainda ocupam espaço na janela de contexto do modelo. Pense no que isso significa. Quando você usa um modelo que pensa antes de responder, o pensamento dele mora na mesma mesa onde o seu contrato está apoiado. Some tudo e a conclusão é prática: o número grande da propaganda nunca está inteiro à sua disposição. Os números por plano estão no módulo 6, e mudam com uma frequência que não recomenda decorar.

Ele não lembra, ele relê

Agora o fato que reorganiza tudo o que você já viveu no chat. O modelo não guarda a conversa em lugar nenhum entre uma mensagem e outra. Quando você manda a décima mensagem, ele não consulta uma lembrança das nove anteriores: as nove voltam junto, e ele lê tudo de novo, do começo, antes de escrever a primeira letra da resposta. Toda mensagem é uma releitura integral. A conversa que parece contínua para você é, do lado dele, uma sequência de leituras completas de um texto que cresce a cada rodada.

Você abriu uma conversa e, na mensagem 1, escreveu:
"Regra para toda esta conversa: sempre me responda em tópicos curtos e nunca use jargão jurídico."

Funcionou perfeitamente por dezenas de mensagens.
Durante essas mensagens, você colou dois contratos inteiros e um extrato longo.

Agora, na mensagem 60, ele volta a responder em parágrafos corridos e cheios de jargão.

Esse mecanismo também explica o custo. Se cada mensagem relê tudo, cada mensagem custa mais que a anterior, em processamento e em tempo. Para quem programa e paga por token, isso vira dinheiro de forma direta, tanto que existe um desconto documentado justamente para trechos do histórico que se repetem entre uma chamada e outra. Para você, que usa o chat, o custo aparece disfarçado de lentidão e de limite atingido mais cedo. Conversa gigante não é sinal de intimidade com a ferramenta. É desperdício, e ainda por cima piora a resposta.

Como conviver bem com a janela

Do mecanismo saem hábitos concretos, e eles custam nada. O primeiro é abrir conversa nova quando o assunto muda. Muita gente carrega um fio infinito por hábito, arrastando o currículo, a receita de bolo e o contrato na mesma mesa. Assunto novo, conversa nova. O segundo é reafirmar a regra importante em vez de esperar que ele lembre de algo dito quarenta mensagens atrás. Não é rebaixar a ferramenta, é entender a mesa. O terceiro é não colar um livro quando um capítulo resolve: contexto irrelevante ocupa o mesmo espaço que contexto útil.

Vale desfazer uma confusão que atrapalha aqui. Janela de contexto e memória são coisas diferentes. A janela é o limite de uma resposta, e some quando a resposta termina. A memória é um recurso do produto que guarda informação sobre você entre conversas diferentes, e tem módulo próprio neste curso. Uma é a mesa, a outra é o arquivo. Quem confunde as duas conclui que o ChatGPT tem memória de peixe ou que ele guarda tudo para sempre, e as duas conclusões erram feio, cada uma para um lado.

Uma última nota de honestidade, no espírito deste curso. Os tamanhos de janela por plano existem, são documentados e o módulo 6 traz o mapa. Mas eles mudam. Já vimos a documentação oficial da OpenAI se contradizer entre a versão em inglês e a em português sobre o que cada plano inclui, então cravar número aqui seria assinar embaixo de algo que envelhece em semanas. O conceito não envelhece: existe um teto, ele é medido em tokens, é compartilhado com o sistema, e a conversa inteira o consome de novo a cada mensagem. Sabendo disso, você lê qualquer tabela futura sem precisar de tradutor.