Quem são as pessoas que ensinaram o ChatGPT a se comportar?

A OpenAI documenta que são avaliadores contratados, que escrevem demonstrações do comportamento desejado e ordenam respostas da melhor para a pior, seguindo instruções escritas pelos pesquisadores. A empresa reconhece que isso alinha o modelo às preferências desse grupo, e que no trabalho original o treino em inglês deixava o modelo enviesado para valores de quem fala inglês.

Qual é a data de corte do modelo que eu uso?

Depende do modelo, e muda a cada lançamento, então não vale decorar. A própria OpenAI mantém a lista de cortes na página de modelos da documentação. Uma coisa é certa: não pergunte ao ChatGPT sobre isso, porque a data de corte dele é só mais um fato que ele pode não ter ou ter desatualizado.

Se ele foi treinado com texto da internet, ele repete o preconceito da internet?

Esse risco existe e a OpenAI o reconhece publicamente. O pré-treinamento absorve os padrões do texto do mundo, inclusive os ruins, e o ajuste com feedback humano tenta corrigir parte disso. A documentação lista viés e simplificação excessiva entre as limitações conhecidas, incluindo apresentar uma única perspectiva como verdade absoluta. Há um módulo inteiro sobre isso mais adiante.

Por que não treinam o modelo todo dia para ficar atualizado?

Porque pré-treinar é uma obra de escala industrial, em computação, dados e tempo, e não um processo que roda de madrugada. A solução prática da própria OpenAI não é treinar mais rápido, é dar ferramentas ao modelo: com busca ativa, ele lê a informação nova na hora em vez de depender da memória.

Então conversar com ele não ensina nada a ele?

Não em tempo real, e essa confusão é campeã de audiência. Dentro da conversa existe contexto, entre conversas existe o recurso de memória, e existe ainda o uso posterior dos dados para melhorar os modelos, que nos planos individuais é o padrão com opção de desativar. Três coisas diferentes. Nenhuma delas é o modelo aprendendo enquanto você digita.

O ajuste com feedback humano resolveu o problema de inventar fato?

Reduziu, não resolveu. A OpenAI mediu que o modelo ajustado inventava fatos com menos frequência que o anterior, e ao mesmo tempo publicou que alucinações seguem sendo um desafio fundamental para todos os grandes modelos de linguagem. A quarta aula deste módulo explica por que essa fase não dá conta sozinha.

Módulo 2 - Como a IA funciona por dentro

Como ele aprendeu

9 min de leitura · por Cesar Gargiulo, revisado pela equipe ValorFinal e GuardiaSec · Atualizado em 14/07/2026

O que você vai aprender

Separar o pré-treinamento do ajuste com feedback humano.
Explicar o que cada fase colocou no modelo.
Entender o corte de conhecimento e por que ele existe.
Perceber que o comportamento dele é resultado de escolhas humanas.

Primeira fase: ler o mundo e achar os padrões

A própria OpenAI resume a divisão em duas frases, na documentação para empresas: eles treinam os modelos em dois estágios; primeiro aprendem a partir de uma grande quantidade de dados, e depois usam dados de usuários do ChatGPT e de treinadores humanos para garantir que as saídas sejam seguras e precisas. Guarde essa separação, porque ela organiza o resto da aula. E a descrição da primeira fase vem sem rodeio: os modelos aprendem primeiro pelo pré-treinamento, um processo de prever a próxima palavra em quantidades enormes de texto. Só que há um detalhe aí que quase ninguém repara, e ele é a chave de metade deste curso. Na pesquisa que a OpenAI publicou sobre alucinação, tema da quarta aula deste módulo, eles registram o seguinte: diferente dos problemas clássicos de aprendizado de máquina, não existem etiquetas de verdadeiro e falso presas a cada afirmação. O modelo vê apenas exemplos de linguagem fluente e precisa aproximar a distribuição geral por conta própria.

Ninguém sentou e marcou, frase por frase, o que era verdade e o que era mentira. Ele aprendeu como o texto do mundo é escrito, não o que nele é verdadeiro.

Pare um segundo nisso. Se durante toda a fase que constrói a capacidade dele ninguém apontou o que era falso, então esperar que ele distinga fato de invenção por instinto é esperar algo que não foi ensinado ali. Ele aprendeu a forma do texto verdadeiro, que é uma coisa bem diferente de aprender a verdade. Um dado inventado com a aparência certa continua tendo a aparência certa. Guarde essa frase, porque a quarta aula deste módulo vai cobrar ela de volta.

Isso resolve de vez a imagem errada que muita gente carrega, a de um HD gigante com a internet dentro e um mecanismo de busca por cima. O que existe é o que a OpenAI chama de pesos, ou parâmetros: conjuntos enormes de números, mais o código que interpreta e usa esses números. O texto que ele leu não está lá. O que ficou foi o efeito que aquele texto teve nos números. Por isso ele consegue explicar como se escreve um contrato de aluguel sem ter nenhum contrato guardado, e por isso, quando você pede o artigo exato de uma lei, o que sai não é uma consulta a um arquivo: é uma reconstrução a partir de padrão. Reconstrução às vezes acerta. Às vezes inventa.

Diagrama em duas etapas ligadas por uma seta grande. À esquerda, uma pilha enorme de livros, sites e documentos entra em uma caixa rotulada pré-treinamento, e sai um bloco chamado capacidade bruta, com a legenda aprende padrões de linguagem, sem etiqueta de verdadeiro ou falso. À direita, uma caixa menor rotulada ajuste com feedback humano recebe pessoas demonstrando respostas e ordenando alternativas da melhor para a pior, e dela sai o assistente final, com a legenda aprende a ser útil, seguir instrução e recusar. Uma linha do tempo embaixo mostra que as duas fases acontecem antes de a conversa começar. — Duas fases, dois trabalhos: a primeira dá o que ele sabe, a segunda dá o jeito dele.

Segunda fase: alguém ensinou o jeito

Um modelo recém-saído do pré-treinamento não é um assistente. A própria OpenAI explicou isso ao apresentar a técnica: o modelo era treinado para prever a próxima palavra em um monte de texto da internet, e não para executar com segurança a tarefa que o usuário queria. Nas palavras deles, esses modelos não estavam alinhados com os usuários. O exemplo real que eles publicaram é ótimo: pediram para explicar a chegada à Lua para uma criança de seis anos, e o modelo bruto respondeu com uma lista de outras perguntas parecidas, do tipo explique a teoria da gravidade para uma criança de seis anos. Ele não estava desobedecendo. Na internet, depois de uma pergunta dessas costuma vir outra pergunta parecida, e ele fez exatamente o que sabia fazer: continuar o texto.

A correção veio de uma técnica chamada aprendizado por reforço com feedback humano, ou RLHF na sigla em inglês. O procedimento documentado tem gente no meio: pessoas contratadas escrevem demonstrações do comportamento desejado e ordenam várias respostas do modelo, da melhor para a pior. Essa preferência humana vira o sinal usado para refinar o modelo. É essa fase que produz o assistente que responde ao que você pediu, no formato que você pediu, e que recusa quando o pedido atravessa uma linha.

Tem um número da documentação que reposiciona tudo. Ao explicar o método, a OpenAI disse que dá para pensar nesse ajuste como algo que destrava capacidades que o modelo já tinha, e não que ensina capacidades novas, porque o procedimento usava menos de dois por cento da computação e dos dados do pré-treinamento. O dado é do trabalho original que introduziu a técnica, então trate como ordem de grandeza da ideia, e não como a receita de hoje. A ideia que fica é forte: quase tudo que ele sabe veio da primeira fase. A segunda fase, comparativamente minúscula, decide como aquilo sai.

E aqui vem o resultado que derruba a intuição de todo mundo. O artigo científico que apresentou a técnica, publicado em 2022, abre com uma frase que vale emoldurar: deixar modelos de linguagem maiores não os torna inerentemente melhores em seguir a intenção do usuário. Tamanho não resolve obediência. A prova que eles publicaram é quase provocativa: as saídas do modelo ajustado, de 1,3 bilhão de parâmetros, foram preferidas pelos avaliadores às saídas do GPT-3 de 175 bilhões, apesar de o ajustado ter mais de cem vezes menos parâmetros. Um modelo cem vezes menor ganhou por ter passado pela segunda fase. É a demonstração mais limpa de que capacidade bruta e utilidade são coisas diferentes, e de que o que você conversa todo dia é fruto das duas.

🎮 Jogo da aula

Que fase deixou isso aí?

Cada característica abaixo entrou no modelo em uma das duas fases. Classifique pensando em quem ensinou aquilo: a montanha de texto ou as pessoas que avaliaram.

Por que ele não sabe o que aconteceu ontem

Se as duas fases aconteceram antes, o texto usado nelas parou em algum momento. Esse ponto tem nome: corte de conhecimento. A documentação da OpenAI diz com todas as letras que os modelos são treinados com dados até certo ponto e que as respostas não incorporam informação sobre eventos posteriores, a menos que ferramentas sejam usadas. Não é limitação passageira nem descuido. Treinar um modelo é uma obra pesada, feita em blocos, e não uma assinatura de jornal que chega todo dia de manhã.

Diagrama de linha do tempo horizontal. À esquerda, uma faixa densa de ícones de texto representando os dados de treinamento, que termina abruptamente em uma linha vertical tracejada rotulada corte de conhecimento. À direita da linha, uma área vazia rotulada eventos posteriores, com um jornal, uma cotação e um edital marcados com ponto de interrogação. Acima dessa área vazia, uma seta curva rotulada busca mostra o caminho pelo qual a informação nova entra na conversa em vez de vir da memória do modelo. — O que está depois da linha tracejada só chega na conversa por ferramenta, nunca por memória.

Duas armadilhas moram aqui. A primeira é achar que ele avisa quando o assunto passou do corte. Nem sempre avisa. Ele pode responder sobre um evento recente com a mesma segurança de sempre, misturando o que aprendeu antes com o que soa plausível. A segunda armadilha é mais engraçada e igualmente perigosa: perguntar ao próprio ChatGPT qual é a data de corte dele. A resposta pode estar errada, porque essa informação também é só mais um fato que ele pode não ter, ou ter desatualizado. Não use o paciente como laudo.

A saída documentada é usar ferramenta. A busca vai à internet e traz a informação atual para dentro da conversa, com link para conferir. Aí você não está mais confiando na memória dele, está confiando em uma fonte que dá para abrir. Repare que isso muda a natureza da resposta: em vez de lembrar, ele lê. Quais ferramentas existem e o que cada plano libera é assunto do módulo 6, e muda com frequência demais para cravar aqui. O conceito, esse não muda: informação nova entra por ferramenta, não por memória.

Feche o raciocínio com o mito que o módulo 1 derrubou. Treinar é uma fase que aconteceu antes, longe de você, com um custo que se mede em milhões. Conversar com ele não treina nada. O que existe dentro da conversa é contexto, o que existe entre conversas é o recurso de memória, e o que a OpenAI documenta como uso posterior dos seus dados para melhorar os modelos é outra coisa ainda, com opção de desativar nos planos individuais. Três mecanismos diferentes que muita gente amassa em uma frase só. Corrigir alguém que diz que ensinou o ChatGPT ontem é um bom teste de que este módulo funcionou.

Teste rápido

O que a segunda fase do treinamento, o ajuste com feedback humano, colocou no modelo?

Perguntas frequentes

Quem são as pessoas que ensinaram o ChatGPT a se comportar?: A OpenAI documenta que são avaliadores contratados, que escrevem demonstrações do comportamento desejado e ordenam respostas da melhor para a pior, seguindo instruções escritas pelos pesquisadores. A empresa reconhece que isso alinha o modelo às preferências desse grupo, e que no trabalho original o treino em inglês deixava o modelo enviesado para valores de quem fala inglês.
Qual é a data de corte do modelo que eu uso?: Depende do modelo, e muda a cada lançamento, então não vale decorar. A própria OpenAI mantém a lista de cortes na página de modelos da documentação. Uma coisa é certa: não pergunte ao ChatGPT sobre isso, porque a data de corte dele é só mais um fato que ele pode não ter ou ter desatualizado.
Se ele foi treinado com texto da internet, ele repete o preconceito da internet?: Esse risco existe e a OpenAI o reconhece publicamente. O pré-treinamento absorve os padrões do texto do mundo, inclusive os ruins, e o ajuste com feedback humano tenta corrigir parte disso. A documentação lista viés e simplificação excessiva entre as limitações conhecidas, incluindo apresentar uma única perspectiva como verdade absoluta. Há um módulo inteiro sobre isso mais adiante.
Por que não treinam o modelo todo dia para ficar atualizado?: Porque pré-treinar é uma obra de escala industrial, em computação, dados e tempo, e não um processo que roda de madrugada. A solução prática da própria OpenAI não é treinar mais rápido, é dar ferramentas ao modelo: com busca ativa, ele lê a informação nova na hora em vez de depender da memória.
Então conversar com ele não ensina nada a ele?: Não em tempo real, e essa confusão é campeã de audiência. Dentro da conversa existe contexto, entre conversas existe o recurso de memória, e existe ainda o uso posterior dos dados para melhorar os modelos, que nos planos individuais é o padrão com opção de desativar. Três coisas diferentes. Nenhuma delas é o modelo aprendendo enquanto você digita.
O ajuste com feedback humano resolveu o problema de inventar fato?: Reduziu, não resolveu. A OpenAI mediu que o modelo ajustado inventava fatos com menos frequência que o anterior, e ao mesmo tempo publicou que alucinações seguem sendo um desafio fundamental para todos os grandes modelos de linguagem. A quarta aula deste módulo explica por que essa fase não dá conta sozinha.

Fontes

Seu progresso fica salvo neste aparelho. Assinantes sincronizam entre os aparelhos.

← Tokens e a próxima palavra Concluir e avançar →