Módulo 2 - Como a IA funciona por dentro

Por que ele inventa

10 min de leitura · por Cesar Gargiulo, revisado pela equipe ValorFinal e GuardiaSec · Atualizado em 14/07/2026

O que você vai aprender

  • Explicar por que um sistema de previsão produz mentira confiante.
  • Entender por que ele quase nunca diz que não sabe.
  • Reconhecer os tipos de pergunta com risco máximo de invenção.
  • Aplicar as defesas que reduzem a alucinação de verdade.

A raiz: ele aprendeu a forma, não a verdade

Em setembro de 2025 a OpenAI publicou uma pesquisa com um título que não deixa dúvida sobre o assunto: por que modelos de linguagem alucinam. A tese central está na primeira linha do anúncio, e é dura com eles mesmos. Modelos de linguagem alucinam porque os procedimentos padrão de treinamento e avaliação premiam o chute em vez de premiar o reconhecimento da incerteza. Não é bug de fabricação, não é falta de dados, não é mistério. É incentivo. Alguém montou a prova de um jeito que recompensa quem chuta, e o aluno aprendeu direitinho.

A primeira metade da explicação você já tem, da segunda aula deste módulo. No pré-treinamento não existem etiquetas de verdadeiro e falso: o modelo vê só exemplos de linguagem fluente. A analogia que a própria OpenAI usa é ótima. Em reconhecimento de imagem, com milhões de fotos rotuladas como gato ou cachorro, o algoritmo aprende a classificar direito. Agora imagine rotular cada foto de bicho com o aniversário do bicho. Como aniversário é essencialmente aleatório, essa tarefa sempre vai produzir erro, por melhor que seja o algoritmo.

Daí sai a explicação de um contraste que sempre intrigou. Por que ele quase nunca erra ortografia ou esquece de fechar um parêntese, mas erra a data de um evento? Porque ortografia e parênteses seguem padrão consistente, e erro assim desaparece conforme o modelo cresce. Já fato arbitrário e de baixa frequência, como o aniversário de um bicho de estimação, não pode ser previsto só a partir de padrão. É exatamente aí que a alucinação mora. Não é o assunto difícil que o derruba, é o fato que não tem padrão para ser deduzido.

Diagrama comparando dois tipos de tarefa dentro do modelo. À esquerda, sob o rótulo tem padrão, aparecem ortografia e parênteses fechando corretamente, com uma seta indicando que o erro diminui conforme a escala aumenta, terminando em um sinal de correto. À direita, sob o rótulo fato arbitrário, aparecem uma data de aniversário, um número com centavos e um artigo de lei, com uma seta que permanece plana por mais que a escala aumente, terminando em um ícone de alerta. Embaixo, uma legenda mostra que a escala resolve o primeiro caso e não resolve o segundo.
Padrão melhora com escala. Fato arbitrário não tem padrão para melhorar, e é onde a invenção mora.

Por que ele quase nunca diz não sei

Aqui vem a parte que quase nenhum curso conta, porque exige ler a pesquisa. Se a invenção nasce no pré-treinamento, as fases seguintes deveriam removê-la. Não removem, e a OpenAI explica o motivo com uma franqueza incomum: as avaliações atuais criam o incentivo errado. Pense em uma prova de múltipla escolha. Se você não sabe e chuta, pode ter sorte e acertar. Deixar em branco garante zero. Do mesmo jeito, quando modelos são avaliados só por acurácia, ou seja, pela porcentagem de questões que acertam exatamente, eles são encorajados a chutar em vez de dizer não sei.

O exemplo que eles dão é cristalino. Suponha que perguntem o aniversário de alguém e o modelo não saiba. Se ele chutar dez de setembro, tem uma chance em trezentas e sessenta e cinco de acertar. Dizer não sei garante zero ponto. Ao longo de milhares de questões de teste, o modelo que chuta termina parecendo melhor no placar do que o modelo cuidadoso que admite incerteza. E como são os placares de acurácia que dominam os rankings e os cartões de modelo, quem constrói modelos é motivado a construir modelos que chutam. O sistema inteiro pune a humildade.

ComportamentoModelo mais novo (com raciocínio)Modelo mais antigo
Abstenção: não arrisca palpite52%1%
Acerto: responde certo22%24%
Erro: responde errado (alucinação)26%75%

Dados publicados pela OpenAI em setembro de 2025, comparando dois modelos na avaliação SimpleQA. Repare na armadilha: em acurácia o modelo antigo vai um pouco melhor, 24% contra 22%, e por isso pareceria melhor num ranking. Só que ele erra 75% das vezes, contra 26%. Chutar quando está incerto melhora a acurácia e multiplica a alucinação.

Essa tabela merece um minuto do seu tempo, porque ela desmonta a régua com que quase todo mundo julga IA. Olhando só a coluna do acerto, o modelo antigo ganha. Olhando a coluna do erro, ele é uma catástrofe: três em cada quatro respostas erradas, contra uma em cada quatro. A diferença toda está em uma linha que ninguém coloca em ranking: o modelo novo se cala em metade das vezes. A OpenAI classifica as respostas em acertos, erros e abstenções, e afirma que erro é pior que abstenção. O Model Spec deles diz que é melhor indicar incerteza ou pedir esclarecimento do que fornecer com confiança uma informação que pode estar incorreta.

🎮 Jogo da aula

O que a pesquisa da OpenAI realmente diz

Seis afirmações sobre alucinação. Algumas são crenças comuns que a própria OpenAI derrubou na pesquisa dela. Diga se cada uma é verdadeira ou falsa.

O que fazer com isso na prática

Nada disso serve se você não souber onde o risco mora. A documentação da OpenAI lista os tipos de alucinação que aparecem: definições, datas ou fatos incorretos; citações, estudos e referências fabricados apontando para fontes que não existem; e respostas confiantes demais para perguntas ambíguas ou complexas. Some a isso o que a pesquisa mostrou sobre fato arbitrário e você tem a régua. Quanto mais a resposta certa depende de um dado específico que não dá para deduzir por padrão, maior o risco. Número, data, citação, lei, nome próprio e evento recente são os seis alertas vermelhos.

O exemplo mais divertido é da própria pesquisa. Eles perguntaram a um chatbot popular o título da tese de doutorado de Adam Tauman Kalai, um dos autores do estudo. Ele produziu com confiança três respostas diferentes, nenhuma correta. Perguntaram o aniversário dele e vieram três datas diferentes, todas erradas. Repare que aqui aparecem juntos os dois fenômenos deste módulo: a alucinação, porque as respostas eram falsas, e o não determinismo da primeira aula, porque a mesma pergunta deu respostas diferentes. Se um dos autores do estudo não escapa, o seu caso não vai ser diferente.

Prompt que convida a invenção:
Qual é o prazo legal para o empregador pagar as verbas rescisórias e qual artigo prevê isso?

Prompt que reduz a invenção:
Vou colar abaixo o texto que tenho sobre rescisão.
Responda com base SOMENTE no texto colado.
Se a informação não estiver nele, escreva exatamente NÃO CONSTA. Não estime, não complete pelo que costuma ser.
Para cada afirmação, cite entre aspas o trecho do texto que a sustenta.
No fim, liste separadamente o que ficou sem resposta.

[cole aqui o texto]

As quatro defesas em um prompt só: entregar a fonte, restringir a ela, autorizar o NÃO CONSTA e exigir o trecho que sustenta cada afirmação.

Repare no que esse prompt faz. Ele ataca a raiz em vez de pedir educadamente que o modelo não minta. Entregar o material transforma a tarefa de lembrar em tarefa de ler, e ler é justamente o que ele faz bem. Restringir a resposta ao material tira o espaço do chute. Autorizar o NÃO CONSTA desfaz, dentro da sua conversa, o incentivo perverso que a pesquisa descreveu: agora se abster não custa nada, porque você deu a permissão que o placar nega. Pedir o trecho que sustenta cada afirmação cria uma prova que você confere em dez segundos.

Esse último item merece o fechamento do módulo, porque é o mal-entendido mais caro de 2026. Modelo de raciocínio, na definição oficial, é aquele que gera uma cadeia de pensamento interna para analisar o pedido antes de responder, e se destaca em tarefas complexas e em planejamento de várias etapas, sendo em geral mais lento e mais caro. A documentação detalha o que esse pensamento interno permite: planejar, usar ferramentas com eficácia, inspecionar alternativas, recuperar-se de ambiguidade e resolver tarefas de várias etapas mais difíceis. É bastante coisa, e a tabela ali em cima mostra o efeito em número: metade de abstenção e um terço do erro. Mas leia a lista de novo e veja o que não está nela. Pensar mais não cria um dado que nunca esteve lá. Se a informação não existe no modelo e não foi entregue por você nem buscada por ferramenta, raciocinar mais só produz um chute mais bem argumentado, e portanto mais convincente. A OpenAI diz isso na cara, e a frase merece fechar o módulo: o ChatGPT também alucina; há significativamente menos alucinações, especialmente ao raciocinar, mas elas ainda ocorrem.

Teste rápido

Segundo a pesquisa publicada pela OpenAI, por que os modelos raramente dizem que não sabem?

Perguntas frequentes

Alucinação é a IA mentindo?
Não, e a diferença é importante. Mentir exige saber a verdade e escolher esconder. A OpenAI define alucinação como afirmação plausível mas falsa, e compara o comportamento ao de um estudante que chuta numa questão difícil em vez de admitir que não sabe. Não há intenção de enganar, há um sistema treinado e avaliado de um jeito que premia o palpite.
Existe alguma configuração que desliga a alucinação?
Não existe, e quem promete isso está vendendo alguma coisa. A OpenAI afirma que os modelos mais recentes têm taxas menores e que seguem trabalhando para reduzi-las, mas registra que alucinações continuam sendo um desafio fundamental para todos os grandes modelos de linguagem. O que reduz de verdade é dar a fonte, restringir a resposta a ela, autorizar o não sei e conferir.
Usar o modelo de raciocínio resolve o problema?
Ajuda bastante e não resolve. A definição oficial diz que ele gera uma cadeia de pensamento interna antes de responder, o que rende muito em tarefas de várias etapas, e os dados da OpenAI mostram queda grande no erro. Mas pensar mais não inventa um dado que nunca esteve lá. Sem fonte na mesa, o resultado é um chute mais bem argumentado.
Se eu perguntar se ele tem certeza, a resposta melhora?
Raramente, e essa é uma armadilha comum. Ele tende a recuar por concordância, não porque foi verificar alguma coisa. Você acaba conseguindo um pedido de desculpas em vez de um fato. Muito mais eficaz é colar o material, restringir a resposta a ele e exigir que cada afirmação venha com o trecho que a sustenta.
Por que ele erra a data de um evento mas nunca erra a ortografia?
Porque são naturezas diferentes de tarefa, e a OpenAI explica isso na pesquisa. Ortografia e parênteses seguem padrão consistente, então o erro some conforme o modelo cresce. Fato arbitrário e de baixa frequência, como uma data específica, não dá para prever a partir de padrão nenhum. É por isso que a alucinação se concentra justamente em número, data, lei e citação.
Modelo maior alucina menos?
Não necessariamente, e a OpenAI derruba essa crença de forma bonita. Eles argumentam que pode ser mais fácil um modelo pequeno conhecer os próprios limites: perguntado em maori, um modelo que não sabe maori simplesmente diz que não sabe, enquanto um que sabe um pouco precisa julgar a própria confiança. Ser calibrado exige bem menos computação do que ser exato.

Fontes

Seu progresso fica salvo neste aparelho. Assinantes sincronizam entre os aparelhos.