Módulo 2 - Como a IA funciona por dentro
Por que ele inventa
10 min de leitura · por Cesar Gargiulo, revisado pela equipe ValorFinal e GuardiaSec · Atualizado em 14/07/2026
O que você vai aprender
- Explicar por que um sistema de previsão produz mentira confiante.
- Entender por que ele quase nunca diz que não sabe.
- Reconhecer os tipos de pergunta com risco máximo de invenção.
- Aplicar as defesas que reduzem a alucinação de verdade.
Ouvir o resumo desta aula
Um recap de cerca de 2 minutos na voz do Valim, para ouvir no trânsito ou na academia.
Ler a transcrição do resumo
Resumo da aula: Por que ele inventa.
Os objetivos desta aula. Explicar por que um sistema de previsão produz mentira confiante. Entender por que ele quase nunca diz que não sabe. Reconhecer os tipos de pergunta com risco máximo de invenção. Aplicar as defesas que reduzem a alucinação de verdade.
Veja o essencial, parte por parte.
A raiz: ele aprendeu a forma, não a verdade. Alucinação, na definição da OpenAI, é uma afirmação plausível mas falsa. Ela tem a mesma cara de uma resposta certa.
Por que ele quase nunca diz não sei. Aqui vem a parte que quase nenhum curso conta, porque exige ler a pesquisa.
O que fazer com isso na prática. Mandar ele não inventar, sem mais nada. Vira uma frase no meio de outras, sem mudar o incentivo.
Esse foi o resumo do essencial. Para se aprofundar, leia a aula completa e responda os exercícios.
A raiz: ele aprendeu a forma, não a verdade
Em setembro de 2025 a OpenAI publicou uma pesquisa com um título que não deixa dúvida sobre o assunto: por que modelos de linguagem alucinam. A tese central está na primeira linha do anúncio, e é dura com eles mesmos. Modelos de linguagem alucinam porque os procedimentos padrão de treinamento e avaliação premiam o chute em vez de premiar o reconhecimento da incerteza. Não é bug de fabricação, não é falta de dados, não é mistério. É incentivo. Alguém montou a prova de um jeito que recompensa quem chuta, e o aluno aprendeu direitinho.
A primeira metade da explicação você já tem, da segunda aula deste módulo. No pré-treinamento não existem etiquetas de verdadeiro e falso: o modelo vê só exemplos de linguagem fluente. A analogia que a própria OpenAI usa é ótima. Em reconhecimento de imagem, com milhões de fotos rotuladas como gato ou cachorro, o algoritmo aprende a classificar direito. Agora imagine rotular cada foto de bicho com o aniversário do bicho. Como aniversário é essencialmente aleatório, essa tarefa sempre vai produzir erro, por melhor que seja o algoritmo.
Daí sai a explicação de um contraste que sempre intrigou. Por que ele quase nunca erra ortografia ou esquece de fechar um parêntese, mas erra a data de um evento? Porque ortografia e parênteses seguem padrão consistente, e erro assim desaparece conforme o modelo cresce. Já fato arbitrário e de baixa frequência, como o aniversário de um bicho de estimação, não pode ser previsto só a partir de padrão. É exatamente aí que a alucinação mora. Não é o assunto difícil que o derruba, é o fato que não tem padrão para ser deduzido.
Por que ele quase nunca diz não sei
Aqui vem a parte que quase nenhum curso conta, porque exige ler a pesquisa. Se a invenção nasce no pré-treinamento, as fases seguintes deveriam removê-la. Não removem, e a OpenAI explica o motivo com uma franqueza incomum: as avaliações atuais criam o incentivo errado. Pense em uma prova de múltipla escolha. Se você não sabe e chuta, pode ter sorte e acertar. Deixar em branco garante zero. Do mesmo jeito, quando modelos são avaliados só por acurácia, ou seja, pela porcentagem de questões que acertam exatamente, eles são encorajados a chutar em vez de dizer não sei.
O exemplo que eles dão é cristalino. Suponha que perguntem o aniversário de alguém e o modelo não saiba. Se ele chutar dez de setembro, tem uma chance em trezentas e sessenta e cinco de acertar. Dizer não sei garante zero ponto. Ao longo de milhares de questões de teste, o modelo que chuta termina parecendo melhor no placar do que o modelo cuidadoso que admite incerteza. E como são os placares de acurácia que dominam os rankings e os cartões de modelo, quem constrói modelos é motivado a construir modelos que chutam. O sistema inteiro pune a humildade.
| Comportamento | Modelo mais novo (com raciocínio) | Modelo mais antigo |
|---|---|---|
| Abstenção: não arrisca palpite | 52% | 1% |
| Acerto: responde certo | 22% | 24% |
| Erro: responde errado (alucinação) | 26% | 75% |
Dados publicados pela OpenAI em setembro de 2025, comparando dois modelos na avaliação SimpleQA. Repare na armadilha: em acurácia o modelo antigo vai um pouco melhor, 24% contra 22%, e por isso pareceria melhor num ranking. Só que ele erra 75% das vezes, contra 26%. Chutar quando está incerto melhora a acurácia e multiplica a alucinação.
Essa tabela merece um minuto do seu tempo, porque ela desmonta a régua com que quase todo mundo julga IA. Olhando só a coluna do acerto, o modelo antigo ganha. Olhando a coluna do erro, ele é uma catástrofe: três em cada quatro respostas erradas, contra uma em cada quatro. A diferença toda está em uma linha que ninguém coloca em ranking: o modelo novo se cala em metade das vezes. A OpenAI classifica as respostas em acertos, erros e abstenções, e afirma que erro é pior que abstenção. O Model Spec deles diz que é melhor indicar incerteza ou pedir esclarecimento do que fornecer com confiança uma informação que pode estar incorreta.
🎮 Jogo da aula
O que a pesquisa da OpenAI realmente diz
Seis afirmações sobre alucinação. Algumas são crenças comuns que a própria OpenAI derrubou na pesquisa dela. Diga se cada uma é verdadeira ou falsa.
O que fazer com isso na prática
Nada disso serve se você não souber onde o risco mora. A documentação da OpenAI lista os tipos de alucinação que aparecem: definições, datas ou fatos incorretos; citações, estudos e referências fabricados apontando para fontes que não existem; e respostas confiantes demais para perguntas ambíguas ou complexas. Some a isso o que a pesquisa mostrou sobre fato arbitrário e você tem a régua. Quanto mais a resposta certa depende de um dado específico que não dá para deduzir por padrão, maior o risco. Número, data, citação, lei, nome próprio e evento recente são os seis alertas vermelhos.
O exemplo mais divertido é da própria pesquisa. Eles perguntaram a um chatbot popular o título da tese de doutorado de Adam Tauman Kalai, um dos autores do estudo. Ele produziu com confiança três respostas diferentes, nenhuma correta. Perguntaram o aniversário dele e vieram três datas diferentes, todas erradas. Repare que aqui aparecem juntos os dois fenômenos deste módulo: a alucinação, porque as respostas eram falsas, e o não determinismo da primeira aula, porque a mesma pergunta deu respostas diferentes. Se um dos autores do estudo não escapa, o seu caso não vai ser diferente.
Prompt que convida a invenção:
Qual é o prazo legal para o empregador pagar as verbas rescisórias e qual artigo prevê isso?
Prompt que reduz a invenção:
Vou colar abaixo o texto que tenho sobre rescisão.
Responda com base SOMENTE no texto colado.
Se a informação não estiver nele, escreva exatamente NÃO CONSTA. Não estime, não complete pelo que costuma ser.
Para cada afirmação, cite entre aspas o trecho do texto que a sustenta.
No fim, liste separadamente o que ficou sem resposta.
[cole aqui o texto]As quatro defesas em um prompt só: entregar a fonte, restringir a ela, autorizar o NÃO CONSTA e exigir o trecho que sustenta cada afirmação.
Repare no que esse prompt faz. Ele ataca a raiz em vez de pedir educadamente que o modelo não minta. Entregar o material transforma a tarefa de lembrar em tarefa de ler, e ler é justamente o que ele faz bem. Restringir a resposta ao material tira o espaço do chute. Autorizar o NÃO CONSTA desfaz, dentro da sua conversa, o incentivo perverso que a pesquisa descreveu: agora se abster não custa nada, porque você deu a permissão que o placar nega. Pedir o trecho que sustenta cada afirmação cria uma prova que você confere em dez segundos.
Esse último item merece o fechamento do módulo, porque é o mal-entendido mais caro de 2026. Modelo de raciocínio, na definição oficial, é aquele que gera uma cadeia de pensamento interna para analisar o pedido antes de responder, e se destaca em tarefas complexas e em planejamento de várias etapas, sendo em geral mais lento e mais caro. A documentação detalha o que esse pensamento interno permite: planejar, usar ferramentas com eficácia, inspecionar alternativas, recuperar-se de ambiguidade e resolver tarefas de várias etapas mais difíceis. É bastante coisa, e a tabela ali em cima mostra o efeito em número: metade de abstenção e um terço do erro. Mas leia a lista de novo e veja o que não está nela. Pensar mais não cria um dado que nunca esteve lá. Se a informação não existe no modelo e não foi entregue por você nem buscada por ferramenta, raciocinar mais só produz um chute mais bem argumentado, e portanto mais convincente. A OpenAI diz isso na cara, e a frase merece fechar o módulo: o ChatGPT também alucina; há significativamente menos alucinações, especialmente ao raciocinar, mas elas ainda ocorrem.
Teste rápido
Segundo a pesquisa publicada pela OpenAI, por que os modelos raramente dizem que não sabem?
Perguntas frequentes
- Alucinação é a IA mentindo?
- Não, e a diferença é importante. Mentir exige saber a verdade e escolher esconder. A OpenAI define alucinação como afirmação plausível mas falsa, e compara o comportamento ao de um estudante que chuta numa questão difícil em vez de admitir que não sabe. Não há intenção de enganar, há um sistema treinado e avaliado de um jeito que premia o palpite.
- Existe alguma configuração que desliga a alucinação?
- Não existe, e quem promete isso está vendendo alguma coisa. A OpenAI afirma que os modelos mais recentes têm taxas menores e que seguem trabalhando para reduzi-las, mas registra que alucinações continuam sendo um desafio fundamental para todos os grandes modelos de linguagem. O que reduz de verdade é dar a fonte, restringir a resposta a ela, autorizar o não sei e conferir.
- Usar o modelo de raciocínio resolve o problema?
- Ajuda bastante e não resolve. A definição oficial diz que ele gera uma cadeia de pensamento interna antes de responder, o que rende muito em tarefas de várias etapas, e os dados da OpenAI mostram queda grande no erro. Mas pensar mais não inventa um dado que nunca esteve lá. Sem fonte na mesa, o resultado é um chute mais bem argumentado.
- Se eu perguntar se ele tem certeza, a resposta melhora?
- Raramente, e essa é uma armadilha comum. Ele tende a recuar por concordância, não porque foi verificar alguma coisa. Você acaba conseguindo um pedido de desculpas em vez de um fato. Muito mais eficaz é colar o material, restringir a resposta a ele e exigir que cada afirmação venha com o trecho que a sustenta.
- Por que ele erra a data de um evento mas nunca erra a ortografia?
- Porque são naturezas diferentes de tarefa, e a OpenAI explica isso na pesquisa. Ortografia e parênteses seguem padrão consistente, então o erro some conforme o modelo cresce. Fato arbitrário e de baixa frequência, como uma data específica, não dá para prever a partir de padrão nenhum. É por isso que a alucinação se concentra justamente em número, data, lei e citação.
- Modelo maior alucina menos?
- Não necessariamente, e a OpenAI derruba essa crença de forma bonita. Eles argumentam que pode ser mais fácil um modelo pequeno conhecer os próprios limites: perguntado em maori, um modelo que não sabe maori simplesmente diz que não sabe, enquanto um que sabe um pouco precisa julgar a própria confiança. Ser calibrado exige bem menos computação do que ser exato.
Fontes
Seu progresso fica salvo neste aparelho. Assinantes sincronizam entre os aparelhos.