O que ele faz bem e o que não faz

Onde ele brilha

Comece pelo lado bom, que é grande. O ChatGPT é muito forte em qualquer tarefa cujo acerto depende de padrão e não de verdade. Escrever um e-mail difícil para o chefe pedindo prazo, reescrever o mesmo texto em três tons diferentes, resumir a ata de uma reunião de duas horas, explicar juros compostos para uma criança de dez anos, traduzir um manual técnico, virar um parágrafo corrido em uma tabela organizada. Em todas essas tarefas existe um jeito certo de fazer que aparece milhões de vezes no texto do mundo, e é exatamente disso que ele aprendeu.

Repare em um detalhe que muda o resultado na prática. Pedir para ele resumir um contrato que você colou no chat é bem diferente de pedir para ele contar o que diz um contrato que ele nunca viu. No primeiro caso, o texto está ali, na frente dele, e a tarefa é condensar. No segundo caso, ele precisa lembrar de alguma coisa, e é aí que a invenção começa. Sempre que der, entregue o material junto com o pedido. É a diferença entre pedir um resumo e pedir um milagre.

Quando ele inventa com cara de quem sabe

Agora o lado incômodo, e ele precisa ser dito sem rodeio. O ChatGPT inventa. Não de vez em quando por acidente: inventar é a mesma engrenagem que o faz escrever bem. Se a tarefa é continuar o texto de forma provável, então quando ele não tem a informação certa ele produz o que soaria certo. E o que soaria certo tem número com casa decimal, tem nome de artigo de lei, tem citação de estudo. A resposta sai redonda, confiante, bem escrita e errada. Esse fenômeno tem nome: alucinação.

Um ponto que costuma pegar gente de surpresa é a conta. Parece razoável imaginar que um computador nunca erra matemática, mas o modelo de linguagem não está calculando: ele está escrevendo o que parece um resultado. Somar uma coluna longa de valores da planilha do mercado, calcular juros de um financiamento, fechar o total de horas do mês. Tudo isso ele pode errar, e errar bonito. O produto tem ferramentas específicas para análise de dados, com disponibilidade que varia conforme o plano, e o curso mostra como acioná-las. Sem ferramenta, trate número como estimativa.

A regra prática que resolve

Depois de tudo isso, a pergunta honesta é: e então, dá para confiar? A resposta útil não é sim nem não, é depende do que está em jogo. Se a resposta errada custa nada, aproveite sem medo. Se a resposta errada custa dinheiro, prazo, nota ou reputação, confira antes de usar. É o mesmo critério que você já aplica na vida: você aceita uma dica de restaurante sem investigar, mas não assina um contrato porque um conhecido disse que estava tudo certo.

Existe um jeito de pedir que reduz a invenção, e ele já cabe aqui. Diga a ele que pode responder que não sabe. Peça que separe o que é certeza do que é estimativa. Cole o material em vez de esperar que ele lembre. Nada disso elimina o risco, e prometer o contrário seria mentira. Mas muda bastante a taxa de acerto, e o módulo sobre técnicas de prompt aprofunda cada uma dessas manhas com exemplos comparados.

Prompt fraco:
Qual o valor do salário mínimo e quanto sobra depois dos descontos?

Prompt melhor:
Vou colar abaixo o meu holerite. Com base SOMENTE no que estiver nele, liste os descontos e some o total.
Se algum dado não estiver no texto, escreva NÃO CONSTA em vez de estimar.
No fim, avise que o valor precisa ser conferido no holerite oficial.

[cole aqui o texto do holerite]

O prompt melhor faz três coisas: entrega o material, proíbe o chute e pede o aviso de conferência.