Deduplicar: o truque de tirar repetidos

Jogar tudo no conjunto

Aqui está talvez o truque mais usado do dia a dia com conjuntos, e um dos mais satisfatórios. Você tem uma lista cheia de repetidos, uma exportação de e-mails com duplicatas, uma coleção de tags em que várias se repetem, uma sequência de números com sobras, e quer só os valores distintos. A solução é quase mágica: jogue todos os itens num conjunto. Como o conjunto ignora repetidos pela sua unicidade, o que sobra são exatamente os valores únicos, sem você precisar comparar nada na mão. O que seria um laço com teste de pertencimento a cada passo vira uma conversão direta. É o tipo de solução curta e elegante que faz a estrutura certa parecer um superpoder.

emails <- ["ana@x.com", "beto@x.com", "ana@x.com", "caio@x.com", "beto@x.com"]
unicos <- conjunto(emails)
escreva(tamanho(unicos))   // 3 (ana, beto, caio, cada um uma vez)
// as duplicatas de ana e beto foram descartadas pela unicidade

Converter a lista em conjunto descarta os repetidos de uma vez. De 5 e-mails com duplicatas sobram 3 únicos.

O preço do truque: a ordem se perde

O truque é ótimo, mas tem um preço que você precisa conhecer para não ser pego de surpresa. Como o conjunto não guarda ordem, converter uma lista em conjunto embaralha a sequência original. Se você tinha os e-mails em ordem de cadastro e só queria remover os repetidos mantendo essa ordem, a conversão pura não serve: os únicos saem, mas fora da ordem que você tinha. Para muitos casos isso não importa (você só quer a contagem de distintos, ou vai reordenar de qualquer jeito), e aí o truque é perfeito. Mas quando a ordem precisa ser preservada, a solução é outra: percorrer a lista original mantendo um conjunto de já vistos e montar uma lista nova só com os itens que aparecem pela primeira vez.

lista <- ["b", "a", "b", "c", "a"]
vistos <- conjunto vazio
sem_repetir <- lista vazia
para cada item em lista faça
  se item não pertence a vistos então
    adicione(item, sem_repetir)   // mantém a ordem de primeira aparição
    adicione(item, vistos)
  fim
fim
escreva(sem_repetir)   // [ "b", "a", "c" ] - sem repetidos E na ordem original

Para deduplicar preservando a ordem, use um conjunto de vistos e monte uma lista nova na ordem de primeira aparição.

valores <- [4, 7, 4, 4, 9, 7, 2]
unicos <- conjunto(valores)
escreva(tamanho(unicos))

Fechando o módulo dos conjuntos

Com o conjunto na bagagem, você completa o trio de estruturas de coleção do intermediário. A lista guarda ordem e permite repetição; o dicionário associa etiquetas a valores; o conjunto guarda itens únicos e responde pertence com rapidez. Cada uma resolve uma família de problemas, e a habilidade que você está construindo é olhar para um problema e sentir qual estrutura pede menos esforço. Uma coleção sem repetidos, com muita checagem de presença ou combinação de grupos, grita conjunto. Daqui em diante, o curso muda de foco: sai de como guardar os dados e entra em como organizar o código que trabalha com eles, começando pelas funções, as máquinas que empacotam pedaços de lógica para reusar.