Por que usar geradores

A preguiça que vale a pena

Nas aulas anteriores você viu como criar geradores. Agora vem a pergunta que importa: por que se dar esse trabalho, se uma lista faz um serviço parecido? A resposta está em uma palavra, memória, e em um conceito, avaliação preguiçosa. Uma lista é ansiosa: no momento em que você a cria, todos os seus itens já existem na memória, todos de uma vez. Um gerador é preguiçoso: ele não guarda item nenhum de antemão; produz cada um só quando você o pede e o esquece assim que você passa para o próximo. Para dez itens isso não muda nada. Para dez milhões, muda tudo.

O exemplo abaixo mostra a diferença de forma concreta, usando o módulo sys para medir o tamanho de cada objeto na memória. A lista precisa reservar espaço para todos os números ao mesmo tempo. O gerador ocupa um punhado de bytes fixo, não importa quantos itens ele vá produzir, porque ele guarda apenas a receita de como produzi-los, não os itens em si. É a diferença entre carregar uma biblioteca inteira nas costas e ter uma ficha que busca um livro por vez.

import sys

lista = [x * x for x in range(1_000_000)]
gerador = (x * x for x in range(1_000_000))

print(sys.getsizeof(lista))     # cerca de 8000000 bytes
print(sys.getsizeof(gerador))   # cerca de 200 bytes

# Mesma sequencia de quadrados; consumo de memoria completamente diferente.

A lista reserva memória para um milhão de itens; o gerador ocupa um tamanho fixo minúsculo.

Sequências enormes e infinitas

A avaliação preguiçosa abre uma porta que a lista nunca poderia: representar sequências que não cabem na memória, ou que nem têm fim. Você não consegue criar a lista de todos os números pares, porque ela seria infinita e nenhuma memória a comportaria. Mas consegue escrever um gerador que os produz um a um, para sempre. Isso parece perigoso, e é, se você tentar consumir tudo. O segredo é sempre impor um limite no momento do consumo, pedindo apenas os itens de que precisa e parando ali.

def pares():
    n = 0
    while True:       # loop sem fim: gera pares para sempre
        yield n
        n = n + 2

g = pares()
for _ in range(5):
    print(next(g), end=" ")   # 0 2 4 6 8
print()

# O gerador e infinito, mas so pedimos 5 itens. Percorrer tudo travaria o programa.

Um gerador infinito é seguro enquanto você limita o consumo, aqui pedindo só cinco itens.

Vale ter honestidade sobre o outro lado da moeda. Geradores não são melhores que listas em toda situação. Como eles se esgotam depois de percorridos, você não pode voltar ao começo nem acessar o item de índice 500 direto: um gerador não tem g[500]. Se você precisa percorrer a mesma sequência várias vezes, ordenar, contar o total ou acessar itens por posição, a lista é a ferramenta certa. O gerador brilha quando o fluxo é de mão única: passar por cada item uma vez, do começo ao fim, sem precisar de todos ao mesmo tempo. É exatamente esse cenário que a prática final deste módulo vai explorar com um arquivo grande.

Amarrando os motivos

Resumindo os motivos: geradores economizam memória porque são preguiçosos, produzindo cada item sob demanda em vez de guardar todos; permitem representar sequências enormes ou até infinitas, desde que você limite o consumo; e deixam o programa começar a trabalhar com os primeiros itens antes de os últimos existirem. O custo é abrir mão do acesso aleatório e da possibilidade de reler. Sabendo dessa troca, você escolhe a estrutura certa para cada caso: lista quando precisa de tudo na mão, gerador quando basta passar por cada item uma vez.