Encadeando geradores

A saída de um vira a entrada de outro

Um gerador consome um iterável, e um gerador também é um iterável. Junte essas duas verdades e você chega a uma ideia poderosa: o que sai de um gerador pode entrar em outro. Encadeando vários, você constrói um pipeline, uma linha de montagem em que cada etapa recebe o fluxo, faz a sua parte e passa adiante. Uma etapa filtra as linhas vazias, a próxima transforma texto em número, a seguinte descarta os negativos. Em nenhum momento a coleção inteira existe na memória: apenas o item que está passando naquele instante. É um dos padrões mais elegantes do Python para processar dados.

O exemplo a seguir monta um pipeline de três etapas sobre uma lista de textos. A primeira etapa converte cada texto em número; a segunda mantém apenas os positivos; a terceira dobra cada valor. Repare que cada função geradora recebe a anterior como fonte, e que nada acontece até o for final começar a puxar os itens. É o for que dá a partida: ele pede um item à última etapa, que pede à do meio, que pede à primeira, que lê a fonte. Um pedido percorre a linha de trás para frente, e um item volta atravessando todas as etapas.

def para_numero(textos):
    for t in textos:
        yield int(t)

def so_positivos(numeros):
    for n in numeros:
        if n > 0:
            yield n

def dobrar(numeros):
    for n in numeros:
        yield n * 2

brutos = ["3", "-1", "5", "0", "8"]

pipeline = dobrar(so_positivos(para_numero(brutos)))
print(list(pipeline))   # [6, 10, 16]

Três geradores encadeados: converter, filtrar e dobrar. O fluxo passa item por item.

Como o fluxo corre pelo pipeline

Vale visualizar o caminho de um único item para entender por que o pipeline é tão econômico. Quando o for pede o primeiro valor, dobrar pede um número a so_positivos, que pede a para_numero, que lê o primeiro texto, 3, e o converte em 3. Esse 3 passa por so_positivos, que o aprova por ser positivo, e chega a dobrar, que devolve 6. Só então o for recebe o 6 e o imprime. Apenas depois disso o segundo item começa a jornada. Ou seja: um item de cada vez percorre o pipeline inteiro, e nunca há uma lista intermediária de todos os convertidos ou de todos os positivos.

Esse estilo tem duas vantagens que se reforçam. A primeira é a memória: como o fluxo é puxado item a item, um arquivo de milhões de linhas passa pelo pipeline gastando a memória de uma linha por vez. A segunda é a clareza: cada etapa é pequena, tem um nome que explica sua função e pode ser testada isoladamente. Trocar a ordem, remover uma etapa ou inserir outra é uma edição local, sem tocar no resto. A biblioteca padrão inclui o módulo itertools, cheio de peças de pipeline prontas, como chain para emendar sequências e islice para limitar a quantidade, que combinam de forma natural com os seus próprios geradores.

Consolidando o pipeline

Encadear geradores é montar uma linha de montagem preguiçosa. Cada etapa recebe um fluxo, aplica uma transformação simples e passa adiante, e nada roda até o consumo final puxar os itens. O resultado é um jeito de processar grandes volumes de dados que é ao mesmo tempo leve na memória e fácil de ler, porque a lógica fica dividida em pedaços pequenos e nomeados. Esse padrão é a ponte direta para a prática final do módulo, onde você vai encadear a leitura de um arquivo grande com um filtro, tudo linha a linha.