Como remover linhas duplicadas do texto (Ferramenta online + Código)

Linhas duplicadas desperdiçam espaço em logs, CSVs e exportações de dados. Veja como removê-las.

Linha de comando

# Ordenar e deduplicar
sort input.txt | uniq > output.txt

# Preservar ordem original (awk)
awk '!seen[$0]++' input.txt > output.txt

Python

lines = open('input.txt').readlines()
seen = set()
result = []
for line in lines:
    if line not in seen:
        seen.add(line)
        result.append(line)

Ferramenta online

Use o nosso removedor de linhas duplicadas para deduplicação instantânea.