Cómo eliminar líneas duplicadas del texto (Herramienta online + Código)

Las líneas duplicadas desperdician espacio en logs, CSVs y exportaciones de datos. Así puedes eliminarlas.

Línea de comandos

# Ordenar y deduplicar
sort input.txt | uniq > output.txt

# Preservar orden original (awk)
awk '!seen[$0]++' input.txt > output.txt

Python

lines = open('input.txt').readlines()
seen = set()
result = []
for line in lines:
    if line not in seen:
        seen.add(line)
        result.append(line)

Herramienta online

Usa nuestro eliminador de líneas duplicadas para deduplicación instantánea.