Comment supprimer les lignes dupliquées du texte (Outil en ligne + Code)

Les lignes dupliquées gaspillent de l'espace dans les logs, CSVs et exports de données. Voici comment les supprimer.

Ligne de commande

# Trier et dédupliquer
sort input.txt | uniq > output.txt

# Préserver l'ordre original (awk)
awk '!seen[$0]++' input.txt > output.txt

Python

lines = open('input.txt').readlines()
seen = set()
result = []
for line in lines:
    if line not in seen:
        seen.add(line)
        result.append(line)

Outil en ligne

Utilisez notre suppresseur de lignes dupliquées pour une déduplication instantanée.