テキストから重複行を削除する方法（オンラインツール＋コード）

重複行はログ、CSV、データエクスポートで無駄なスペースを占めます。削除する方法を紹介します。

コマンドライン

# ソートして重複除去
sort input.txt | uniq > output.txt

# 元の順序を保持（awk）
awk '!seen[$0]++' input.txt > output.txt

Python

lines = open('input.txt').readlines()
seen = set()
result = []
for line in lines:
    if line not in seen:
        seen.add(line)
        result.append(line)

オンラインツール

重複行削除ツールで即座に重複を除去できます。