重複行を削除する方法｜Excel・CSV・テキストの行を整理

重複行の削除は、各行を比較し、同じ値が2回目以降に現れたときにその行を除く処理です。入力順を維持する場合は、最初に現れた行を残します。たとえばA、B、A、C、Bなら、結果はA、B、Cです。

先に並べ替えてから重複を削除すると、どの表記が残るか変わることがあります。正式表記を残したいデータでは、入力順のまま重複を削除し、結果を確認してから並べ替える方法が安全です。

不要な重複を消したい場合と、重複している値を調査したい場合では必要な結果が異なります。削除する前に重複内容を確認したいときは、まず重複行だけを抽出し、原因や正しい表記を確認します。

順番だけを整えたい場合は、重複を削除せずに並べ替えます。受付順や優先順が意味を持つデータでは、並べ替えによって元の順序を失わないよう、元データを別に保存してください。

見た目が同じでも、末尾に半角スペースがある行は、何も設定しなければ別の値として扱われます。表計算ソフトや管理画面からコピーしたリストでは、行頭・行末の空白が混ざりやすいため、前後空白を削除してから比較すると重複を見つけやすくなります。

英字の大文字小文字や全角半角は、用途によって意味が異なります。メールアドレスや一般的な名称では同一視したい場合がありますが、パスワード、コード、識別子では別の値として扱う必要があります。自動的にすべて統一せず、データの仕様を確認します。

Excelやスプレッドシートの1列をコピーし、1行を1件として貼り付ければ、重複削除に利用できます。列名や見出しが先頭にある場合は、先頭行を固定して削除・並べ替えの対象外にします。

CSVファイルは、見た目の1行とデータ上の1レコードが一致しない場合があります。引用符で囲まれたセル内に改行があるCSVを単純に行分割すると、1件の途中で分かれます。セル内改行を含むCSVは表計算ソフトで対象列だけを確認するか、CSVを解析できる専用処理を使ってください。

日本語順は文字列として並べるため、名称やキーワード一覧の整理に向いています。ただし、漢字の読みを自動推測して五十音順にする処理ではありません。漢字名を読み順に並べたい場合は、ふりがなの列を用意して並べ替えます。

型番やファイル名に数字が含まれる場合は、数字の自然順を使うとitem-2をitem-10より前へ置けます。ランダム順は候補の表示順を無作為に変える用途に使えますが、厳密な抽選・監査・当選者決定では、抽選規約や記録要件に合う専用手段を使用してください。

「重複行削除・行並べ替え」ツールへ、1行につき1件のリストを貼り付けます。「重複を削除」「重複行だけ抽出」「削除せず並べ替え」から処理を選び、必要に応じて空行、前後空白、大文字小文字、全角半角、先頭行固定を設定します。

並べ替え方法を選んで「行を整理する」を押すと、入力行数、異なる値、重複分、出力行数を確認できます。結果を読み直したあと、クリップボードへコピーするかTXTファイルで保存します。処理は対応ブラウザ内で行われます。

重複削除後は、出力行数だけでなく、残った表記を確認します。表記違いを同一視した場合は、最初に現れた行の文字が残るため、正式名称と異なる表記が先にあれば手動で直します。

元のCSVや表へ結果を戻す場合は、行単位のデータと別列の対応が崩れていないか注意が必要です。1列だけを取り出して並べ替え、その列だけを元の複数列表へ戻すと、氏名とメールアドレスなどの組み合わせがずれる可能性があります。