uniq - 重複行を１つにまとめる

uniq コマンドを使用することで、重複行を１つにまとめることができます。

ただし、同じ内容の行が連続している場合のみ、重複していると認識されるため、直前に sort しておくなど事前準備が必要です。（ならばいっそのこと sort -u で処理してしまったほうが早いかもしれません）。

aa cc
aa cc
bb cc 
dd ee

という内容のファイル [file] があったとします。

% uniq [file1]
aa cc
bb cc
dd ee

のようになります。

% uniq -c [file1]
   2 aa cc
   1 bb cc 
   1 dd ee

オプション -c を使うといくつ重複したかをカウントしてくれます。