Удаляем дубликаты строк из файла средствами Linux

article Как средствами Linux удалить дубликаты строк из текстового файла? Удаление дубликатов строк из текстового файла средствами ОС Linux не составляет особого труда, для этого нам достаточно стандартных программ sort и uniq.

К примеру у нас имеется текстовый файл garbage.txt с содержимым:

строка 1
строка 2
строка 3
строка 1
строка 4
строка 5
строка 1
строка 6
строка 7

Стандартные утилиты sort и uniq помогут нам отсортировать строки и выбрать только уникальные:

$ sort garbage.txt | uniq -u
строка 2
строка 3
строка 4
строка 5
строка 6
строка 7

Результат мы можем вывести в файл:

$ sort garbage.txt | uniq -u > sort.txt

Добавить комментарий


Защитный код
Обновить

2 megabytes