7 sposobów na usunięcie zduplikowanych linii w plikach tekstowych

Zwykły plik tekstowy jest jednym z najczęstszych sposobów przechowywania zapisanych danych na komputerze. Utworzenie pliku tekstowego jest nie tylko bardzo proste, ale także niezwykle łatwe do edycji, ponieważ można to zrobić za pomocą czegoś prostego, jak wbudowane narzędzie Windows Notepad. Plik tekstowy jest również formatem uniwersalnym, co oznacza, że ​​można go odczytać na wielu platformach, w tym na komputerach z systemem Windows, komputerach Mac, Linux, telefonach, tabletach i wszystkim innym.

Jeśli masz wiele dużych plików tekstowych, które musisz przeczytać lub połączyłeś kilka plików tekstowych w jeden, aby ułatwić sobie sprawę, warto usunąć wszelkie wiersze tekstu, które są duplikatami. Możesz ręcznie przejrzeć plik i samodzielnie usunąć duplikaty, ale o wiele łatwiej jest pozwolić, aby proces był obsługiwany automatycznie. Tutaj pokazujemy wiele różnych sposobów usuwania duplikatów linii z plików tekstowych.

Użyj narzędzia innej firmy, aby usunąć zduplikowane linie

Prostym i powszechnym sposobem usuwania zduplikowanych linii z pliku tekstowego jest użycie dedykowanego narzędzia innej firmy.

1. TextCrawler TextCrawler to bardzo potężny darmowy program zbudowany głównie z myślą o wyszukiwaniu i zastępowaniu danych w plikach tekstowych. Na szczęście pomimo swojej mocy TextCrawler jest nadal stosunkowo łatwy w użyciu, a opcja usuwania zduplikowanych linii znajduje się w osobnym oknie, zwanym Scratchpad.

Aby otworzyć Scratchpad, zainstaluj i uruchom TextCrawler i przejdź do menu Narzędzia> Scratchpad lub naciśnij F2. Wklej tekst do okna i naciśnij przycisk Do, opcja usuwania zduplikowanych linii powinna być domyślnie zaznaczona w menu rozwijanym, nie należy jej wcześniej zaznaczać. Następnie naciśnij Zapisz, aby utworzyć nowy plik tekstowy lub skopiuj i wklej tekst z powrotem do ulubionego edytora tekstu. Lista rozwijana zawiera również inne opcje usuwania białych znaków i sortowania tekstu w porządku rosnącym lub malejącym.

Pobierz TextCrawler

2. Notepad ++

Notepad ++ to bogaty w funkcje edytor tekstu, ale nie ma zintegrowanej funkcji usuwania zduplikowanych linii, jednak tę opcję można dodać za pomocą zewnętrznego systemu wtyczek używanego przez Notepad ++. Chociaż niektóre są już zawarte, wtyczka TextFX nie jest instalowana domyślnie i musi zostać dodana ręcznie.

Na pasku menu Notepad ++ kliknij Wtyczki> Menedżer wtyczek> Pokaż Menedżera wtyczek i znajdź wtyczkę Znaki TextFX z listy. Zaznacz pole, kliknij Zainstaluj i uruchom ponownie program po wyświetleniu monitu, a menu TextFX będzie dostępne. Aby użyć funkcji usuwania zduplikowanych linii, załaduj plik tekstowy do Notepad ++ i zaznacz cały tekst (Ctrl + A), przejdź do TextFX> Narzędzia TextFX i wybierz opcję „+ Sortuj wyjścia tylko UNIKALNE (w kolumnie) wiersze”.

Wróć do tego samego menu Narzędzia TextFX i kliknij „Sortuj linie z rozróżnianiem wielkości liter (w kolumnie)” lub „Sortuj linie bez rozróżniania wielkości liter (w kolumnie)”, podświetlone na żółto powyżej. Spowoduje to usunięcie duplikatów linii i pozostawienie lub usunięcie tych z inną obudową. Następnie ponownie zapisz plik.

Pobierz Notepad ++

3. Usuwanie duplikatów linii

Narzędzie do usuwania duplikatów linii pochodzi od firmy ochroniarskiej NoVirusThanks.org i ma kilka przydatnych funkcji. Z jakiegoś powodu strona programu została usunięta z ich strony internetowej, ale na szczęście oficjalny link do pobrania jest nadal dostępny. Dostępny jest tylko instalator instalacji, ale możesz uczynić program przenośnym za pomocą Universal Extractor.

Aby usunąć zduplikowane linie, wyszukaj lub upuść plik w oknie, kliknij Sprawdź, a jeśli zduplikowane linie zostaną znalezione, kliknij Napraw i wybierz nazwę zapisu. Można także przetwarzać wsadowo wiele plików jednocześnie, w tym w podfolderach, za pomocą karty Skanowanie plików. Pamiętaj jednak, że automatycznie utworzy kopie zapasowe .bak i zastąpi oryginalne pliki przetworzonymi plikami. Użyj pola maski i dodaj rozszerzenie pliku, aby zatrzymać przetwarzanie. Dedykowana wersja wiersza poleceń jest dostępna w pakiecie dla bardziej zaawansowanych użytkowników.

Pobierz narzędzie do usuwania zduplikowanych linii

4. TextMechanic Offline

Część nazwy offline ma odróżnić to narzędzie od internetowej usługi TextMechanic, ponieważ nie są ze sobą powiązane. To narzędzie jest przenośnym plikiem wykonywalnym i hostowane w SourceForge. Oprócz usuwania zduplikowanych i pustych linii TextMechanic Offline może również usuwać wiersze zawierające określony tekst lub znajdować i zamieniać tekst.

Wklej tekst do przetworzenia w oknie TextMechanic przed naciśnięciem przycisku „ Usuń zduplikowane linie ”, a następnie przycisku „ Usuń puste linie ”. Jeśli nie naciśniesz obu przycisków, tekst będzie zawierał puste linie, w których duplikaty zostały usunięte. Na koniec naciśnij „ Zapisz w schowku ”, aby poprawiony tekst mógł zostać wklejony z powrotem do edytora tekstu. W tym narzędziu rozróżniana jest wielkość liter, więc linie muszą być identyczne zarówno pod względem wielkości liter, jak i zawartości, jeśli mają zostać usunięte.

Pobierz TextMechanic offline

Usuń zduplikowane linie za pomocą wbudowanych poleceń systemu Windows

Za pomocą mieszanki wbudowanych poleceń systemu Windows można usunąć zduplikowane linie z plików tekstowych.

5. Korzystanie ze skryptu wsadowego

Połączenie tych poleceń w jeden skrypt wsadowy pozwala na szybkie i łatwe przetwarzanie. Może to być również przydatne, jeśli na komputerze są jakieś ograniczenia dotyczące oprogramowania innych firm. Skrypt, którego używamy, został znaleziony w StackOverflow i zmodyfikowany, aby ułatwić obsługę.

Po prostu pobierz plik DeDupe Zip i rozpakuj go, w środku są dwa pliki BAT, w jednym rozróżniana jest wielkość liter i nie zmieni wierszy, chyba że ich wielkość jest również identyczna, w drugim skrypcie nie jest rozróżniana wielkość liter. Aby usunąć zduplikowane linie w pliku, wystarczy upuścić plik tekstowy na plik .BAT, a plik zostanie automatycznie przetworzony i wydrukowany w tym samym folderze z dodanym sufiksem. Linie nie są ponownie uporządkowane, ale usuwane na miejscu, idealne, jeśli chcesz zachować tę samą kolejność linii co oryginał.

Pobierz pliki wsadowe DeDupe

Usuń zduplikowane linie za pomocą usługi online

Istnieje wiele usług online do usuwania zduplikowanych wierszy z tekstu, wybraliśmy kilka, które powinny zaspokoić Twoje potrzeby.

6. TextMechanic

Nie należy mylić z narzędziem TextMechanic Offline, które nie jest powiązane, ta witryna zawiera wiele różnych internetowych narzędzi do manipulacji tekstem. Oprócz usuwania tylko zduplikowanych linii, jeśli chcesz, aby wszystkie inne narzędzia były dostępne jednocześnie, użyj Notatnika manipulacji tekstem All-in-One.

Istnieją dwa sposoby na przeniesienie tekstu do okna: użyj przycisku Załaduj plik, aby go wyszukać, lub naciśnij niebieski przycisk C, aby wyczyścić bieżący tekst w oknie i wkleić własny tekst. Następnie kliknij przycisk Usuń zduplikowane linie, dostępne są opcje rozróżniania wielkości liter i usuwania pustych linii, aby sprawdzić, czy tekst tego wymaga. Po zakończeniu kliknij przycisk Zapisz jako lub naciśnij S, aby zaznaczyć cały tekst, kliknij prawym przyciskiem myszy i skopiuj go (lub naciśnij Ctrl + C) gotowy do wklejenia do edytora tekstu.

Odwiedź TextMechanic Usuń zduplikowane linie

7. Usuń zduplikowane linie

Podobnie jak powyżej TextMechanic.com, witryna TextFixer ma wiele narzędzi do manipulacji HTML, liczb i tekstów, z których strona narzędzia do usuwania duplikatów linii jest tylko jedna.

Wklej tekst do przetworzenia do górnego okna, naciśnij przycisk Usuń zduplikowane linie, a wynik pojawi się w dolnym oknie, gotowy do wybrania i skopiowania. To narzędzie ma kilka przydatnych opcji sortowania, takich jak sortowanie w kolejności alfabetycznej lub całkowite odwrócenie kolejności sortowania. Podczas usuwania linii rozróżniana jest wielkość liter, więc pojedyncza wielka lub mała litera w linii oznacza różnicę między jej pozostawaniem a usuwaniem.

Odwiedź narzędzie TextFixer Duplicate Line Removal Tool

Kilka innych internetowych narzędzi do usuwania duplikatów linii to DeDupeList.com, Usuń zduplikowane linie przez Text-Utils.com i narzędzie do przeszukiwania listy.