Was das Tool macht
Eine doppelte Zeile ist eine Textzeile, die in einer Liste mehr als einmal vorkommt. Sie sammeln sich, wenn du zwei E-Mail-Verteiler zusammenführst, Keywords aus mehreren Berichten kopierst oder dieselben Einträge aus Versehen zweimal einfügst. Dieses Tool liest deinen Text Zeile für Zeile und entfernt die Wiederholungen.
Es gibt drei Varianten, die du mit den Schaltflächen unter Behalten wählst:
- Eine Kopie jeder Zeile: Entfernt die Wiederholungen und behält die erste Kopie jeder Zeile. Das ist das übliche Ergebnis beim „Duplikate entfernen“.
- Zeilen, die einmal vorkommen: Entfernt jede Zeile, die ein Duplikat hat, auch die erste Kopie. Übrig bleiben nur die wirklich einmaligen Zeilen.
- Nur wiederholte Zeilen: Listet die Zeilen auf, die mehr als einmal vorkamen, jede einmal. So findest du heraus, was doppelt war.
So nutzt du es
- Füge deine Liste in Deine Liste ein, einen Eintrag pro Zeile.
- Wähl eine Option unter Behalten.
- Schalte Groß-/Kleinschreibung ignorieren ein, wenn „Apfel“ und „apfel“ als gleich gelten sollen.
- Lass Leerzeichen am Zeilenende ignorieren an, außer Leerzeichen am Ende sind dir wichtig.
- Kopier das Ergebnis mit Kopieren oder speichere es mit Herunterladen.
Die Meldung unter dem Tool sagt dir, wie viele Zeilen entfernt wurden und wie viele übrig sind.
Die Optionen im Detail
Groß-/Kleinschreibung ignorieren vergleicht Zeilen, ohne auf Großbuchstaben zu achten. Behalten wird die erste Version. Steht also „apfel“ vor „Apfel“, bekommst du „apfel“. Bei deutschen Listen ist das besonders nützlich, weil dasselbe Wort je nach Quelle mal als Substantiv groß und mal klein geschrieben sein kann. Umlaute werden dabei korrekt verglichen, „ÄPFEL“ und „äpfel“ gelten als gleich.
Leerzeichen am Zeilenende ignorieren entfernt beim Vergleichen Leerzeichen und Tabs am Anfang und Ende jeder Zeile. Die behaltene Zeile bleibt unverändert. Schalte es aus, wenn führende Leerzeichen eine Bedeutung haben, etwa bei eingerücktem Code.
Leere Zeilen entfernen erscheint, wenn du eine Kopie jeder Zeile behältst. Die Option ist standardmäßig an. Schalte sie aus, um leere Zeilen an ihrem Platz zu lassen. Das hilft, wenn Leerzeilen Gruppen in deiner Liste trennen. Leere Zeilen werden nie als Duplikate voneinander behandelt.
Anzahl anzeigen erscheint bei Nur wiederholte Zeilen. Es setzt die Anzahl der Kopien in Klammern hinter jede Zeile.
Beispiele
Alle Beispiele nutzen die Beispielliste auf der Seite: Apfel, Banane, apfel, Kirsche, Banane, eine leere Zeile, Dattel, Kirsche, Banane.
| Einstellungen | Ergebnis |
|---|---|
| Eine Kopie jeder Zeile | Apfel, Banane, apfel, Kirsche, Dattel |
| Eine Kopie jeder Zeile, Groß-/Kleinschreibung ignorieren | Apfel, Banane, Kirsche, Dattel |
| Zeilen, die einmal vorkommen | Apfel, apfel, Dattel |
| Nur wiederholte Zeilen, Anzahl anzeigen | Banane (3), Kirsche (2) |
| Nur wiederholte Zeilen, Anzahl anzeigen, Groß-/Kleinschreibung ignorieren | Apfel (2), Banane (3), Kirsche (2) |
Die Ergebnisse stehen hier aus Platzgründen mit Kommas getrennt. Im Tool bleibt jeder Eintrag in seiner eigenen Zeile.
Mit den Standardeinstellungen meldet das Tool: „3 doppelte Zeilen entfernt. 5 Zeilen übrig.“
So funktioniert es
Das Tool teilt deinen Text an jedem Zeilenumbruch. Dann baut es für jede Zeile einen Vergleichsschlüssel: die Zeile selbst, getrimmt, wenn Leerzeichen am Zeilenende ignorieren an ist, und kleingeschrieben, wenn Groß-/Kleinschreibung ignorieren an ist. Es zählt, wie oft jeder Schlüssel vorkommt, geht dann die Zeilen der Reihe nach durch und entscheidet, welche es behält. Weil die ursprünglichen Zeilen behalten werden und nicht die Schlüssel, bleiben deine Abstände und Großbuchstaben unverändert.
Tipps
- Sortiere danach, nicht davor. Das Entfernen von Duplikaten behält deine Reihenfolge. Wenn die Liste auch sortiert sein soll, füge das Ergebnis in Alphabetisch sortieren ein.
- Räum unordentliche Listen zuerst auf. Zeilen mit doppelten Leerzeichen in der Mitte, etwa „Bad Homburg“ und „Bad Homburg“, passen nicht zusammen. Das Tool Leerzeichen entfernen behebt das.
- Ein Eintrag pro Zeile. Wenn deine Einträge durch Kommas getrennt sind, setz zuerst jeden in eine eigene Zeile oder nimm die Komma-Option im Sortierer, der ebenfalls Duplikate entfernen kann.
- Text, der über Zeilen zerbrochen ist, etwa aus einer PDF, verbindest du zuerst mit Zeilenumbrüche entfernen.
Andere Wege, doppelte Zeilen zu entfernen
Excel: Markiere die Spalte und wähl dann Daten, Duplikate entfernen. In Excel 365 geht auch die Formel =EINDEUTIG(A1:A100) (englisch =UNIQUE(A1:A100)).
Google Tabellen: Nutze Daten, dann Datenbereinigung, dann Duplikate entfernen, oder die Formel =UNIQUE(A1:A100).
Notepad++: Im Menü Bearbeiten findest du unter den Zeilenoperationen einen Befehl zum Entfernen doppelter Zeilen.
Kommandozeile: sort file.txt | uniq entfernt Duplikate, sortiert die Zeilen aber auch. awk '!seen[$0]++' file.txt behält die ursprüngliche Reihenfolge.
Python: list(dict.fromkeys(lines)) behält die erste Kopie jeder Zeile in der Reihenfolge.
Für eine schnelle Liste aus einer E-Mail oder von einer Webseite ist das Einfügen hier meist schneller, als eine Tabelle zu öffnen.