O que a ferramenta de remover linhas duplicadas faz
Uma linha duplicada é uma linha de texto que aparece mais de uma vez em uma lista. Elas se acumulam quando você junta duas listas de e-mails, copia palavras-chave de vários relatórios ou cola os mesmos itens duas vezes sem querer. Esta ferramenta lê o seu texto linha por linha e remove as repetições.
Há três maneiras de usá-la, escolhidas com os botões de Manter:
- Uma cópia de cada linha: remove as repetições e mantém a primeira cópia de cada linha. É o resultado normal de “remover duplicadas”.
- Linhas que aparecem uma vez: descarta todas as linhas que têm duplicata, inclusive a primeira cópia. Sobram só as linhas realmente únicas.
- Só as linhas repetidas: lista as linhas que apareceram mais de uma vez, cada uma mostrada uma única vez. Use para descobrir o que estava duplicado.
Como usar
- Cole sua lista em Sua lista, um item por linha.
- Escolha uma opção em Manter.
- Ligue Ignorar maiúsculas e minúsculas se “Maçã” e “maçã” devem contar como iguais.
- Deixe Ignorar espaços no fim das linhas ligado, a não ser que os espaços no fim importem para você.
- Copie o resultado com Copiar ou salve com Baixar.
A mensagem abaixo da ferramenta informa quantas linhas foram removidas e quantas sobraram.
As opções em detalhe
Ignorar maiúsculas e minúsculas compara as linhas sem olhar para as letras maiúsculas. A primeira versão é a que fica, então, se “maçã” vem antes de “Maçã”, você recebe “maçã”.
Ignorar espaços no fim das linhas tira espaços e tabulações do começo e do fim de cada linha antes de comparar. A linha mantida não é alterada. Desligue se os espaços do começo tiverem significado, como em código com recuo.
Remover linhas em branco aparece quando você mantém uma cópia de cada linha. Vem ligada por padrão. Desligue para manter as linhas vazias onde estavam, o que ajuda quando as linhas em branco separam grupos na sua lista. As linhas em branco nunca são tratadas como duplicatas umas das outras.
Mostrar quantas vezes aparece junto com Só as linhas repetidas. Acrescenta o número de cópias entre parênteses depois de cada linha.
Os acentos contam na comparação. “Maçã” e “Maca” são linhas diferentes, mesmo com Ignorar maiúsculas e minúsculas ligado, porque a ferramenta compara as letras exatamente como foram escritas.
Exemplos
Todos usam a lista de exemplo da página: maçã, banana, Maçã, cereja, banana, uma linha em branco, uva, cereja, banana.
| Configuração | Resultado |
|---|---|
| Uma cópia de cada linha | maçã, banana, Maçã, cereja, uva |
| Uma cópia de cada linha, Ignorar maiúsculas e minúsculas | maçã, banana, cereja, uva |
| Linhas que aparecem uma vez | maçã, Maçã, uva |
| Só as linhas repetidas, Mostrar quantas vezes | banana (3), cereja (2) |
| Só as linhas repetidas, Mostrar quantas vezes, Ignorar maiúsculas e minúsculas | maçã (2), banana (3), cereja (2) |
Aqui os resultados aparecem separados por vírgulas para economizar espaço. Na ferramenta, cada item fica na sua própria linha.
Com as configurações padrão, a nota diz “3 linhas duplicadas removidas. Sobraram 5 linhas.”
Como funciona
A ferramenta divide o texto em cada quebra de linha. Depois monta uma chave de comparação para cada linha: a própria linha, sem os espaços das pontas se Ignorar espaços no fim das linhas estiver ligado, e em minúsculas se Ignorar maiúsculas e minúsculas estiver ligado. Ela conta quantas vezes cada chave aparece e depois percorre as linhas em ordem, decidindo quais manter. Como são as linhas originais que ficam, e não as chaves, seus espaços e maiúsculas não são alterados.
Dicas
- Ordene depois, não antes. Remover duplicadas mantém a sua ordem. Se você também quer a lista ordenada, cole o resultado na ferramenta de ordem alfabética.
- Limpe listas bagunçadas primeiro. Linhas com espaços duplos no meio, como “São Paulo” e “São Paulo”, não batem. O removedor de espaços em branco corrige isso.
- Um item por linha. Se os seus itens estão separados por vírgulas, coloque cada um em uma linha antes, ou use a opção Vírgulas da ferramenta de ordem alfabética, que também remove duplicadas.
- Texto quebrado em várias linhas, vindo de um PDF, deve ser juntado antes com a ferramenta de remover quebras de linha.
Outras formas de remover linhas duplicadas
Excel: selecione a coluna e escolha Dados, depois Remover Duplicatas. No Excel 365 você também pode usar a fórmula =ÚNICO(A1:A100) (ou =UNIQUE(A1:A100) no Excel em inglês).
Planilhas Google: use Dados, depois Limpeza de dados, depois Remover cópias, ou a fórmula =UNIQUE(A1:A100).
Notepad++: Editar, depois Operações de Linha, depois remover as linhas duplicadas.
Linha de comando: sort file.txt | uniq remove as duplicadas, mas também ordena as linhas. awk '!seen[$0]++' file.txt mantém a ordem original.
Python: list(dict.fromkeys(lines)) mantém a primeira cópia de cada linha, em ordem.
Para uma lista rápida vinda de um e-mail ou de uma página web, colar aqui costuma ser mais rápido do que abrir uma planilha.