Encontrar e remover arquivos duplicados além de ser uma coisa chata e tediosa, desperdiça muito tempo, e o pior disso, é saber que um dia você irá fazê-lo. Porém, se você é um usuário GNU /Linux, saiba que, seguindo a tradição UNIX, há uma ferramenta para tudo.

Existe uma solução apresentada pela comunidade: fdupes. Esta é uma ferramenta escrita em C e liberada sob a licença MIT para identificar arquivos duplicados que residem dentro de diretórios específicos.

How to Remove Duplicate Files with Fdupes


Como instalar fdupes


Em sistemas baseados em Debian você pode instalar com o APT:


$ sudo apt-get install fdupes



No Fedora, CentOS e RHEL, depois de habilitar o repositório epel:


# yum install fdupes
# dnf install fdups




Para saber todas as opções de comando do fdupes utilize esse comando:


$ fdupes –h




Você receberá essa lista:


Usage: fdupes [options] DIRECTORY...

-r --recurse for every directory given follow subdirectories
encountered within
-R --recurse: for each directory given after this option follow
subdirectories encountered within (note the ':' at
the end of the option, manpage for more details)
-s --symlinks follow symlinks
-H --hardlinks normally, when two or more files point to the same
disk area they are treated as non-duplicates; this
option will change this behavior
-n --noempty exclude zero-length files from consideration
-A --nohidden exclude hidden files from consideration
-f --omitfirst omit the first file in each set of matches
-1 --sameline list each set of matches on a single line
-S --size show size of duplicate files
-m --summarize summarize dupe information
-q --quiet hide progress indicator
-d --delete prompt user for files to preserve and delete all
others; important: under particular circumstances,
data may be lost when using this option together
with -s or --symlinks, or when specifying a
particular directory more than once; refer to the
fdupes documentation for additional information
-N --noprompt together with --delete, preserve the first file in
each set of duplicates and delete the rest without
prompting the user
-v --version display fdupes version
-h --help display this help message





Como utilizar fdupes


Utilizar fdupes é relativamente fácil. Para encontrar arquivos duplicados, utilize este comando:


$ fdupes /path/to/some/directory




Observação:
Este comando irá apenas procurar no diretório especificado como argumento e retorna uma lista de arquivos duplicados (se houver). Para que o comando também verifique subdiretórios, você deve adicionar a opção "-r" que significa "recursivamente". 



No Comando fdupes também é possível ver o tamanho do arquivo:


$ fdupes -S /path/to/some/directory




Também é possível especificar mais de um diretório:


$ fdupes /path/to/first/directory /path/to/second/directory




Para excluir todos os arquivos duplicados, utilize esse comando:


$ fdupes -d /path/to/directory




O comando preservará uma cópia e excluirá todo o restante.


Referências:

Comunidade GitHub: https://github.com/
unixmen.com
tags: arquivos, ferramentas linux, arquivos, duplicados