Программы для поиска дубликатов. Как найти и удалить одинаковые картинки, изображения и фото. Поиск совпадающих фото по различным алгоритмам с AntiDupl
Предварительный просмотр найденных дубликтов
При поиске похожих изображений можно также исключить из процесса поиска повернутые изображения. При этом картинка с разворотом изображения в ту или иную сторону не будет считаться дубликатом и не попадет в результаты поиска дубликатов картинок. Для удобства выбора дубликатов, которые необходимо пометить на удаление, в программе предусмотрена возможность просмотра миниатюр картинок. Для просмотра миниатюры изображения достаточно щелкнуть мышью по его названию в полученном отчете со списком дубликатов изображений. Важно помнить, что в списке дубликатов, предоставленном программой, необходимо оставлять как минимум один экземпляр из списка файлов-дубликатов. В противном случае, у пользователя не останется ни одного экземпляра картинки или фотографии.
Большие объемы встроенной памяти смартфонов очень разбаловали нас в плане мобильной фотографии. Мы больше не пытаемся с одного раза сделать удачный кадр, а вместо этого делаем серию снимков, чтобы потом выбрать среди них лучший. Проблема в том, что после обработки и публикации фотографии в Instagram неудачные дубли чаще всего остаются на смартфоне, захламляют галерею и занимают слишком много памяти. Со временем в приложении «Фото» наступает катастрофа - количество снимков становится так велико, что мысль пересмотреть все изображения и удалить лишние вызывает ужас. Например, у меня сейчас 28 602 фотографии и я даже не представляю, сколько времени нужно потратить на то, чтобы их все пересмотреть, сравнить похожие, выбрать из них лучшие, а все ненужно удалить.
Студия MacPaw несколько лет назад предложила пользователям Mac приложение Gemini, которое сканирует накопитель и помогает находить дублирующиеся файлы, а теперь предложила такую же возможность для фотогалереи мобильных устройств. Gemini в App Store можно скачать бесплатно, но за продолжительное использование придется платить. Разработчики дают три дня на пробу (этого хватит, чтобы разобрать относительно небольшую медиатеку), а потом придется оформить подписку либо с ежемесячной, либо с годовой оплатой.
Gemini сканирует все снимки, хранящиеся локально в приложении Фото на iPhone, но также умеет работать с «облачной» медиатекой в iCloud, если нужно почистить синхронизированные на всех устройствах фотографии. В моем случае на анализ всех фотографий ушло порядка 15 минут, iPhone X за это время непривычно сильно нагрелся сзади, в районе камеры. Очевидно, что приложение очень требовательно к ресурсам, а значит, на устройствах прошлых поколений процесс поиска дубликатов может занять больше времени. В результате сканирования Gemini выдает две «папки». В одной будут находится фотографии текста, скриншоты, размытые снимки и другие изображения, которые чаще всего не представляют для нас долгосрочной ценности. Найденные файлы можно посмотреть и быстро удалить либо часть из них, либо все сразу. Если какие-то изображения нельзя удалять ни сейчас, ни при будущих сканированиях - их можно добавить в список исключений.
Вторая папка после сканирования содержит «стопки» дублирующихся фотографий. Это - самое интересное. Разработчики придумали какой-то хитрый алгоритм, позволяющий автоматически выбирать лучше фото из серии. Например, если это люди, то приоритет отдается четким снимкам с улыбкой и открытыми глазами. Уличные снимки и пейзажи отбираются по другим критериям. Теоретически пользователь должен довериться работе приложения и очистить медиатеку iPhone от похожих и дублирующихся фотографий в автоматическом режиме, но после использования у меня сложилось ощущение, что такой шаг может оказаться опрометчивым. Например, в одной из папок с «одинаковыми» фотографиями я нашел и снятые на основную камеру виды Стамбула и Галатской башни и селфи на фоне города с фронтальной камерой. При таком раскладе все группы изображений все-таки стоит просматривать, иначе есть риск потерять некоторые важные и памятные снимки.
В общем, за пару минут почистить медиатеку не получится, однако Gemini все-таки экономит время на приведение фотографий в порядок. Во-первых, для некоторых групп достаточно быстрого взгляда, чтобы согласиться с тем, какой снимок алгоритмы Gemini признали лучшим, а все остальные можно быстро удалить. Во-вторых, в интерфейсе приложения проще и удобнее пересматривать сгруппированные похожие фотографии, если захочется переназначить лучшую из серии и перенести в корзину остальные.
Алгоритмы Gemini нельзя назвать идеальными и на очистку в автоматическом режиме едва ли можно полагаться, но приложение все-таки позволяет существенно сэкономить время и силы на приведение медиатеки в порядок. В общем, хотя бы на время трехдневного пробного периода
Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.
Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.
Платформы: Windows, Mac.
Цена: бесплатно, 24,95 доллара за расширенную версию.
Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.
Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.
Платформы: Windows, Mac, Linux.
Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.
Платформы: Windows.
Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.
Платформы: Mac.
Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.
Платформы: Windows.
Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.
Платформы: Windows.
Цена: бесплатно, 29,95 доллара за расширенную версию.
Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.
Платформы: Windows.
DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.
Image Comparer™ это утилита для поиска похожих картинок . Цветовая гамма и различное разрешение мало влияют на качество сравнения. Image Comparer™ найдет все похожие изображения даже если одно из них в JPEG формате, а другое в стандартном Windows bitmap формате. Начиная с версии 3.3, Image Comparer научился подсвечивать различия в сравниваемых изображениях, а с версии 3.7 программа оптимизирована для использования с современными многоядерными процессорами.
Если у вас большая коллекция изображений в различных форматах, то вы знаете, как сложно помнить все и удалять одинаковые картинки. А что если они одинаковые, но различного качества (разрешение, степень сжатия)? Мы предоставляем вам возможность простого решения этой проблемы. Image Comparer™ автоматизирует процесс нахождения похожих картинок. Заметьте, что Image Comparer™ ищет не только полностью идентичные картинки, но и просто схожие между собой! В результате сравнения вы получаете список, состоящий из пар изображений с процентом схожести. 100% означает, что картинки абсолютно одинаковые.Затем вы можете удалить повторяющиеся картинки с худшим качеством всего двумя кликами мышки!
Поддерживаемые форматы изображений: RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA и другие.
(инсталляционный файл программы для Windows Vista/7/8/10)
Для кого мы создали Image Comparer
- Для профессиональных фотографов, снимающих сериями. Image Comparer поможет сгруппировать серии и выбрать наиболее удачный снимок. Специально для профессионалов мы добавили поддержку формата RAW.
- Для вебмастеров, на чьих сайтах большое количество графики. Image Comparer поможет упорядочить графические изображения и избавиться от дубликатов, занимающих лишнее место на жёстком диске.
- Для коллекционеров картинок, цифровых иллюстраций, обоев для рабочего стола. Image Comparer сделает вашу коллекцию уникальной, избавив её от повторяющихся и немного модифицированных изображений.
Благодаря уникальному алгоритму сравнения мы получаем настолько хорошие результаты. Наш алгоритм устойчив к неоднородности цветового баланса и различию разрешения сравниваемых изображений.
Вы можете попробовать Image Comparer™ в работе совершенно бесплатно в течение 30 дней. Ознакомительная версия имеет всего одно функциональное ограничение.
Доброго дня!
Я думаю, что у многих пользователей на диске лежат десятки (а то и сотни) гигабайт картинок, обоев, видео, музыки и пр. файлов. И должен заметить, что в разных каталогах (в сборниках обоев, например) могут находится достаточно много копий (дублей). Нередко, после их удаления, удается освободить несколько гигабайт пространства на HDD!
Для поиска дубликатов существуют специальные программы и утилиты. Они способы за относительно небольшое время просканировать ваш жесткий диск(и) и представить вам на обозрение все одинаковое. Дальше, как правило, вам останется только пометить галочками, что удалить - и вуаля, место очищено!
В этой статье приведу несколько таких "чистильщиков", которые помогут вам освободить место на жестком диске. И так...
Дополнение!
Топ-14 программ для поиска дубликатов (одинаковых файлов)
Универсальные (поиск любых файлов)
Универсальные программы для поиска дублей подойдут для работы с любыми файлами: документами, фотографиями, видео и пр. Как правило, их работа строится на поиске файлов одинакового размера и контрольной суммы. Т.е. эти программы ищут точные копии, совпадающие на 100%!
Благодаря этому, их скорость работы достаточно высока. Однако, они не могут найти, например, почти одинаковые картинки, которые сохранены в разных форматах и отличным разрешением. Для этого необходимо использовать спец. ПО, которое я порекомендую ниже...
Ускоритель компьютера
Эта утилита с говорящим названием от российских разработчиков. Вообще, она предназначена для удаления мусорных файлов, исправления ошибок в реестре, контроля за состоянием автозагрузки и т.д., но в ее инструментах есть спец. модуль, позволяющий находить файлы-дубли. См. скриншот ниже.
Так вот, после запуска этой функции, вам будет предложено указать папки (которые будут проанализированы), и нажать кнопку поиска. Через некоторое время программа представит вам все найденные дубли - останется только удалить "лишнее".
Например, я проанализировал свою папку "Музыка" и узнал, что у меня 311 mp3-дублей на 2,65 ГБ. Причем, эта папка у меня не такая уж и большая. Результат на скриншоте ниже.
Разумеется, если у вас много сборников на диске (картинки, музыка и пр.) - количество освобождаемого места может быть значительно больше!
Примечание : бесплатная версия программы работает в полном режиме в течении 5 дней.
CCleaner
Одна из самых известных утилит по очистке ПК. Однако, не многие пользователи знают, что в ее арсенале есть функция по поиску дублей (причем, весьма неплохая функция!).
Чтобы открыть эту опцию: необходимо загрузить последнюю версию программы, в меню "Сервис" выбрать "Поиск дублей" , указать настройки и нажать кнопку "Найти" .
Отмечу, что поиск идет достаточно быстро, можно фильтровать файлы по их размеру, дате имени. Также вручную можно задать конкретные диски (папки) для поиска. В общем, довольно удобно!
Glary Utilities (Glary Duplicate Cleaner)
Glary Utilities - отличный набор утилит на все случаи жизни. Содержит в себе все самые необходимые инструменты для очистки, обслуживания и оптимизации Windows. Этот комплекс я уже неоднократно рекомендовал на страницах своего блога ...
В его арсенале встроенного ПО есть одна небольшая утилита Glary Duplicate Cleaner. Она позволяет достаточно быстро находить дубли самых разных форматов файлов: TXT, RAR, ZIP, MP3, WAV, AVI, JPG, BMP и пр. (в общем, все самое популярное точно есть, см. скрин ниже).
Настройка параметров сканирования / Glary Duplicate Cleaner
Также есть небольшой фильтр с критериями поиска: по имени, размеру, времени. Есть опция для пропуска файлов определенного размера (например, можно пропускать файлы, которые весят менее 100 КБ).
Отмечу, что пакет Glary Utilities бесплатен, и полностью переведен на русский язык. В общем, оценка 5 по 5 бальной шкале!
AllDup
Это небольшая бесплатная утилита способа очень быстро просканировать все ваши накопители и удалить все повторяющиеся файлы. Разработчики отмечают, что их алгоритм поиска на 10-30% работает быстрее, чем у других аналогичных продуктов.
Лично я скорость не проверял, но отметил бы следующее: утилита работает во всех ОС Windows 2000, XP, 7, 8 ,10 (это некое преимущество!).
После произведенного поиска, утилита AllDup представит вам результаты: с каждым дубликатом вы сможете ознакомиться и удалить его прямо из интерфейса программы. Удобно!
Duplicate File Finder
Бесплатный инструмент для очистки дисков от повторяющихся файлов. Программа побайтово сравнивает файлы на указанном диске (каталоге). Присутствуют стандартные фильтры: расширение файла, его имя, дата создания, и размер.
С результатом поиска (пример приведен на скрине выше) можно либо ознакомиться в самой программе (и принять решение), либо экспортировать его в файлы HTML, CSV и TXT. Кстати, отметил бы, что в программе достаточно удобный вьювер, позволяющий просмотреть картинку, текст, видео.
Total Commander
В этом знаменитом коммандере (хорошей замене проводника) также есть функция поиска файлов. Чтобы ее открыть - нажмите по значку "лупы" в верхнем меню программы (см. скрин выше).
Возможностей, конечно, здесь не так много, но тем не менее...
Для поиска фото, картинок, графики
Эти программы могут производить поиск не только по размеру (контрольной сумме) файла, но и по содержимому картинки. Например, у вас есть несколько одинаковых обоев для рабочего стола, располагающихся в двух разных папках (но у этих картинок разный размер и разрешение).
Так вот, программы, приведенные выше - не нашли бы эти дубликаты, т.к. они "не могут" оценить то, что отображено на картинках. В этом случае необходимо воспользоваться спец. инструментами (о них ниже ) ...
Image Comparer
Это совсем небольшая утилита, специализирующаяся на поиске похожих изображений. Отмечу, что она сравнивает не просто размер, а то, что изображено на картинке (см. скрин выше). Поддерживаются все популярные форматы картинок и фото: RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA и др.
После проведенного поиска, пред вами предстанет список дубликатов: пройдясь по нему, вы сможете просмотреть все копии и удалить те, которые вам не нужны. Что интересно: программа показывает вам процент похожести тех или иных картинок (разница между ними выделяется при просмотре квадратиками).
Из минусов : если вы укажите большой диск (в несколько терабайт) - программе потребуется очень большое время на сканирование. Рекомендую перед ее использованием пройтись по картинкам с помощью более грубых инструментов (например, CCleaner, AllDup и пр., см. выше) .
DupeGuru Picture Edition
Очень простенькая утилита, которая предназначена для быстрого поиска одинаковых картинок. Отмечу, что похожие картинки будут найдены даже если у них разный формат (например, JPG и Tiff как на скрине выше).
Из преимуществ утилиты:
- наглядное сравнение картинок;
- программа полностью бесплатна;
- простой интерфейс, выполненный в стиле минимализма;
- поддержка русского языка;
- возможность экспортировать результаты поиска;
- поддержка всех самых популярных версий Windows XP, 7, 8 ,10.
ImageDupeless
Программа ImageDupeless позволяет находить дубликаты картинок в независимости от размера файлов, их формата, разрешения и пр. характеристик (она как бы за вас "посмотрит" все картинки и найдет похожие).
Также в программе есть весьма интересная функция записи изображений на CD диски (создание своеобразных CD галерей).
Примечание : для экономии времени вновь поступающие картинки сравнивайте с уже имеющейся галереей (так вы сэкономите кучу времени, т.к. полное сканирование всех картинок на диске - это значительно дольше, чем уже искать в созданной галереи) .
Результат сравнения: обратите внимание, что разрешение и размер у картинок разный!
Visual Similarity Duplicate Image Finder
Программа использует продвинутые алгоритмы для сравнения графических образов, имеющихся на картинках и фотографиях. Благодаря этому удается найти похожие и одинаковые картинки, даже если у них разный формат (GIF, PNG, JPG и пр.) и разрешение.
Отмечу, что у пользователя есть опция для указания признака похожести (т.е. вы можете задать, скажем, найти только те картинки, которые схожи друг с другом на 95%).
После проведения поиска: вы сможете просмотреть все найденные дубли и вручную удалить все ненужное. Кстати, программа располагает рядом с друг другом 2 одинаковые изображения (пример см. выше), чтобы вы могли наглядно просмотреть разницу. Весьма удобно!
Для поиска аудио- и видео-файлов
Audio Comparer (Электронное ухо)
Audio Comparer - программа прослушает почти 300 треков за 10 мин.
Audio Comparer - это не такое простое приложение для поиска дублей среди музыкальных файлов (MP3, MP2, MP1, WMA, AIF, WAV, WavPack, FLAC, APE, AAC и OGG), как это может показаться при первом взгляде... Оно "слушает" музыку и сравнивает треки между собой по особому алгоритму: сравнение идет по аудио-дорожке, а не по размеру или названию файла (как это сделано во многих других аналогах).
Благодаря чему, одинаковые треки могут быть найдены даже в том случае, если они сохранены в разные форматы. Audio Comparer - это, своего рода, электронное ухо, которое может очень быстро прослушать всю вашу музыку.
Отмечу, что подобных программ достаточно мало, поэтому каждая заслуживает отдельного внимания! Рекомендую к знакомству!
DupeGuru Music Edition
Весьма интересная программа dupeGuru Music Edition для поиска одинаковых и похожих музыкальных треков. В наличии есть фильтры для поиска: по битрейту, информации в тегах, продолжительности, размеру и т.д.
Поддерживаются все самые популярные форматы: MP3, WMA, AAC, WMA, OGG, FLAC. После произведенного поиска, найденные дубликаты можно либо удалить, либо перенести в другие каталоги.
Отметил бы также наличие русского языка и поддержку современных ОС Windows 7, 8, 10 (в т.ч. 64 bits).
Music Duplicate Remover
Music Duplicate Remover - утилита позволяет легко и быстро находить копии аудио-файлов, расположенных в разных папках (дисках) и сохраненных в различных форматах. Благодаря технологии "электронного уха", она способна прослушать все ваши композиции на диске, проанализировать их и предоставить вам отчет со всеми похожими треками (пример такого отчета показан на скриншоте выше).
Отмечу, что утилита отлично работает и со стандартными предустановками (т.е. после ее загрузки и запуска - нет нужды долго копаться в настройках, можно сразу же приступать к сканированию).
Примечание! Music Duplicate Remover поддерживает следующие форматы аудио: MP3, WMA, OGG, FLAC, APE, WAV.
Duplicate Video Search
Довольно мощная программа для удаления одинаковых видео, сохраненных в разных папках (подойдет тем, у кого много всяких видеороликов, музыкальных клипов, сборников топ-100 и пр.). Поможет "прошерстить" вашу коллекцию файлов и удалить все дубли.
Отмечу, что в программе используется технология уникального "слепка" (т.е. своего рода "электронный глаз"), которая позволяет находить похожие видео, даже если они сохранены в другой формат, у них другое разрешение и они сжаты другим кодеком.
Особенности:
- поддерживаются следующие форматы видео: AVI, MKV, 3GP, MPG, SWF, MP4, WMV, WTV и FLV (см. скрин выше);
- поиск полных копий видео и похожих (где отличное разрешение, битрейт, формат, кодек);
- программа автоматически выбирает видео с худшим качеством среди всех дублей (тем не менее, вы вручную можете указать, какую копию удалять);
- удобное и наглядное представление результатов поиска: миниатюры к каждому видео и путь до каталога, где оно хранится;
- прямо из окна программы можно либо просмотреть видео, либо удалить его.
Video Comparer
Video Comparer - программа предназначена для поиска и сравнения видео на жестком диске. За относительно короткий промежуток времени, она может просмотреть все ваши видео и показать вам в удобной табличке все файлы, которые повторяют друг друга (полные дубли, похожие ролики, видео с одинаковым содержимым, но разным качеством и пр.).
Отмечу, что в программе есть различные фильтры, которые позволят, например, искать видео только определенного формата (или задать продолжительность видео).
Особенности:
- поддерживает форматы: 3GP, AVI, ASF, ASX, WMV, VOB, XVID, MP4, MPEG;
- возможность вести поиск среди скрытых файлов;
- возможность автоматического выделения похожих видео для удаления;
- фильтры видео по продолжительности, качеству и расширению;
- удобное представление результатов поиска: превью к каждому видео; размер; папка, где оно расположено; название; процент схожести.
- возможность резервного копирования в отдельную папку;
- ведение логов;
- поддержка почти всех популярных Windows XP, 7, 8, 10 (32/64 bits).
Дополнения, как всегда, приветствуются.
Удачной работы!