iyg429
V2EX  ›  问与答

如何删除重复的图片!

  •  
  •   iyg429 · Jan 30, 2022 · 5546 views
    This topic created in 1745 days ago, the information mentioned may be changed or developed.
    不知不觉已经存了有 6TB 的照片了
    ,硬盘里的照片应该有一部分是重复的
    有没有什么软件可以检测到重复的照片 让我筛选,
    这样硬盘就可以存了
    一张一张看太浪费时间了
    之前写入硬盘的时候,也没有懂得分配 就是全部的照片都放到一个文件夹的
    28 replies  •  2022-02-07 15:46:54 +08:00
    cnrting
    cnrting
    Jan 30, 2022 via iPhone
    1
    ccleaner
    atrexl
    atrexl
    Jan 30, 2022 via Android
    2
    为什么重复照片文件名竟然不一样
    iyg429
    iyg429
    OP
    Jan 30, 2022
    3
    @atrexl #2 因为老硬盘汇总到一个新硬盘的 ,当时本着就算重复也不能拷贝少的缘故 导致现在硬盘里有相当一部分应该是重复的 但是文件名应该是被我改掉了
    iyg429
    iyg429
    OP
    Jan 30, 2022❤️1
    4
    @cnrting #1 这玩意不是清理电脑的吗
    jasonyang9
    jasonyang9
    Jan 30, 2022
    5
    https://dupeguru.voltaicideas.net/
    开源跨平台的,用过还行。但你这么多图谱扫描一次也够呛,哈哈。
    jasonyang9
    jasonyang9
    Jan 30, 2022
    6
    @jasonyang9 s/图谱 /图片
    cnrting
    cnrting
    Jan 30, 2022 via iPhone
    7
    @iyg429 有重复文件清理功能
    dji38838c
    dji38838c
    Jan 30, 2022
    8
    自己写一个好了,很快
    重复的图片字节数应该是完全一样的
    hello2090
    hello2090
    Jan 30, 2022
    9
    楼主你找不到的话可以留个邮箱,我有个自己写的 python 脚本可以发给你,查找 /删除两个文件夹中的重复文件的
    Glauben
    Glauben
    Jan 30, 2022❤️1
    11
    相同文件只是文件名不同的情况下,可以比对一下文件 hash ,找出重复的。自己写吧。我一开始还以为是用 AI 找出相似度高的删除
    TigerK
    TigerK
    Jan 30, 2022❤️1
    12
    重复文件使用 DoubleKiller 删除,可以设定文件大小、hash 值相同。
    重复图片、相似图片使用 DuplicateFinder 删除,可以找到一定相似度的图片,一般是不同分辨率下的,或者是组图。
    virlaser
    virlaser
    Jan 30, 2022❤️1
    13
    用过不知道从哪儿下载的破解版 Duplicate Cleaner Pro ,可以根据图片相似度来查找,扫描速度也蛮快的
    https://imgur.com/a/3iuU7aR
    yfugibr
    yfugibr
    Jan 30, 2022 via Android❤️1
    14
    antidupl ,可以查找相似照片,标记不同之处
    iyg429
    iyg429
    OP
    Jan 30, 2022
    15
    @hello2090 #9 邮箱:aXlnNDI5QDE2My5jb20= 非常感谢)
    DawnMoon
    DawnMoon
    Jan 30, 2022 via Android❤️1
    16
    有个专门做这种事情的软件,Duplicate cleaner
    imn1
    imn1
    Jan 30, 2022❤️2
    17
    我还以为你要找“相似图片”,这是个大难题,我程序写了几年,这块功能至今还没满意
    我 50+TB 找相似那才叫一个头痛

    根据你 #3 的描述,这种情况只是文件多重拷贝,hash/bytes 都相同的,很多工具可以做
    windows 有个软件叫 clonespy ,速度比较快,可以检查同时自动删除,你指定某个目录作为参照(不删除),哪个作为查找删除就可以了
    NAS 的话我不晓得,linux 下面也有不少类似工具
    imn1
    imn1
    Jan 30, 2022❤️1
    18
    PS: 找相似图片的工具我用过二十多个,个人觉得最强是 SimilarImages © 2004-2012 by Nils Maier
    这货是用 image hash 比较的,可以保存 hash 值到自带的数据库(sqlite),然后离线检查,就是不用挂载着参照目录去逐一比较,对于图片分散在多个硬盘的人很好用,可惜好像已经停更多年

    我现在是用 opencv 的 template match 自写程序(还在不断修改)
    Issacx
    Issacx
    Jan 30, 2022❤️1
    19
    我用过一个 python 库,有 hash 和 CNN 的几种实现,其中 CNN 是基于 MobileNet 做的,可以检测相似但不完全相同的照片。我自己写了几个脚本调用,效果还不错。

    Github: https://github.com/idealo/imagededup
    hanguofu
    hanguofu
    Jan 31, 2022
    20
    好奇问问:这种软件为什么不是使用 c/c++ 效率最高吗 ?
    Drumming
    Drumming
    Jan 31, 2022❤️1
    21
    我是上传到网盘...
    然后网盘自带图片近识度删除功能= =
    之前还用过这个软件 ,也还行
    https://www.billfish.cn/
    jin7
    jin7
    Jan 31, 2022❤️1
    22
    double killer pro
    mikewang
    mikewang
    Jan 31, 2022❤️1
    23
    如果只是文件名不同,内容完全一致的话,使用 fdupes 命令。
    https://www.unix.com/man-page/debian/1/fdupes/
    7Qi7Qi
    7Qi7Qi
    Jan 31, 2022
    24
    Duplicate cleaner + 1
    sutra
    sutra
    Jan 31, 2022
    25
    换个支持 deduplication 的文件系统,比如 zfs 。
    Myprajna
    Myprajna
    Feb 3, 2022
    27
    新雨重复照片查找器,这个最好。在 10 几个里面
    Colinv
    Colinv
    Feb 7, 2022
    28
    刚好在前段时间同样面临这个问题,在尝试了一圈网络上提供的解决方案之后,目前发现最优的方案是 [lightroom] +插件 [Teekesselchen] (免费),通过自定义筛选 rules ,可以比较全面而准确地识别出重复图片,特别是经过不同命名的两张重复图片。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4786 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 68ms · UTC 01:58 · PVG 09:58 · LAX 17:58 · JFK 20:58
    ♥ Do have faith in what you're doing.