V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Licsber
V2EX  ›  问与答

有没有方法可以对大量图片进行无监督分类,或者增量地依据个人喜好二分类?另外存储场景一般怎么处理?

  •  
  •   Licsber · 2021-03-31 20:53:27 +08:00 · 571 次点击
    这是一个创建于 1366 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大量图片(目前 50W 张 中等尺寸 /大尺寸 不断增加中) 尺寸都不尽相同
    包含部分简短的可能不确切的文本描述( caption )

    增量地依据喜好二分类的意思是:
    先标注部分图片为喜欢 然后通过深度学习(存疑)等奇怪方法 自动将图片分为两类
    然后再对某些错误标注进行重新分类 这样逐渐应用到其他未标注图片 /新增图片上
    也可以按照喜好值(如 0-10 )进行 11 分类任务 /直接回归任务 有没有这样比较成熟的方法或者简单介绍?

    依据个人喜好是不是会训练出奇怪的人工智能?(

    图片是风格可能不一致 可能是相机拍摄图片 也可能是插画等类型的人工图片

    看了诸如 K 聚类的方法 先是提取固定大小的特征 再依照特征分类 这样能做到部分图片的归类

    另外就是这种大量图片的存储场景一般怎么处理,现在是按照 md5 值等参数进行打散文件夹存储
    在 mac 上表现就是时不时的 mdsync 进程 cpu 占用 100% 自己的学生机存储空间又不够 只能放本地
    看过 minio 、gridfs 等方案 有没有用过的 dalao 说说
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3244 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:45 · PVG 18:45 · LAX 02:45 · JFK 05:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.