有点标题党,这个产品叫「寻隐」(英文版叫 Queryable),之前在 V 站推广过: t/905377, 因此这里不再赘述它的功能了,简单来说,它是一个离线的自然语言相册搜索工具,你可以用「一只狗在玩滑梯」来搜索你的 iPhone 相册,而不是搜单纯的“狗”,并且不联网。
昨天我把这个产品免费&开源了:App Store | Github | 网站
「将 CLIP 模型部署在手机上,用自然语言搜相册」这个 idea 源自于 2022 年 9 月,直到去年 12 月我才有空闲和能力完成,在今年的 2 月 7 日上了Hacker News 首页,让 Queryable 在当天占领了全部欧洲国家工具榜#1 ,美国工具榜#2 。
后续国内的果壳、差评、少数派的自来水曝光,让我从 1-3 月几乎每个月可以获得 1-2 万块的收入。因为运行在手机端,在不想添加新功能的情况下,也不需要维护和服务器成本。从 4 月份起,没有任何流量曝光、不做任何更新的情形下,平均每月大概可以获得 3000 元的收入。
我在前天限时免费了一次,很惊讶有很多人下载。我想,与其维持这样每月 3000 块的收入,可能阻止了 99%的人发现这个产品(用户数决定了关键词排序),不如让所有人都可以使用它,因此产生了「让它一直免费的念头」。
在昨天,我决定这么做了。
想起来过去半年,一直有用户对寻隐/Queryable 的相册隐私安全提出疑虑,很多美国人也天然反感中国开发者的产品,而另一些开发者也常常发邮件询问我技术方案。既然决定让产品免费,不如也一起开源了:你可以从了解如何做 LLM 模型的本地加载、向量计算、存储和排序。
因为我需要生存。 当时刚从之前的工作离开,我需要新的收入维持生计,并且缓解焦虑。 现在,我有了新的收入(虽然不多),焦虑感也降低了很多,因此才下定决心,帮助他人的想法战胜了对收入的依赖。
项目的协议是MIT,所以将这个 repo 用于商业产品使用是完全可行的,但是我不建议你换个 icon 上架 App Store ,或者类似的恶性竞争,你可以试试开发自己的 Android 版本。
我并非 iOS 工程师,所以代码里 Swift 的部分非常的烂,但你可以参考其中关于模型的部分。我希望它能帮你实现本地向量存储、搜索,这样对于短文本构建向量,可能也不需要 OpenAI Embedding API 了。如果你有想实现的功能,非常欢迎贡献 PR 。
另外,中文模型的训练使用了一些非公开语料,所以抱歉目前只公开了英文模型权重。
大半年后的一点心得:尽量不要将你的产品完全免费,至少象征性地收取一些费用。因为完全免费会导致当用户向你提交反馈/bug/建议时,你感到非常不耐烦(内心OS:免费给你用就不错了,还挑三拣四),并且几乎懒得更新产品。
适当的收费,会使你更心平气和地应对用户的意见、改进产品(相信我,你不是圣人),最终也能够让所有人用上打磨更好的产品,而不是疏于维护过几年死掉。
1
Emyorii 2023-07-10 13:34:25 +08:00 via iPhone
大佬牛逼,支持💪🏿
|
2
Smilencer 2023-07-10 13:36:52 +08:00
大佬牛逼,学习!
|
3
x1abin 2023-07-10 13:37:00 +08:00
感谢大佬分享!膜拜
|
4
dassh 2023-07-10 13:40:16 +08:00
膜拜大佬
|
5
vsitebon 2023-07-10 13:49:41 +08:00 48
有决心将非生命末期的商业产品开源的人,令我佩服
|
6
wOuv7i4e7XxsSOR1 2023-07-10 13:50:03 +08:00
无私
|
7
tbg 2023-07-10 13:58:37 +08:00
格局很大,感谢分享
|
8
nikenidage1 2023-07-10 14:07:51 +08:00
厉害,自己训练的模型也包含吗
|
9
SleepyRaven 2023-07-10 14:08:20 +08:00
为开源点赞
|
10
abersheeran 2023-07-10 14:09:26 +08:00
下载试了试,应该是中文转了英文之后再搜索的。😂出现的结果让我有点尴尬
|
11
wseani OP @nikenidage1
英文模型是公开的,中文模型训练数据是非公开的,所以模型无法以 MIT 协议开源。 |
12
zhangsimon 2023-07-10 14:15:44 +08:00
瑞思拜
请教下大佬 Appstore 的评价只有 3 个 是累积评论只有 3 个吗?还是评论只展示最新 App 版本的 |
13
wseani OP @zhangsimon 只是 中国区/Mac App Store 下的。
|
14
nikenidage1 2023-07-10 14:18:23 +08:00 1
@wseani 厉害,后续可否写写文章介绍下训练模型这部分,我比较好奇
|
15
tuangouzi 2023-07-10 14:25:56 +08:00
膜拜大佬
|
16
WngShhng 2023-07-10 14:32:38 +08:00
盈利模式是什么?谷歌相册不是有相同的功能吗?
|
17
wseani OP |
18
lsming22 2023-07-10 14:37:37 +08:00
大佬牛逼,支持
|
19
vueli 2023-07-10 15:27:23 +08:00
|
21
jiezaichan 2023-07-10 15:39:47 +08:00
太帅了把
|
22
longbo666 2023-07-10 15:48:36 +08:00 3
羡慕啊,我长大以后也想成为你这样的人。
(暂时忘记自己已经 30+的事实 |
23
littleBink 2023-07-10 15:49:46 +08:00
之前支持了,痛失 12
|
24
idblife 2023-07-10 15:52:00 +08:00 via iPhone
赞格局
|
25
ffkjjj 2023-07-10 16:07:19 +08:00
首先为大佬点赞。
请问下,这个 App 对于开启了 优化 iPhone 存储空间 照片是怎么处理的。我尝试了一下,似乎结果不太准确。 |
26
auv1107 2023-07-10 16:12:50 +08:00 1
几个月前看到作者文章下载了少数派只为了关注作者,今天看到仍有收入的产品免费且开源,心里只有两个字,敬佩!
|
27
liangtao927190 2023-07-10 16:17:46 +08:00
感谢大佬
大佬牛逼 |
28
maemolee 2023-07-10 16:20:22 +08:00 1
大佬牛逼,之前付费支持了!
|
29
mervinmemory 2023-07-10 16:22:29 +08:00
为大佬点赞。
|
30
wseani OP @ffkjjj 本地有缩略图就没问题,结果的准确性方面:试试长句,尽量不要用 1-2 个字的单词。而且个人实际使用上的感觉:准确率是一个不太重要的东西,我用它是为了搜脑海里已经有了的画面,输入描述句子,通常能在 top10 中找到想要的那张,就足够了。
|
31
SWBMESSI 2023-07-10 16:35:52 +08:00
相册权限为 “选中的照片” 数量 300 张, 构建模型时显示:共有-1 张照片需要构建索引 为什么呢
|
32
jsjjdzg 2023-07-10 16:38:06 +08:00
大佬太厉害了
|
33
wseani OP @SWBMESSI 好像是 app 的 bug ,没有支持允许部分相册权限。如果是隐私疑虑,则不必担心(毕竟不联网),如果是只需要这么多,那确实不支持部分相册。可以卸载 App 、重装,然后允许访问全部相册。
|
34
K1W1 2023-07-10 16:39:10 +08:00 via iPhone 1
应用不错,很早就付费入了
|
35
huangjinjiang20 2023-07-10 16:43:59 +08:00 1
Android 版我已经上架 Google Play,详情看我的帖子: https://www.v2ex.com/t/954758
|
36
ovtfkw 2023-07-10 16:51:58 +08:00 via iPhone
为啥我搜“护照”,出来的是一对屁股和胸部的图片呢
|
37
wseani OP @ovtfkw 试了下,我的是正常的(第一张护照),你的手机是 iPhone X 系列吗?目前只支持 iPhone 11 及以上设备。
|
38
zycode 2023-07-10 17:01:36 +08:00
希望开源和免费能给大佬带来新的机遇
|
40
zhaoweihao 2023-07-10 17:09:30 +08:00
想请问下老哥的博客用的什么主题 看着好简洁好喜欢 https://mazzzystar.github.io/index.html
|
41
wseani OP |
42
TheAlwaysHaveYou 2023-07-10 17:14:36 +08:00 via iPhone
支持大佬
|
44
ffkjjj 2023-07-10 17:23:29 +08:00
@wseani 您好,是我没描述清楚。我这里无论输入什么描述句子(中文),搜索出来的结果全都是一样的。我使用的是美区 Queryable
|
48
zhaidoudou123 2023-07-10 17:26:14 +08:00
支持大佬,下载试试看
|
49
wseani OP |
50
ffkjjj 2023-07-10 17:35:41 +08:00
@wseani 您好,我使用 寻隐 App 进行搜索,结果也和 Queryable 表现一致。就是无论输入什么描述,结果都是同一组照片。iOS 版本为 17.0 beta 3
|
51
cs3230524 2023-07-10 17:47:03 +08:00
溜啊,什么时候才能像你一样优秀。
|
53
est 2023-07-10 17:47:08 +08:00
这个牛批啊
|
54
spicy777 2023-07-10 17:57:51 +08:00
瑞斯派,大佬牛逼
|
55
AirBai2 2023-07-10 18:26:24 +08:00
真·大佬
|
56
saimax 2023-07-10 19:07:47 +08:00 via iPhone
瑞斯拜😜
|
57
yukinotech 2023-07-10 19:26:14 +08:00
瑞思拜
|
58
yhxx 2023-07-10 19:29:44 +08:00
羡慕
格局 |
59
XiaoBaiYa 2023-07-10 19:45:42 +08:00
这个软件对于相册重度使用者的我,相当有用,才知道有这么一个 APP ,还是开源!大佬牛逼!
|
60
wellerman 2023-07-10 19:49:13 +08:00
赞一个
|
61
houshengzi 2023-07-10 19:56:07 +08:00
赞一个,瑞思拜
|
62
iOCZ 2023-07-10 21:13:58 +08:00
前几天我自己写了一个 demo ,支持 iOS14
|
64
bs10081 2023-07-10 21:31:41 +08:00
大佬有沒有考慮做一個基於 Whisper 的輸入法啊?能離線使用的
|
65
Nachtblut 2023-07-10 21:31:50 +08:00 via iPhone
支持一下
|
66
dage 2023-07-10 21:40:06 +08:00
大佬牛逼
|
67
iOCZ 2023-07-10 21:46:03 +08:00
@wseani 我存储了特征向量。作为非专业 iOS ,写出目前这样的代码已经很不错了,photos api 让人看着其实挺头大的,SwiftUI 也有不少东西需要掌握。
|
68
hopeoffer 2023-07-10 21:59:56 +08:00 1
两个月前研究过大佬这个项目,没想到开源了,很期待能讲解下模型本地化的问题
|
69
putaozhenhaochi 2023-07-10 22:11:30 +08:00 via iPhone
大模型现在这么火,手机厂家是不是会很快内置这种功能
|
70
woshinide300yuan 2023-07-10 22:22:26 +08:00
强势
|
71
wseani OP |
72
Jimson 2023-07-10 22:37:15 +08:00
啊,居然不支持 XR... 这是为什么
|
73
owen800q 2023-07-10 22:59:28 +08:00
很好用啊。支持一波
|
74
waylife 2023-07-10 23:07:50 +08:00
6 哇,支持老哥
|
75
kebamt 2023-07-10 23:22:44 +08:00 via iPhone
美区 App Store 会上线吗?
|
76
iOCZ 2023-07-10 23:26:22 +08:00
尝试降低工程的系统要求,发现模型本身要求 iOS16 ,我直接用的 CLIP ,发现是 iOS14+就行了。不清楚楼主是怎么制作的。
|
78
Heisenbery 2023-07-11 02:50:38 +08:00 via iPhone 1
楼主文笔不错啊,“一次杀人”这一篇写得很有味道
|
79
iluhcm 2023-07-11 06:16:48 +08:00 via iPhone 1
想法很棒。我最近的工作重点和 po 主类似,通过相似性语料向量召回的方式实现意图识别,embedding 模型用的是 large-chinese-text-v2 ,但没有想过把功能用于图片检索上。
|
80
wseani OP @bs10081 明白了,你是指键盘扩展(keyboard extension),那样的确更方便,我也尝试了但 iOS 太菜没开发出来 : (
|
81
wseani OP @iOCZ 两个考虑:1) iOS 16 对 Core ML 优化加速很大,因为之前是商业产品,所以为了确保花钱购买的人能用起来舒服,相比「让更多人用」而言,试图「让人用起来不崩溃/更流畅」,是一种对设备的反向筛选。2) 另一个是因为我参考了 Apple 的 Core ML 加载代码,只在 iOS 16.0 上生效。 不过既然免费了,兼容 16.0 以下也可以接受了,你可以提交 PR : )
|
83
myfate 2023-07-11 08:27:21 +08:00 via iPhone
膜拜大佬
|
84
Steaven 2023-07-11 08:35:31 +08:00
大佬牛逼
|
85
izzy27 2023-07-11 08:39:44 +08:00
太牛了,学以致用
|
87
horizon 2023-07-11 09:01:52 +08:00
牛逼
|
88
SupperCoder 2023-07-11 09:15:48 +08:00
大佬牛逼
|
90
hustlzp 2023-07-11 09:31:16 +08:00
大佬牛逼
|
91
ningfan120 2023-07-11 09:33:08 +08:00
大佬牛逼,学习!
|
92
ju0594 2023-07-11 09:33:55 +08:00
点赞!
|
93
fengdechoulian 2023-07-11 09:38:07 +08:00
点赞
|
94
VersionGod1 2023-07-11 09:50:10 +08:00
大佬牛逼!
|
95
seawavecau 2023-07-11 09:53:52 +08:00
真~大佬
|
96
ivanyin 2023-07-11 10:02:10 +08:00
大佬牛逼
|
97
weilanwl 2023-07-11 10:05:32 +08:00
而你!是我的英雄!
|
98
weng1993 2023-07-11 10:05:50 +08:00
强无敌! star 了
|
99
icemberry 2023-07-11 10:10:22 +08:00
感谢分享,fork 一份学习一下
|
100
HangoX 2023-07-11 10:17:09 +08:00
大佬,别完整开源呀,肯定会有人编译后上架市场的,有公司专门这样干的。
开源是好事情,但是我不希望看到你看到 appstore 的李逵后伤心 |