V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  jinsongzhaocn  ›  全部回复第 2 页 / 共 3 页
回复总数  60
1  2  3  
文档写得好认真, 感觉丢给 AI 可以开始写出来了. Kwcode 最难的可能是定位了, CC 的定位其实挺完善的, 非常难竞争. CC 很开放,它可以对接第三方大模型,对接本地模型也足够写汇总规划,引流方面这已经是极致了吧,对比其他大厂推出的 coding 工具,都是适配自家模型; 虽然禁止国内访问, 但这也是最契合它的商业定位.毕竟中国是超级流量,但是总体消费水平还不够高,大量的多人共享账号,哪怕实名制也够呛能控制. 应该算是把开放性和成本控制都做到了最佳实现.再偏袒用户一点,估计就是允许多路由了,选不同模型切换不同的供应商, 这个又被 OpenCode 实现了, 但也验证了开了这个口子,收入大减,OpenCode 的兼容适配速度这么慢就知道缺少资源投入.
参考这里的回复: https://www.v2ex.com/t/1210011?p=1#reply7
跑过 lightRAG 的配置
給 24GB 显存的推荐一个实用的组合:
# LLM 模型+嵌入模型+24GB 显存组合配置(2026-04-30)
## Qwen-9B 19252MB LLM 模型
docker run -d --name vllm-qwen3.5-9b-awq-bf16-int4 --gpus all \
-p 8100:8000 \
-e VLLM_USE_MODELSCOPE=True \
-v /home/tab/docs/vllm_model:/models \
vllm/vllm-openai:v0.19.0-ubuntu2404 \
--model /models/cyankiwi/Qwen3___5-9B-AWQ-BF16-INT4 \
--served-model-name Qwen3-9B \
--host 0.0.0.0 \
--port 8000 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice \
--max-model-len auto \
--max-num-seqs 4 \
--enable-prefix-caching \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--gpu-memory-utilization 0.80

## bge-m3(1024 维度) 嵌入模型
docker run -d \
--gpus all \
--name vllm-baai-bge-m3 \
--ipc=host \
-p 8101:8000 \
-v /home/tab/docs/vllm_model:/models \
-e VLLM_USE_MODELSCOPE=True \
vllm/vllm-openai:v0.19.0-ubuntu2404 \
--model /models/BAAI/bge-m3 \
--served-model-name bge-m3 \
--gpu-memory-utilization 0.2
这种配置要亏死你, 你的成本怎么可能做得过算力云供应商. 就算自己也用, 也是极其浪费的.
2025 年 11 月 12 日
回复了 lswlray 创建的主题 创业组队 你,能不能,不要钱
投资人奇葩的很多
2025 年 10 月 23 日
回复了 mingtdlb 创建的主题 Linux 麒麟和统信哪个更有前途?
yum 生态不如 apt 了,所有麒麟也沾光了。
2025 年 10 月 23 日
回复了 jinbangzhu 创建的主题 程序员 关于新来的技术 leader 准备用 Claude code 升级现有项目
Claude 是遇强则强,反之遇到菜鸟依旧菜,还有些没 Claude 经验的老手,则看能不能适应转变了。总之学习能力非常重要。至于技术 Leader ,基本都是自己的想法打动了领导,于是拿着领导的资源,验证自己的想法,最大弊端就是,不是自己的资源,失败就跑路,没有背水一战的觉悟。
2025 年 5 月 30 日
回复了 tommark 创建的主题 创业组队 [上海] 大龄码农寻有创业想法的小伙伴一起捯饬捯饬
@tommark 产品是语音交互,偏电话通信类型. 涉及技术很杂, 网络,运维, 协议, 音视频, 数据库,工单, AI 交互,知识库.
想做通用和大的当然感觉任何领域都开发完了,但是小众定制的还是非常非常多的,只不过,首先不做这些领域就不知道还能做这些产品可以开放,其次因为小众难以推广,做不成大流量大厂。
@gaobh
2025 年 5 月 25 日
回复了 tommark 创建的主题 创业组队 [上海] 大龄码农寻有创业想法的小伙伴一起捯饬捯饬
搞了 16 年的公司,也是大龄码农全栈自有产品的要不要?
2025 年 5 月 13 日
回复了 fescover 创建的主题 创造者 独立开发群体有考虑过硬件创业吗?
被科技新闻诱惑得创业就想出爆品,就连各大厂都不敢说能复刻自己的爆品吧,就算遇到风口,大部分没起飞就被同行给灭了。最实际的可能是在一个小众领域苟活了多年,积累了大量经验形成了护城河,然后撞到了一个时机,迎头赶上,于是跌跌撞撞的站住了。
居然没人想过, 孩子不好好工作,丢的是家长的面子,而且家长为了孩子也更愿意付出自己的资源, 而且还会一起监督孩子工作, 所以如果我是 HR,我会认真评估孩子是不是真的够用, 而不会用电视剧情节脑补. 之所以孩子会主动拒绝父母介绍工作, 更多的也是自己确实不行,父母太严厉而逃避父母管得多.
2025 年 5 月 10 日
回复了 Debug1998 创建的主题 职场话题 上班太用力了怎么办?
那你一定是学霸吧. 我认识的学霸都很认真的做喜欢的每一件事情, 包括养身和玩. 如果你是手握资源和机会的人, 会把这些资源和机会给什么人? 除了给自己的孩子,就是给优秀和努力的人呀!
2025 年 5 月 4 日
回复了 dogking2 创建的主题 职场话题 30 岁双非本,还有机会冲大厂吗
有机会,但灵活点的 40 岁,否则 35 岁就清退了. 大厂再进小厂, 已经不好忽悠了, 手里没全套现成的软件, 小厂要了干嘛.
2025 年 5 月 4 日
回复了 cmos 创建的主题 职场话题 计算机博士的收入怎么样?
@bzw875 你得加上时间, 比如为期 3 年左右. 博士从事的技术一旦技术不再给公司带来丰富的价值, 基本都会离职了.
2025 年 4 月 24 日
回复了 henix 创建的主题 C 分享一个用 AI 学习 C 语言的例子
确实巧妙,AI 辅助编程是趋势,让 AI 收集优秀的算法,比人快。
2025 年 3 月 24 日
回复了 jiang1209 创建的主题 职场话题 Gap 半年,三十岁程序员找工作记录 day1
会的开发语言多,熟悉的操作系统多,更容易找工作,但矛盾的是,决定工资上限的是单一方向的竞争力是不是够强。一旦方向单一了,市场又小了,找工作又不容易了。
2025 年 3 月 24 日
回复了 valv 创建的主题 职场话题 上班太无聊了,怎么办
主动找事情做呀,否则迟早会废了。要就换工作,不能主动改变,那就被动改变。
1  2  3  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1044 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 18:50 · PVG 02:50 · LAX 11:50 · JFK 14:50
♥ Do have faith in what you're doing.