为什么要在本地部署大模型？

[ota]

AI 已经相当成熟了，至少画图方面，我走了一遍流程，基本可以落地应用了。

但不乏还是有不少人需要自建，姑且不说自建需要很多硬件资源，部署，调试，以及更新，也不是一劳永逸的事情。其次还涉及不少构架设计方面的专业知识，比如分布式，GPU 资源分配释放调度，还有很多监控，自动运维等。需要不少精力和时间，金钱投入一次性也不低，就算模拟构建拿古董机来，转入生产也有不少意外发生。尽职测试也得花一些周期。

所以为什么还有人跑本地？仅仅是为了方便？

大多数都有套壳的服务，需要直接生产的，基本也没问题。 其次也有很多可以自行上传大模型的，也可以让你自己训练。

不光不需要解决硬件这块问题，连软件问题很多也能自动帮你更新试错，成本也压的很低了，不少还有免费额度能做基础测试。如果真要自己跑，也可以云端大模型，比自己买 4090 甚至禁运的显卡也能用到。大平台郡能做到 pay as you go ，所以本地跑大模型再次觉得是一件没有意义的事情。毕竟第一本地你不是实验室或者机房，就没办法获得更多硬件资源，光硬件成本就很高，其次生成速度也会打折，并没有云端加钱就能解决来的高效。

我想很多人会在云端跑大模型，但还是看到很多很多人误导大家教大家在本地搭建进行训练。是不是有点误人子弟？

[frankyzf]

部署到本地很大一部分是因为数据安全，没法在云上泡。数据脱敏成本太高。

[ota]

@frankyzf 比如 runway 事件那种？

[jhytxy]

很多人的数据就不能出内网


不自建咋办

[frankyzf]

@ota 主要还是没法公开的数据吧。

[yplam]

譬如 flux.dev+lora 这种，或者是 comfyui 工作流，貌似没找到好用的 api

[xing7673]

可用性
数据安全
省 api 钱，可以做各种实验而不用担心 token 高额消费
灵活，比如小模型能解决的事情就不需要大模型输出费时间了
学习搭建，形成个性化的使用方案
掌控感
etc

[cmdOptionKana]

比如尺度比较大的成人内容，用别人的服务总觉得不安心

[maolon]

就是有些不方便上 api 的信息，比如你处理私人信息你是相信那些大厂或者套壳呢还是一劳永逸在本地运行解决问题？

[johnny2inc]

OP 的问题其实有两个：
Q1:为什么有人跑本地？
Q2:为什么有人教大家在本地搭建训练？

第一个问题楼上各位说了很多原因，我也都认同。
特别是 OP 主要还是考虑生产，而有些人，比如我，我就是想自己本地涩涩，用云端跑确实很不安心；不敏感的我当然选择使用云端的服务。
而且对于我来说，我还在摸索探索大模型更多可能性的阶段，并非需要很稳定很高效的服务，本地部署折腾着玩对我来说可能更重要。

另外我回答一下第二个问题：为什么有人误导大家（我觉得误导一词有点重了）教大家在本地搭建训练？是不是误人子弟？
A：因为在云端跑大模型不需要出教程，没办法水博客水教程……

水（水这个动词我觉得也不太对，但一时想不出来更合适的字眼了）博客这事儿吧，实在谈不上误人子弟，人也只是给了另一个选择罢了，在我看来这就和网上一搜一大把的 Hugo 或者 Hexo 搭建博客教程一样，该用 WordPress 的也还是会选择 WordPress 。

[ota]

@johnny2inc 的确，如果跑一些敏感数据，有必要跑在本地或者说自己部署（远程也一样）。现在一键安装包，docker 部署也在普及，这类更多的是想做一些其他非常规用途感觉。大部分在线服务已经在整合了，并不是完全竞争的关系，都在做细分领域的深耕及并存关系，比如 sd 和 mj 的关系。后面随着 flux 异军突起，包容性会越来越强，所以也是导致我不太明显需要自己部署到本地的理由是什么。感觉是想训练模型是假，想在现有的模型里添加 uncen 内容才是真的。我也理解性是第一生产力，但还是觉得有点小众，而且无法正常出道，擦边球的生成大部分在线也能搞定，所以又回到自建的必要性了。

而且这种需求需要的代价挺大的，我看了 scaleway 或者 hz 提供的 gpu 服务器，要达到 1500TFLOPS 最低成本起码在 7-8k rmb 每月，除非是真的想要弄落地应用，不然真的很烧钱，这就是另外一码事了，目标明确就是要做那些公开平台无法实现的内容提供者。如果自建，存在硬件上的劣势，多路 gpu ，4090 起步等，这些成本不低的情况下，仅仅是想保证出图的稳定性和自主性，感觉有点轮子的嫌疑。而且回到开头说的，这些硬件的搭建加上部署，真的很烧时间，ai 的进步太快了，我觉得还停留在 installation 的第 0 阶段实属有点浪费时间，还不如尽可能把大模型和插件吃透。因为看了 huggface 后，真的没办法一个一个玩，更别说自己一个一个部署了。现在也在慢慢出现通用 api 的中间件，用来调用各大模型的 api ，感觉这才是最终形态。不然玩一个模型就要了解一个 api ，太累了。

关于误人子弟的确说过了，只能说了解原理对一部分人来说还是有必要的，就得看每个人的需求了。

[8355]

我的理解是认知差异
就拿 huggingface 来讲 Inference API 很多人都不会用，我觉得文生图/文生语音/文生视频来说可靠性比自己部署还高。
纯粹测试来讲 colab 也好用的不得了。。。免费都可以用的很舒服
日常生产能用到的 PaddlePaddle 相关直接走函数计算部署了成本基本忽略不计
排除掉自己纯粹需要开发的行业外，单纯应用我觉得完全不需要部署，自己买 gpu 的方式是性价比最低的。

[huihuilang]

没上过班吧，公司里面哪个数据是可以上公网的？当然自己本地部署用起来放心