V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hui9000
V2EX  ›  问与答

关于公司搭建 AI 问答的一些风险

  •  
  •   hui9000 · 2023-12-19 08:51:22 +08:00 · 3683 次点击
    这是一个创建于 371 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是上一个问题,https://www.v2ex.com/t/999563#reply52 关于搭建 AI 问答的 经过几天研究讨论,最终定下我们内部先搭建一个基于 chatGPT3.5-turbo 的问答的应用,先让公司内部习惯使用此工具; 这里有几个问题问一下各位大佬彦祖: 公司背景:处于国内,非互联网公司,传统零售业

    1. 肯定需要 vpn ,如果我使用买的 vpn 是否有风险,改应用只限内部使用,也就是公司内网,以后也不会开放外部人员使用;
    2. 如果 1 有风险,使用中转 api 是否有稳定可行;
    3. 开发聚合的多模型的类似这种 https://anakin.ai 有没有成熟的方案? 最后:其实我理解上层的想法,就是增加效率,降低成本,都不好过; 将来可能会淘汰一部分运营,设计,做报表的。
    37 条回复    2023-12-27 14:09:30 +08:00
    asche910
        1
    asche910  
       2023-12-19 08:56:49 +08:00
    之前不有个老哥自己搭建的,被裁了还一堆屁事被公司告。
    gletec
        2
    gletec  
       2023-12-19 09:01:35 +08:00 via Android
    @asche910 对这事有印象,有啥后续没?
    halobugTurbo
        3
    halobugTurbo  
       2023-12-19 09:04:03 +08:00
    我是使用 Azure OpenAI 的服务,不需要 VPN 就可以调用。(即便是使用了 VPN 改善了网络环境,但是推理速度也不会很快!)
    lianglianglee
        4
    lianglianglee  
       2023-12-19 09:04:35 +08:00
    可以让公司把服务器买在国外,开 IP 白名单,只对公司的 IP 开放。所有费用、账号,都用公司的。个人可以垫付后报销。
    paopjian
        5
    paopjian  
       2023-12-19 09:13:32 +08:00
    字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊
    Ghostsss
        6
    Ghostsss  
       2023-12-19 09:14:42 +08:00
    3 楼+1 ,可以试试 azure 的,以公司名字注册申请该账号,后续消耗费由公司承担。
    whoami9426
        7
    whoami9426  
       2023-12-19 09:15:52 +08:00
    可以试试 cloudflare 的 worker 转发 api
    boolstone
        8
    boolstone  
       2023-12-19 09:19:14 +08:00
    1 、cloudflare 代理
    2 、中转 api 找个稳定的就是
    asche910
        9
    asche910  
       2023-12-19 09:19:14 +08:00
    @gletec 没,找不到了。。
    zh584728
        10
    zh584728  
       2023-12-19 09:25:13 +08:00   ❤️ 3
    @gletec 在这里
    上:[我给公司部署了一套 ChatGPT, 老板说没有目的性, 给我这件事的绩效打了个 C, 如何评价这一现象?]( https://www.v2ex.com/t/963224)
    中:[我就是上次给公司部署 ChatGPT 的, 今天被开了]( https://www.v2ex.com/t/966243)
    下:[我是 GPT 老哥, 现在公司因为我下了自己的 API-KEY 威胁我, 我可以怎么办]( https://www.v2ex.com/t/966984)
    huhu4018
        11
    huhu4018  
       2023-12-19 09:33:00 +08:00
    我有点好奇公司为什么要搭建这个?有什么应用场景呢,如何提高生产效率?
    whoiskoala
        12
    whoiskoala  
       2023-12-19 09:36:09 +08:00
    3.5 可以使用中转 api ,可以不用 vpn ,而且价格还便宜
    Anshy
        13
    Anshy  
       2023-12-19 09:57:17 +08:00
    反正不需要自己出钱,省事点,直接用中转 api ,然后中转 api 多找几家就好了
    hui9000
        14
    hui9000  
    OP
       2023-12-19 10:05:08 +08:00
    @zh584728 我草 有点汗流浃背了哥
    hui9000
        15
    hui9000  
    OP
       2023-12-19 10:05:49 +08:00
    @whoiskoala 有没有稳定的推荐呀
    hui9000
        16
    hui9000  
    OP
       2023-12-19 10:08:15 +08:00
    @huhu4018 基本的运营是可以代替的,我们很多员工不懂计算机或者流程 我们都有专人管弄飞书服务台进行回复
    还有一些海报设计,促销什么的;还有一些给老板看的销售报表都是人工弄;
    chitanda
        17
    chitanda  
       2023-12-19 10:10:30 +08:00
    我在几家自己接入 ChatGPT 的公司干过,一家是集成到飞书里自己内部使用,走的香港亚马逊到米国的服务器,没有被 ChatGPT 封过。一家是客服性质的,用来做商业化的客服机器人,自己用的什么机场,ChatGPT 账号被封过,然后从什么黄牛那里买了 azure 的接口,后来 ai 管理法出来了,就转成了国内的。
    cherryas
        18
    cherryas  
       2023-12-19 10:12:24 +08:00
    国内非互联网公司搞什么 gpt3.5 ,不会是你主推的吧?到时候开发票你就搞不定。
    churchmice
        19
    churchmice  
       2023-12-19 10:21:55 +08:00
    将来报道出了偏差,lz 可是要负责任的
    paopjian
        20
    paopjian  
       2023-12-19 10:22:54 +08:00
    你要真这么怕,还是直接找百度吧
    Maco
        21
    Maco  
       2023-12-19 10:25:18 +08:00
    公司用 VPN 的话,建议采购中国联通的 SDWAN 方案,合法的; 5M 大概 1400 人民币/月 + 一个境外的服务器即可。
    phytry
        22
    phytry  
       2023-12-19 10:27:38 +08:00
    用 azure 吧,需要提交公司资料申请 azure ai 的使用权,账号和信用卡绑定都用公司提供的就好了,自己只是协助公司开通和部署业务
    reeco
        23
    reeco  
       2023-12-19 10:39:11 +08:00
    请我当顾问,帮你搭一个完全私有部署的 :-)
    em70
        24
    em70  
       2023-12-19 10:44:32 +08:00
    用 VPN 不是个好方案,应该部署一个海外代理服务器,阿里云有精品网络走国内,可以保证稳定
    reoah2
        25
    reoah2  
       2023-12-19 10:47:24 +08:00
    建议 azure+langchain
    em70
        26
    em70  
       2023-12-19 10:48:12 +08:00
    @reeco #23 搭一个跑起来很容易,但要精准召回,需要自己做数据对齐,特别在资料有表格和公式情况下,难度不亚于开发一个垂直搜索引擎
    weilongs
        27
    weilongs  
       2023-12-19 11:09:09 +08:00
    感觉搞这事就是搞事。 惹一身骚。
    Seulgi
        28
    Seulgi  
       2023-12-19 11:45:29 +08:00
    如果用 openai 的 gpt ,发票就开不出来。所以合法合规就是用 azure openai ,至少有国内团队洽谈商务,都是出海正规做法。
    kalman03
        29
    kalman03  
       2023-12-19 11:59:13 +08:00
    问楼主:你是如何有 openai 的 api 权限的(你搞定绑卡了吗)?如果连 API 权限都没有,你考虑怎么调用没意义吧?
    ShawBen
        30
    ShawBen  
       2023-12-19 12:01:06 +08:00
    Azure+1,不需要 VPN
    Rnreck
        31
    Rnreck  
       2023-12-19 12:51:35 +08:00
    @hui9000 #14 别做吃力不讨好的事情,,
    hui9000
        32
    hui9000  
    OP
       2023-12-21 09:21:44 +08:00
    @cherryas 领导下达的任务,我也很难办,也在全体会议上公布了我负责研究搭建。难搞
    hui9000
        33
    hui9000  
    OP
       2023-12-21 09:25:23 +08:00
    @weilongs 我也有这担心,弄好了怕出其他幺蛾子,弄不好,又怕领导怪罪。
    @Seulgi @kalman03 走中转方案 找能开票的中转 api 应该能避免这个;
    hui9000
        34
    hui9000  
    OP
       2023-12-21 09:25:48 +08:00
    @Rnreck 兄弟我现在是骑虎难下了
    whoiskoala
        35
    whoiskoala  
       364 天前
    @hui9000 我这边有,怎么联系你呢?
    hui9000
        36
    hui9000  
    OP
       363 天前
    @whoiskoala 能开票么?
    whoiskoala
        37
    whoiskoala  
       362 天前
    @hui9000 能得
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5907 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:49 · PVG 09:49 · LAX 17:49 · JFK 20:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.