想批量调用 gpt3.5 或 claude2 api，怎么注册账号或有第三方提供服务吗？

[bigtang]

要批量处理文本，测试了一下文心一言，讯飞星火根本无法用，gpt3.5 或 claude2 是可以用的(gpt4 当然更好，太贵了用不起)。

查询了半天，各种账号出售好像都是普通用户手工问问题的账号，怎么才能稳定的批量调用 gpt3.5 或 claude2 api? 有好的第三方服务么？（费用不要超过原厂商太多）

我有一个几千上万字的 prompt ，肯定不能每次调用 api 都发送这么大的 prompt 吧？这个 prompt 可以存在我的账号里面吧？

计费怎么计算呢？每次调用都要加上几千字的 prompt ，费用也受不了啊？

请老手多指点，谢谢了。

[yinmin]

Openai GPT API 是无状态的，每次都需要发送 prompt 。你可以一次发几个问题给他，让他一起回答就可以节约 token 了。例如，你发送这样一个数据包：
system: 你是一个计算器，根据公式给出答案
user: 2+3=？
user: 3+4=？
assistant: 2+3=5
3+4=7
user: 12+2=?
user: 22+1=?
user: 4+5=?

system 是 prompt ，之后 2 行 user 和 1 行 assistant 是给 gpt 的参考示例，之后 3 行 user 是需要 gpt 解答的问题。这样就可以减少 prompt 的 token 总量。

[silypie]

哟 in-context learning

[chris555]

你这个 prompt 太占 token 里吧，16k 带上下文也经不起你这么折腾。没有进一步优化的可能性了么

至于第三方服务： https://aigptx.top?aff=nB09qzBQ
目前 gpt3.5 4 折，gpt4-8k 5 折 gpt-32k 1.1 倍 [后期大概率要涨价]

[woofer]

我有 Azure GTP4 32K 的接口，需要的话看这里： https://oai.chato.world/

[xabcstack]

有认识一个老哥, 你这种调用体量,包月大概是 600 元/月, 假设你消耗每天 20 美元左右, 可以等比例换算, 感觉比较适合你; wx: xabcstack

[yitdlxl]

http://www.td-chat.com/
这个适合你，无需注册，按次计费，10 块 1000 次够你用很久了

[matliu]

有没有能开发票的 API 站

[wanjiawei0755]

可以试试 openrouter.ai ，基本所有国外的大模型都有，价格跟官方保持一致，预付制，充值手续费是 5%+0.35$，国内发行的 visa 和 master 都可以支付

[kidult]

试试 api2gpt.com 吧，gpt3.5 gpt4 画图等等 api 统统 openai 价格的限时五折，最重要的是没有最低消费，零门槛

[JustSong]

用 oneapi 维护一个号池可以增强稳定性： https://github.com/songquanpeng/one-api

[bigtang]

@chris555 比原厂价格低我不能理解，难道 openAI 有大批量折扣？

[kaidong21]

@bigtang 能用官方用官方，第三方收费不透明，我有次冲了 10 块钱，几分钟就没了（ Token 不多，而且平台标注收费和官方 2 折）