trungdieu031

@youthfire o1 整体上还是要强于 claude3.5 的。 目前 llm 领域的顶级三家 OpenAI , Google, Anthropic 的模型，OpenAI 整体推理能力最强，幻觉最少，Anthropic 的对齐最好，最有人格化特征，在情感哲学方面体验最好，编程方面因为 finetune 过，也是在目前可用的最强梯队，Google 新出的 gemini2.0 版本多模态能力最强，应该对档的 O 和 A 家下一代基础大模型。
o1 代表了 RL + LLM 新范式。在能用基础模型解决的问题上没有显著的优势。只有长链的推理能力才能体验优点 ~

@haiku 从报告上看，目前推理成本太高确实是最大的问题。
但我对推理成本的下降持乐观态度。至少在 2030 年之前，gpu 的推理成本是稳步下降的，我直观体验上至少比摩尔定律描述的下降速度要快。
给个不精确数字的话，我感觉每年推理成本至少比前年下降 1/4 ~

超级强，距离上一代 o1 进步巨大。 那些说是画大饼没啥用的我只能说你们开心就好~
如果你对报告里那些测试集有个大概的认识，就会知道这种进步意味着什么。别的不说就拿 frontier math 这种一下从完全不会到 25% 的真确率，arc-agi 这种专为 AI 设计的难度考题一次性从 35% 上升到 75% ...
看来 Sora 期货带来的后遗症太强了，导致现在 OpenAI 一有延迟发布的动向都会被说搞期货 ~
长远来看 （ 10 年内），AI 取代 99% 人的工作是板上钉钉的事~

毫无疑问目前来说一手的信息都是在 x 上 ~

配 64G 内存的主机，做下量化，完全可以跑 32B 的模型了。如果不特别追求速度的话也不用非得上两块 GPU~

你这个问题要解决有一下集中思路：
1. 更换不同厂家的模型，都试试说不定就有安全措施不那么严格的
2. 采用类似反爬虫的机制。增加请求延时，更换 ip , 更换请求账号 ...
3. 编写专门的 prompt 来绕过限制。有点类似 LLM 的越狱机制
4. 部署本地大模型处理。如果是英文邮件的话，可能 llama 的中大模型会好点 ...

你这个应该确实是触发了某种安全机制。看过美剧刑侦剧的都知道 John Doe 这个名字使用指定未知人物姓名的。大模型返回结果可能处于数据隐私方面的考虑对返回结果做了替换 ~

标注或合成一部分数据，自己训练/微调一个模型