有人把「词元」一词塞进了 opencode

[Erona]

今天看到 opencode 发版了, 才注意到这个三天前的 PR: https://github.com/anomalyco/opencode/pull/40977

PR 里的讨论现在还不多，但是已经有偏离技术和翻译本身的迹象了。 不过抛开其他因素不谈，我也自始至终都觉得这是个糟糕的翻译。

[fang2hou]

如果之前是 token ，那词元强行加入感觉有点不太好，看了眼原来是令牌，那还真不如改词元。

[GyroZeppeli13]

比起 token 我更想知道 transformer 怎么翻译。

[zed1018]

说实话，令牌也没好到哪里去，甚至更差。因为 llm token ，和 authentication token 并不是一码事。后者叫令牌没错，前者就不行了。

[cowcomic]

要不就直接保留 token ，别翻译
如果一定要翻译，那我觉得“词元”比“令牌”强（仅限描述分词结果这种场景）

[Erona]

@fang2hou 你说的也没错。
但原来的「令牌」可以理解成机翻或是粗翻，也并不无大碍。真要细翻的话，一个更好的方案显然是直接用 Token ，而是不是这个幽默的「词元」。

[longaiwp]

所以呢？要么别有翻译，不然肯定比令牌这个翻译好，又想着扣帽子了？

[dumbass]

闹麻了

[longaiwp]

无趣，原来已经带了立场来的，还以为真想讨论呢。。。

[GoogleQi]

习惯了 token ，就不会叫词元，好复杂的两个字，看不懂啥意思😂

[7gugu]

词元这个翻译很合理，PR 的做的解释也很对。“令牌”就是 API 领域的一个专有翻译，跟 LLM 领域代表的分词不是同一个概念，使用“令牌”作为翻译确实不合适。

[isbase]

可以再去提一个 PR 改回来。

[irrigate2554]

翻译的很好，官方也合并了，点赞，希望其他工具也跟进

[yiqiao]

@GyroZeppeli13 #2 现在 token 不就是词元吗
不同场景下的 token 中文会有不一样的翻译；以前 access token 叫访问令牌； llm token 叫大模型词元

@Erona #5 现在官方都是 xxx 词元（ Token ），怕别人看不懂。在中文翻译下不如也跟着官方的来 LLM 词元（ Token ）#逃

[taotaodaddy]

先不说好不好
这个语境下令牌是错的，词元是对的

[haojiuweijian1]

@dumbass 很不理解使用中文特别简中的能毫无负担的说出这三个字，挺可笑的。好像这样说出来就能把黄皮扒掉一样

[credo123]

不要搞语言壁垒，这是很操蛋的。
词元这个词我觉得就挺好的，不搞 AI 的人，看一眼连蒙带猜的也能领会点意思。

[yiranw09]

@GyroZeppeli13 变形金刚！

[wy315700]

如果 token 叫词元
那么
元神会花落谁家呢

[sharpy]

词元我觉得从翻译的角度来说信达雅至少是信的

[tanxnative]

@GyroZeppeli13 变态器!

[Erona]

@yiqiao 如果是大势所趋的话，那真的就是早晚的事情（悲
其实很多词大概都必要去翻译，至于 Token 要不要翻译，当前「词元」这个词好不好，应该已经被讨论了很多了。
这个事情给我的感觉就是，首先我觉得它是属于没必要翻译的词，并且我觉得「词元」这个翻译很糟糕，然后这个词已经在慢慢地到处渗透。
可能让我意外的是这个词的接受度比我想象中的高，并不是大部分人都这么反感。

[dumbass]

@haojiuweijian1 bro thought he's white

[tomyark123]

挺好的。github 反贼怎么那么多

[nuk]

不是应该直接叫词吗，以前的 lex 不是就叫分词

[LuJimin]

要么不翻译，假如要翻译的话目前没有见到其他更好的说法了，词元肯定算不上糟糕的翻译

[chendy]

放在一众 IT 领域的抽象翻译里，词元已经是顶中顶了

[lmmlwen]

所以我一直用易语言，美国人亡我之心不死

[haukuen]

词元这翻译还糟糕啊，我觉得是堪比「基因」这种级别的好翻译

[ATKLLL]

为了反倒而反对

[credo123]

@Erona 你是建立在你是从业者角度上讲的。
类似海外英语国家里的法律条文一样，非从业者很难理解或者压根理解不了那些单词和句子。这就算语言壁垒了。

国内汉语一直传承下来的，就是要让普罗大众看到某些新词，新句子，最起码连蒙带猜能知道是什么意思。尽可能的减少语言壁垒。这是汉语的极大优势。

你可以翻翻国内那一堆的法律从业者和大 V 。他们是多么希望中国的法律条文和英文一样，能建立强大的语言壁垒，那他们就值钱太多了，话语权就大很多了。
你不看看现在国内的公检法都那么烂，如果有强大的语言壁垒，我认为会更烂。

[jpyl0423]

这有什么吵的，自己再提交个 pr 不就完了

[lel020]

我是支持词元的， 或者说我支持一个大手用生造词强行统一这个 token 在大模型中的称呼，
首先明显比令牌好，然后等大家接受普及了就比 token 强，
现在进入 opencode 就是开源社区接受词元的一小步，

[Felldeadbird]

词元我觉得还是不错的翻译。
如果你音译的话，叫什么好？是透肯？

[PolarBears]

看了下更改,是把[令牌]改成[词元]而不是[token]改[词元],只能说词元总比令牌强

[tomyark123]

@lmmlwen 再串草死

[0xnycth]

词元是好的翻译，表达清楚、含义明确，这个词可以很好的概括 token 在 AI 领域的意思。

[kylinC]

反对词元不如先反对鲁棒性

[KagurazakaNyaa]

词元这个词非常合适啊，编译原理里面不是就把 token 翻译成词元吗，这翻译年纪比 transformer 大了，而且编译原理里面的 token 和现在大语言模型里的 token 用的是同一个涵义，那么自然应该翻译成同一个译文

[weixind]

多大点事，应该找个日本人提 PR ，美国人合并。就没那么多奇奇怪怪的质疑了。

[Cu635]

@Erona #21
怎么可能是“没必要翻译的词”？可以说这个词语是“必须有个翻译，但不是必须用这个翻译”才对。

为什么说“这个词必须有个翻译”？因为这个操蛋的英语，明明那个控制权限、流量用的“令牌”，和现在大模型这里的“词元”是俩东西，但非得都叫“token”，这才给予了“有个翻译”的必要性。哦，你说大模型的“token”也是用来控制用量、收取费用的？那就应该看一下这个概念的来源：大模型的 token ，是算法本身就要进行的分词，是先在技术上有了“token”这个东西，再用它来作为用量统计和收费指标，是个自然过程；而控制权限、流量用的“token”，则是“为了权限控制，人为加上去的一个东西”，是人为加上去的。因此这俩还是不一样。

有了这个，再看“词元”这个翻译，还是挺靠谱的，这个翻译恰恰是植根于“分词”这个技术过程的。

“必须有个翻译”是上面讨论的，而“有了翻译不一定必须使用”，这就是对交流的语言习惯的妥协了。

[BuffDog]

不如直接叫字

[M9jB6pg65]

@Erona Token 绝对是有必要翻译的词。 因为面向普罗大众时，Token 不是作为专业术语被使用，而是作为计量单位在使用。 作为对照的 ounce 翻译成"盎司"也是不好但必要的翻译。 至于"词元"是不是个好翻译， 我只能说至少比“投肯”这种音译强

[zhywang]

词元这个翻译很好，信达雅基本都能占
计算机领域比它糟糕的翻译多了去了，什么句柄、套接字、堆栈...

[yidinghe]

token for authentication -> 令牌
token for LLM processing -> 词元

在界面上，二者的表达并不难区分，所以错误的翻译应该纠正。

[frankilla]

我觉得翻译的很恰当。

[niubilewodev]

如果是把 token 翻译成“词元”，我会觉得没必要。
但点进 PR 一看，哦豁，之前被翻译成“令牌”了，那还是改成“词元”吧。

[William337]

就用 token ，词元是什么鬼

[Erona]

@credo123 从这个角度讲的话，LLM 中的 token 它大概或许应该有一个中文译名。

然而当前的问题是，使用 opencode 的中文用户，有多少人日常交流就使用「词元」而不是「 Token 」?
它的不适点在于你平时用的是「 Token 」但是工具上写的是「词元」，这种写作「词元」读作「 Token 」才更加不符合中文习惯吧。

[Desdemor]

可以给老哥科普下 https://x.com/LukeParkerDev/status/2086729419020964054

[tomyark123]

@Desdemor 我账号被封了，不然我去说下。魔怔人太多了

[Meursau1T]

有些人觉得 token 没必要翻译，理由是这个概念是计算机专业术语。这显然低估了 token 的使用范围。不像 transformer 之类的词，token 是计量单位，只要给 AI 付费，就一定会用到，跟度、立方没什么区别。所以 transformer 可以不翻译，v2ex 可以不翻译，很多计算机词汇都可以不翻译，但 token 必须翻译。
现在 workbuddy 就已经有很多用户了，都是计算机领域外的人。可以预见，未来一定有更多非专业人士使用 AI ，给 AI 付费。这种情况下，翻译一下付费的计量单位，简直是天经地义。
坚持继续使用 Token ，不做任何翻译的人，不如多去享受享受不带翻译的医学词汇，学习下 pneumonia meningitis bronchitis 都是些什么意思。

[nc]

丢人显眼，每次这种技术无关的小事都有国人在 issue 下喷粪，简中翻译成词元没问题，这就是简中官方钦定的翻译。

https://zh.wikipedia.org/zh-cn/%E8%AF%8D%E5%85%83

[wakarimasen]

我早就说应该翻译成丁〇片巳冂，方能彰显我们中国字博大精深

[sodesga]

国内的都翻译，国外的你也不能支配人家要求翻译，真要翻译的太多了，翻不过来。

[credo123]

@Erona 我日常使用交流什么的，像你说的，都是用的 token 。
工具上写词元还是 token ，本质上对我们这种业内人来说是完全无所谓的。

但不排除有客户或者生活里其他非业内人员使用词元和我交流。交流过程中，对方是很理解词元的意思的。
词元嘛，词的元素？词的单元？ 词的最小单位吧？！
这就是我赞同词元这种翻译的原因，很多人连蒙带猜的理解下来后，大差不差。汉语里表示最小构成单位的惯用后缀——单元、基元、神经元。词元==词的最小单元。

这就是我们汉语的魅力啊。
计算机里操蛋的翻译很多，
1. 句柄
2. 套接字
3. 缺省
你回想下当年刚接触计算机的时候，看下如上词汇不发蒙嘛？！不得查查是什么意思。还有很多。

我们是过来人了，但我们不要无意识里带上傲慢。

[cheese]

不翻译挺好的，如果必须有中文翻译，词元也挺好的，很准确啊

[gtouck]

@GyroZeppeli13 变形金刚

[xing7673]

@haojiuweijian1 自恨到这种程度的为啥会关注简体中文的翻译呢，真的很奇怪这 [类人] 的心理

[Awes0me]

这个翻译没问题，但是看着恶心也是真的，主要是那群人上串下跳的

[ndxxx]

词元这个翻译真的很好, 但是没有特殊场景的话 token 完全不用翻译成中文

"词元"这个中文翻译被一个威权国家的官媒大肆报道过, 这就是这个词语的原罪

就像华为生态里, 也有一些小家电从客观上来说质量还行(哪怕是贴牌的), 但和这家公司沾边了, 那就别想得到粉丝以外的认可了😁

[keyu1103]

token 翻译成词元，我个人认为非常信雅达了
完美契合了在 transformer 架构下面，不是一个词 或者一个字 作为最小单元，而是另一种概念。

无法接受 token 翻译成词元的，都是一些用 ai 的老鸟了，特别是能看到这个 pr 的肯定已经接受 token 这个词很长时间了，所以这里的讨论是有幸存者偏差的。

词元这个词，我每次给新人介绍大模型，我都会特意强调一下 token 翻译过来是词元，词元 比 token 好理解太多了

[Tink]

我觉得这个词元翻译的很好啊，为什么幽默呢？

[badrigtpatbas247]

硬找画面感

[ybybwdwd]

很好的翻译，不要为了反而反

[vipfts]

我记得我看过北大的自然语言处理的课，计算机处理自然语言的最小单位就是词元啊，为什么你们反映这么大？你们没学过还是我记错了？

[Nzelites]

词元这词翻译的还好吧 早晚得有一个中午翻译的，你有啥建议吗？

[Tink]

这词翻译的不比什么鲁棒性要好

[xFrye]

要么就直接不翻译保留 token 这个说法，要是选择翻译就应该选个准确点的词，很明显令牌这个翻译是错的，提这个 pr 一点毛病都没有

[badrigtpatbas247]

token 翻译成什么都行，它不会出现常用词汇中的。

[ZYXDemo]

词元挺好的啊，不然呢？

[laikicka]

那强制要求国内大模型和 agent/Hermes 统一用中文命名吧，什么 kimi ，deepseek ，glm 全部换成中文

[lianginx]

还真是，上古时代那些计算机词汇好多都是瞎翻译

[CHTRCT]

用原生术语一直是最省事的。

[realpg]

有些人就是外国的月亮比较圆 跪久了就站不起来了

你说把 token 替换成次元我说这是脱裤子放屁

令牌换成词元，这是巨大的进步

[ASHYWHISPER]

为了翻译而翻译

[Erona]

@credo123 你说的非常有道理。对于非业内人士，可能的确需要一个恰如其分的词。客观地说，在这点上「词元」基本合格。
不过大家也都知道 token 并不一定就是个词，所以「词元」这个词或多或少还是有不够精确，让人些难受。（非抬杠，只是聊一下感受）
不过非要较真的话，把 tokenizer 译作分词器兴许也是同样地不恰当。但是我们（至少是我）早就自然地接受了它。

你提到的那几个经典幽默翻译确实操蛋，所以我都倾向直接使用 handle, socket, default 。然后这就造成了我之前提到的写作 XX 读作 XX 的问题了。
所以这些术语我仍然倾向于不翻译，但这确实对非业内人士不友好。

不过无论最终怎样，每个人也只能去接受罢了。

[unused]

比 token 好多了。Token 一个词不同语境有不同的意思，单拿出来谁也不知道是啥。

[jetsung]

词元，一说出来就知道在说与大模型相关的。比“令牌”好多了。Token 的话，如果在固定语境，联系上下文，可能没有歧义，但单独“拎”出来，那就是有歧义了。相比来说，这个是专有名词。更容易理解。当然，非原生语言的翻译，肯定没有原生的“token”更能让人合眼。比如当年的 Google -> 谷歌

[hellodudu86]

“词元”不是比“令牌”信达雅多了吗？

[GDSR]

鉴定为反华反共反魔怔了

[jsq2627]

支持翻译 token ，一个模糊的词用在各种领域，还都是不一样的意思，完全是英语的糟粕。

[bitnerd]

我儿子都知道“爸爸的爸爸是爷爷”的摇摇车里需要投进去 token

[icyalala]

'令牌'在这里是个明显错误, '词元'也只是勉强好一些的翻译
你输入图片生成视频，那'词元‘是什么东西呢？你让普通人怎么理解呢？

[zhw2590582]

开始也觉得不太好，但现在我觉得“词元”也挺好，可能要有一个适应过程吧

[justsomac]

“词元”挺好的，词义准确，也挺好听，很多人觉得不好或者不翻译更好，主要是使用习惯问题。至于有些人因翻译被官媒承认就厌恶一个词的，真不知道怎么喷了…

[VirgilMing]

令牌是错的，这个没什么好讲的
词元我是觉得只在 text 到 text 模型才对，多模态总有不对的地方

[calcoe]

官方都合并了你反对个啥劲，"糟糕的翻译"，那么请问糟糕在哪？你所认为好的翻译又是什么？就因为官媒宣传了"词元"这个翻译就无脑反对是吧，谁还不懂你们思路啊🤣👉🤡

[iamjerry]

我以为反对修改的，应该是台湾或者香港那边的人。
结果没想到..

[zhengqiang64]

@Erona 你觉得 token 熟悉自然是觉得 token 好。但实际上很多大爷大妈根本说不好这个词，哪怕是 AI 两个字，很多年纪大的人都发音不好。简体中文的意义是普适化，目的是让所有中国人都能理解。突然冒出一个英文来，那不利于教育，不利于普世。

[icanfork]

这个 PR 有啥问题。

[cxshou]

@KagurazakaNyaa 编译教材里面用的单词翻译更多点。LLM 的 token 和编译的 token 还是有区别的，编译里面的更容易理解

[noahhhh]

@icanfork 确实比原来好啊

[COW]

@fang2hou 词元还行啊，翻译的挺准确的，令牌是真不行，我一听到令牌就会想到狄仁杰，也不知道为啥，可能是前两年农打多了。

[catazshadow]

token 足够好是因为这就是个能够代表所有意义的符号，包括图像和声音

词元一出来，那图元和音元呢？多模态就当不存在是吧

[icanfork]

@noahhhh 是呀，就单纯的 diff 来看，这个 PR 完全是合理的、恰当的。如果 OP 觉得"词元"恶心，他应该是继续开一个 PR ，用上面评论的论据去让官方合并进去。而不应该质疑这个 PR 的合理性。

[Nyeshuai]

opencode 是个什么高不可攀的东西吗？你是所有者吗，是什么语言学翻译界大拿吗？人家作者高兴就合，不爽就换语言用。

[catazshadow]

所以说翻的垃圾，硬硬在技术领域搞政治

[zhengqiang64]

虽然大家都习惯了 token ，但我觉得 token 这个词用在 LLM 上，极其糟糕！完全可以自造词，或是用缩写，比如像 http api 常用的 jwt 一样，而不是用了一个毫无关联的单词滥用。这行为无疑是破坏了学习体系，容易让年轻人在技术交流上产生误会。原本用于身份校验的 token 现在只能改名变成了 apiKey ，简直荒唐。

[zhengqiang64]

@catazshadow 你这都能联想到政治？你的皮太黄了，扒了吧

[catazshadow]

@zhengqiang64 “话语权”三个字都冒出来了你还觉得这不是政治？