如何判断一个 skill 是真正有用还是 slop？

[sickworm]

benchmark 是唯一真理

[mokeyjay]

最简单的办法：直接让模型加载上然后问它

[minami]

长远来看所有的 skill 都是 slop ，有用的早被融进去了

[lithiumii]

打开看看是不是 ai 口癖写的

[jackOff]

我个人理解是 agent 客户端为了照顾大部分用户并不会自身携带重量级的 skill 或者 mcp,比如逆向，嵌入式开发编译套件这些只能是项目涉及到对应的东西时自己网上找 mcp 外挂给 ai 使用。而那些完全不需要外挂 mcp 的 skill 我个人认为一定会逐渐被 agent 客户端最终全部携带，只是会细分成不同角色的专属技能，比如办公一类，编程一类，音频一类，增加 ai 的专注度和节省上下文开销，目前看大部分 agent 客户端都是这个方向，比如 deepseek harness 的自定义预设 agent 明显就是这种设计，按照这个趋势发展下去，纯文本描述的 skill 随着时间推移一定会被所有 agent 客户端自带

[clemente]

@minami 不觉得。


比如你让 ai 写小说。

ai 不可能同时写出金庸+鲁迅风味的语言的，这个需要用户来驾驶

[clemente]

@minami 还是需要 skill 这种东西来处理 特化 spec 的，包括你个人的需求和业务特殊性，模型的知识分布肯定是平均主义的。未来是奇葩的天下。

[minami]

@clemente #7 这本质上还是提示词工程，你真的需要一个所谓的 skill 吗，直接描述需求和写一个 skill ，在有效性上真的有明显区别吗，怕不是要打个问号

[xsonglive491]

我一般都是 skill+脚本配合使用,很少有纯粹的文字说明类别的 skill

[znedyrk]

是的 skill 全体都是 slop 了

[secsilm]

@minami #6 有效性方面和直接写没有任何区别。我个人觉得 skill 的重点是流程固化而不是有效性，适合那些不能写成脚本的流程。如果能写成一个脚本，那我觉得没有必要写成 skill ，没有必要让 llm 介入。

[LichMscy]

@sickworm #1 有什么比较好的 benchmark 方案么？最近在探索这块