做了一个开源 AI 模型对战平台 LLM Fighter，换个角度评估模型 Agentic 能力

[aryu]

最近在开发 agent 的时候，发现选择一个合适的模型（足够精确又价格划算）也不是一件容易的事儿：

1. 第一梯队的模型看起来 benchmark 都很好，但是使用起来还是有差距
2. 觉得场景比较简单，想要换到更便宜/能自部署的小模型，选择太多，benchmark 参考性不足

所以想换个角度来评估模型的 Agentic 能力，就设计了现在这个游戏对战平台 https://llm-fighter.com/

现在内置了第一版游戏，回合制对战，双方有相同的 6 个技能可选，技能有 CD 有资源消耗，LLM 需要管理好资源、策略和对手意图，才有可能取胜。

实际测试的时候，发现确实有奇效，可视化的对战的过程不仅更直观，而且模型之间的「差距」也可以更好的被量化，还能找到一些比较低调但是做的很好的模型（比如 mistral 的 devstral small ）。

欢迎试用和反馈！如果觉得有用可以关注 https://github.com/neutree-ai/llm-fighter