这段时间自己高强度用语音输入法的时候发现，有些几乎没必要润色的句子还得走一遍 llm 润色，没有这个必要不说，还拖慢速度。
想到最近爆火的 Jev ，刚好可以结合起来，让 Jev 前置做一个判断：对于没有必要润色的句子，Jev 直接放过，这样省去等待 llm 返回的结果，在部分短句上整体延迟能降低近 1 秒。
在不影响长句润色的情况下，能够让短句得到近乎实时的返回，而且考虑到 Jev 的这么便宜的价格，几乎可以算是零成本的优化。演示的视频可以看这里： https://x.com/LuliYanng/status/2104226884901028146
想到最近爆火的 Jev ，刚好可以结合起来，让 Jev 前置做一个判断：对于没有必要润色的句子，Jev 直接放过，这样省去等待 llm 返回的结果，在部分短句上整体延迟能降低近 1 秒。
在不影响长句润色的情况下，能够让短句得到近乎实时的返回，而且考虑到 Jev 的这么便宜的价格，几乎可以算是零成本的优化。演示的视频可以看这里： https://x.com/LuliYanng/status/2104226884901028146
Select Language