整了个音箱接上大模型之后还是感觉缺了点什么

[Jackyxiaoc]

近期将家里的 HomePod 接上了大模型。个人感觉需要唤醒词才能唤醒，用起来还是缺了点什么。不是真正的贾维斯~

处理的时候有个思路不知道是否实际：

如果将所有东西都转录成文字，1 分钟给到机器一次，由机器判断这句话是不是跟他说的，再回复出来，这样不知道会不会好一点。不过用时间间隔好像还是有点问题。还没试过把实时语音接口接入~回头试试

[musi]

有严重的隐私问题

[evan9527]

无唤醒词是不是要分析所有听到的声音？
会不会有半夜「幽灵唤醒」的情况。
我觉得自定义唤醒词+连续对话就挺好的。

[rechardwong0522]

可以在用它的时候在开头加上唤醒词，比如“小爱同学，帮我定个七点半的闹钟”，而不是先说“小爱同学”去唤醒后才能接着说。后面的话是不是跟它说的，就由上下文判断

[Jackyxiaoc]

@musi 确实是有这个问题。但是如果是长期独居的话，想找个人聊天，唤醒词就觉得不太顺。
@evan9527 整个流程大概是，实时检查声音——转成问题——给到大模型——大模型判断是否是噪音，还是正常的人类对话——文字转语音回复。
@rechardwong0522 感谢，可以稍微优化下。

[qping]

找人聊天别依赖机器人，还是出去社交下。。。或者找个女朋友？

[r6cb]

https://platform.openai.com/docs/models#gpt-4o-realtime 这有实时性更好的，先用 asr 过一遍，将所有过滤后的语音直接传到 api

[liaanj]

加油！！！

[yiton]

最近我也在整这个

[fcten]

本地的端到端语音模型才是体验最好的，不知道什么时候能有成熟的产品
和文本聊天不一样，语音聊天对延迟是非常敏感的。不要说一分钟了，延迟 2 ～ 3 秒就非常难受了。

[Jackyxiaoc]

@qping emmm ，其实一个人有时候也挺舒服的，有个机器人聊聊也就够了。

@r6cb 好的，感谢，我试试。

@liaanj 谢谢。

@yiton 有进展嘛？

@fcten 小模型性能不足的话，回答出不太好的答案也不太行。不过延迟确实是个问题。

[leothevan244]

或许可以试试在本地先部署一个小模型判断一句话是否是跟他说的，是的话再上传云端大模型