想法: 轻量级api server的可行性

[slow-groovin]

server 只负责将 https://github.com/78/xiaozhi-esp32/blob/main/docs/websocket.md 中的交互转换为http api, 具体的处理交给额外的服务端实现

device --> server ---(hook)----> <other side>

device <-- server <---(hook-response/rest/sse)----<other side>

tts(这一块我还不太熟悉)通过配置外部单独的服务处理

这样做的目的:

• llm功能实现完全分离,
  • 方便应用工程师专注于llm功能部分的实现
  • 用户可以可选的配置接入不同的服务, 也可以通过低码平台自己实现
  • 上下文/记忆管理目前很难做到通用的范式方案, 所以这样方便用户自己选择/负责
• 服务端功能单一, 容易实现和维护, 降低部署难度和资源需求

[herryyueqq]

这个整个流程的延迟会增加吧 ？

[slow-groovin]

这个整个流程的延迟会增加吧 ？

延迟 = 后端服务延迟 + llm服务延迟
llm服务延迟是不变的, 如果使用在线低码平台, 延迟取决于平台, 如果是本地部署的服务, 延迟可以忽略不记

[hhun]

完全可以轻量化，通过配置文件设置，轻量化不需要可视化界面。