对后端进行集成
后端同学已经把prompt和数据库写好了,使用git合并代码
主要几个注意点
1.gitignore要把前端UE忽略掉,不然会覆盖掉前端项目
2.不要把大模型API-Key上传到git上
前端编写语音输入功能
使用阿里云百炼大模型API,读取音频。
数据流:前端AudioCapture将音频存到本地,后端读取本地文件,调用大模型,并使用FastAPI将AI的回复结果输出到UE前端
(注:另一位前端同学使用离线大模型进行读取,之后进行性能测试,来决定使用哪种方案)
后续需要推进的工作
1.UI设计:为聊天窗口、SEGUE评分量表制作UI页面
2.将场景、第一位数字人做好
3.文字转语音功能的实现
4.降低延迟