Fay:开源数字人框架,带货、AI助理、agent全套方案免费用
项目简介
Fay是一个开源的数字人框架,整合了语言模型和数字人。它提供零售、助理和agent版本,用于各种应用,如虚拟购物指南、广播员、助理、服务员、教师以及基于语音或文本的移动助手。
带货版
·Fay控制器用途

·Fay控制器核心逻辑

注:
1、去API及会话管理功能将在下一版本发布;
2、以上每个模块可轻易替换成自家核心产品。
3、本地nlp(rasa+chatglm)的替换方法:
①、安装启动chatglm(github) ②、安装rasa 包:rasa、rasa-sdk ③、进入test/rasa目录启动actions:rasa run actions ④、启动rasa api server:rasa run –enable-api -p 5006 ⑤、fay_core.py 引入nlp_rasa.py
·使用说明
①抖音虚拟主播:启动bin/Release_2.85/2.85.exe + fay控制器(抖音输入源开启)+ 数字人 + 抖音伴侣(测试时直接通过浏览器打开别人的直播间);
②现场推销货:fay控制器(填写商品信息)+ 数字人;
③商品导购:fay控制器(麦克风输入源开启、填写商品信息、填写商品Q&A)+ 数字人。
AI助理版

使用说明
①语音助理:Fay(麦克风输入源开启);
②远程语音助理:Fay + 远程设备接入;
③数字人互动:Fay(麦克风输入源开启、填写性格Q&A)+ 数字人;
Agent
“agent”即代理,它能够代替你完成决策规划并执行,这一切都依赖目前最强的大语言模型的ReAct能力。不同于助理版的一问一答,agent版的Fay可以实现自动代理执行的同时,在它认为必要时候会触发数字人或者直接的声音输出。

项目链接 https://github.com/xszyou/Fay
本篇文章来源于微信公众号: 开源AI项目落地