- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
1. 前言
本人是《完蛋!我被美女包围了!》、《千恋万花》、《底特律:变人》这种互动剧情类游戏的忠实爱好者,上个月看到flipbook发布,他们用多模态模型实现的全新UI交互形态让我很受震撼,于是萌生了做这个项目的想法。
项目名叫InfiPlot,有无穷多种剧情、无限长度剧情的意思。佬们可以直接访问infiplot.com开始游玩。(目前内测期间,是可以免费玩的。API成本就当作从L站学知识的回报吧,我是真的很希望有更多人可以体验到这种新的交互模式)
开源地址:
github.com
GitHub - zonghaoyuan/infiplot: InfiPlot is the world's first interactive plot...
InfiPlot is the world's first interactive plot game that AI generates all text and images in real-time. InfiPlot是全球首个由 AI 实时生成全部图文内容的交互式剧情游戏
在线体验:
InfiPlot — AI 实时交互剧情游戏
InfiPlot 是一款用 AI 实时生成图片、语音与剧情分支的交互式剧情游戏 Demo。
项目目前部署在vercel上,如果佬友所在地区访问体验不佳的话,可以尝试打开科学上网。
支持vercel/cloudflare一键部署,cf 部署需要 Workers Paid Plan,推荐用vercel一键部署:
2. 项目介绍
2.1 设计思路
InfiPlot参考了互动剧情游戏的设计,让用户从2-3个选项中选择一个选项来推动剧情的发展。
为了实现这个交互设计,我们让每个故事以一连串场景的形式展开,每个场景由一张ai绘制的背景图和一个情节树组成,情节树中包含了这个场景内的剧情分支、人物对话和交互选项。
自定义交互输入目前在roadmap中,我们会尽快实现
除了点击选项外,你还可以点击场景图中的任何位置触发交互。然后InfiPlot会根据识别到的点击位置,决定要如何回应,比如根据点击位置推进到之前不存在的剧情分支。
这个功能参考了flipbook,未来将会作为InfiPlot最重要的功能来开发
2.2 工作原理
我们用了multi-agent架构来提升剧情连贯性、角色一致性和整体的剧情质量。我们将agent分为架构师、编剧、角色设计师、场景布置师、画家五个职能,让他们之间相互配合来编排和交付前端显示的内容。
他们都学习了对应行业的专业知识,比如编剧学习了电影行业的知识,能够设计出更加跌宕起伏、有吸引力的情节。
multi-agent架构图:
2.3 一些有趣的技术细节
a. 关于tts配音
我们目前使用了mimo-v2.5-tts系列模型来配音,从而实现了基于每个角色不同的人设来设计音色,而且可以根据剧情的变化设计声音的情绪。
实际体验中,可爱妹子会用很kawaii的声音,班主任则会是那种听起来就很沉稳靠谱的音色。正常情况下是正常说话,但是如果你把角色逼急了,她/他可能会很生气地冲你大叫。当然,如果你成功攻略了某个角色,ta也可能会变得更加娇羞。没有任何音色或情绪是预先设定好的。
加上tts模型是在项目最开始时没有预想到的。只是因为我们讨论时考虑到视觉小说都会为角色配音,如果InfiPlot是静音的,沉浸感会大打折扣。
最开始我们选择了edge-tts模型(是的我们真的用过这个模型),发出的声音很鬼畜。后来换到minimax的tts模型,充了几十块钱跑了几次测试就花完了,后来才发现逆天的minimax设计一次音色要3块钱,怎么不去抢。前天minimax m3发布的时候,本来期待值拉满,结果又拉了,难评啊难评。
最终我们发现大善人mimo的tts模型是免费的,而且质量还挺高,于是就实现了上面所说的定制音色和情绪的功能,体验还不错。(不过由于mimo tts模型有rpm限制,我们后期可能会增加前端自定义mimo apikey的功能,也会同时找mimo客服申请更高的rpm限额,尽可能给大家跟好的游玩体验)
b. 关于生图模型的选择
毫无疑问,生图模型是InfiPlot的技术难度最大的部分。我们需要延迟极低,同时成本也极低,质量还可靠的模型。
此处应该摆出一张三色图:
然而还真让我们找到了这种模型:z-image-turbo和flux.2 9b,在runware.ai上的价格都极低。而且最快甚至可以在0.5s内出图!
当然0.5s是理论速度,实测runware上flux.2 9b的出图时间在2s内。
由于z-image-turbo不支持上传多张参考图,就无法实现角色和场景的一致性,因此最终生图模型选用了flux.2 9b,单图成本$0.00078。
不过因为参数量较小,目前仍然会出现角色长出三只手或者有重影之类的问题,暂时还没找到特别好的优化办法,佬友们如果有办法的话可以支个招。
2.4 游玩体验
坦率地讲,目前InfiPlot的游玩体验只能达到60分(满分100分),之所以现在就把它发出来,一方面是想要收集更多的用户反馈,另一方面也是因为我们的资源有限,希望能得到更多的关注和更多成员的加入。
我会建议佬们现阶段游玩时,优先选择更偏向红果短剧而非豆瓣top250的剧情设定。这是因为InfiPlot目前生成内容的质量还很难和优质的导演、编剧的创作质量竞争,但是对于一些无脑情节,玩起来确实还是蛮爽的。
比如我就会玩一些,“穿越回研一,发表nature和n篇顶会,3年拿到博士学位,评上杰青,建立百人课题组”之类的剧情。只能说,当天才少年的感觉真tm爽啊
当然,我们的最终目标一定是实现比肩优质剧情小说、真人互动游戏的内容质量和游玩体验。佬友们可以期待一下(如果进展顺利的话)
目前InfiPlot还只支持生成基于图片的场景描绘,但用图生视频模型实现动态场景图已经在roadmap里了。
3. 游戏截图
下面放一些我们测试过程中截取的比较好看的游戏截图(附剧情概要):
【黄昏归途】
他总在黄昏时分,于空无一人的车站遇见少女。她带他穿越时间的缝隙,回到故乡被毁灭前的最后一天。每一次循环,他都必须在拯救她与拯救世界之间做出选择。
【社团存亡日】
濒临废部的动画社,唯一社员是总在睡觉的怪人。新来的转校生社长发现,只要完成怪人的“日常委托”,社员就会增加一人,而这些人,都来自被遗忘的动画世界。
【花魁的刀】
她是吉原最负盛名的花魁,舞姿倾城,面具下的真实身份却是令江户幕府闻风丧胆的传奇忍者。当幕府密探踏入花街,刀光与花影将同绽。
下面是一些我们测试游玩体验的过程中觉得质量很高的截图,剧情概要在测试时没存就不放了
一行小字
:
上面这些截图并不全是用flux.2 9b生成的,佬友们如果觉得在线demo里的生图质量不够满意的话,可以自部署之后换更高质量的生图模型。
如果佬友们感兴趣,我们之后也可以加上预制游戏的功能,这样就可以用时间换质量,在不牺牲游玩体验的前提下享受最佳的画面表现。
我们未来可能会用InfiPlot制作一些精品游戏发布到steam,佬们可以期待一下。
4. 写在最后,关于团队
我们团队的成员来自清华大学、兰州大学、西安交大等高校。目前团队还在招募新成员,如果佬友们感兴趣加入的话,欢迎论坛私信或者邮件联系我(最好带上简单的自我介绍)
我们几个人目前都是兼职开发InfiPlot,而且大部分时候是远程合作(甚至有在澳洲的同学),所以时间和地点上不会太有压力。
遵守社区规定,这里就不放内测用户群的二维码了,感兴趣的佬可以去网站或者github项目页找到qq群二维码和群号,欢迎来和我们聊天!
最后最后,求回复求star(应该不违反社区规定吧)
谢谢佬友们,爱你们![]()
![]()
![]()
11 个帖子 - 4 位参与者