2016年，米哈游掏空了自己的家庭all in游戏项目《原神》，走上了转型之路2020年，全开放冒险游戏《原神》的问世引发了游戏圈的现象级热议精致的制作和3A级别的画质让游戏在2021年达到了56国之首

作为一款养成类游戏，原神游戏本身还是比较暖肝的，核心玩法也比较单一，后期版本更新比较慢游戏时间长了，有些玩家难免会觉得无聊，但又觉得抛弃了很可惜

跟着文字走，声音跟原神玩。

闲着无聊的时候，总有一些老板的脑回路不一样，思考了整整一个小时不是，薛定谔的彩虹猫，b站硬核全生活区的up主，通过AI算法实现了原神的语音控制，直接把玩家变成了神奇宝贝训练师，建议游戏改名为《神奇宝贝:原神》

具体战斗效果，我们来看看下面的动画。

伴随着360秒打败8个怪物的提示，4个火黏液来势汹汹。

原教练机冷静地喊出用战术三攻击中间的火黏液，画面中出现了一个像战斗机一样的绿色跟踪框。

李跑向史莱姆，然后将时钟从发射技能元素战地心切换到同时打出aoe伤害和护盾随后凌华再次登场，凭借一个魔法招式的绝招，他打出了数吨的元素伤害，在黏液的爆炸中结束了战斗

当怪物来到前面时，执行第一个策略迪奥使用猫爪冰冰技能以迅雷速度打出伤害，同时移动到后方调整位置和护盾然后，神中的凌华登场，做出了欺负她身体的举动，打出了连击伤害

但是在演示的过程中，我们也发现战术开始后的角色流畅顺滑不过战术还没开始，就有点平淡，来自AI的善良

那么，这种用嘴玩游戏，跟着文字走，帮玩家练出三寸不烂之舌的AI是怎么做出来的呢。

创建智能教学系统的三个人工智能工具

看到这里，有些朋友可能会说:说得好，把这些字母拆开我都认识，放在一起我就不认识了。

别担心，朋友们接下来，我们来学习一下这三个工具的用法

以前我们要操作游戏角色进行近身格斗操作逻辑如下:1 .看到敌人的目标2.锁定目标并移动到目标角色3.发动攻击

步骤1:语音命令识别

为了让设备理解我们的指令，我们需要一个翻译把我们说的话翻译成机器能理解的计算机语言WeNet是与机器对话的翻译

使用WeNet识别玩原神的语音命令需要准备训练数据，提取可选cmvn特征，生成tag token字典，准备WeNet数据格式，训练神经网络，用训练好的模型识别wav文件，导出模型等六个步骤。

说白了，上面的事情就是准备一些音频文件，在这些音频文件里标注我说了什么，然后让机器学习识别这些音频文件，生成标签经过上述训练后，当我们对机器说话时，WeNet可以把我们的话翻译成机器能听懂的话

第二步:分析语音命令的特征。

在WeNet的协助下，我们实现了我们所说的内容，以便机器能够理解我们所说的内容

X—VLM是基于视觉语言模型的多粒度模型，由图像编码器，文本编码器和跨模态编码器组成跨模态编码器关注视觉特征和语言特征之间的跨模态，以学习视觉语言对齐那么这个工具是如何实现物体识别的呢

怎么看文章变成了阅读理解，再来一个亿眼。

你要做的就是把这些组合和单词的对应关系告诉机器，然后让机器去学习。

这次手术后，边肖也感到头晕这东西有点像我们的眼睛当我看到一个书包的时候，虽然我没见过这个款式，但是根据特征提取，我知道这个东西就是书包，X—VLM就是这样一个工具

第三步:追踪图像。

在使用了X—VLM和WeNet之后，我们成功地让设备明白了我们在说什么接下来要做的就是实现跟踪目标听起来是不是很酷

相信很多朋友都猜到了，最后剩下的STARK就是用来实现图像追踪功能的AI工具。

Stark是最新的SOTA跟踪模型，它使用transformer来结合空间信息和时域信息。

在获得目标信息后，该工具将通过预测左上和右下的热图，在每帧图像中获得一个最优的包围盒，它可以直接在GPU上运行。

简单来说，我们通过X—VLM确定要跟踪的目标后，斯塔克就像钢铁侠托尼·斯塔克的跟踪系统一样，会记录物体在静态和动态下的样子，经过处理分析后跟踪动态物体。

所以，至此，我们已经基本了解了原神三声弹技术的原理角色如何移动来执行战术

代码还解释了为什么角色在执行战术后会一直发呆，因为没有后续的指令和输入。

当然，如果朋友想玩自己的招数，也可以直接更改这个操作代码，实现不同的阵容和技能释放组合，然后记住自己更改了哪套战术。

当然，如果你想完成游戏，和第二个比较一下，像下面这样:

看你的了，Shinrika。

当你接近敌人时，使用许多步骤。

谢谢你，凌华，回来吧。

边肖还可以帮助你找出哪些代码需要修改这就好比把切换角色对应的快捷键和技能键换成了操作码，但同时你还要给WeNet录一段语音，让它学习，知道你在说什么

当然，还有视频中神仙大佬们给出的其他建议比如加入SLAM工具实现360°方位探测，让角色在游戏中追踪不同方位的敌人，自行地图炮属于是

你可以用眼神和手势玩，AI玩的是游戏姿势和这些。

除了ai语音玩游戏，b站还有很多大佬折腾出其他游戏玩法姿势。

Jack—Cui直接做了自己的ai，用一个普通的摄像头和一台电脑玩街霸。

b站up的站长童继浩哥哥演示过，用WebGazer.js实现了用眼睛操纵鼠标，用眼睛玩游戏直接就是眼杀。

通过Mediapipe从远处用手势玩游戏。感觉像钢铁侠的控制面板！

AI技术在不同的情况下有不同的应用声控，眼控等技术的直接受益者是一些生活中有生理缺陷的人

此前，一位高位截肢的退役消防员哥哥在网上分享了他用手机用嘴玩原神的视频等AI语音游戏成熟了，他就可以通过语音更轻松的在原神的世界里玩了