网易伏羲李仁杰：通往次世代的道路有很多，但“人工智能”一定是其中之一

在近日举行的北京国际游戏创新大会（BIGC 2021）上，来自网易伏羲实验室的负责人李仁杰带来了「人工智能点亮游戏未来」的主题分享，从虚拟角色的形象、语言、动作、互动、开发效率和玩家保护6个方面，介绍了网易伏羲在人工智能与游戏结合上的探索以及具体落地的案例。

以下是手游那点事整理的演讲实录：

大家好，我叫李仁杰，来自网易伏羲。首先非常感谢大会的邀请，今天我给大家分享的是网易伏羲在过去几年当中，在人工智能和游戏的结合中做的一些探索和落地的工作，权当是抛砖引玉，以后大家可以在人工智能和游戏结合的道路上一起前进。

相信大家对网易都已经非常的了解，不知道在座有多少人也了解网易伏羲呢？如果大家不是很了解的话，我先给大家做一个简单的介绍。

网易作为全国甚至全球领先的游戏开发者，我们一直都会在思考如何为玩家带来更好地的游戏体验，以及思考在游戏的开发过程，如何进入下一个世代的游戏开发。

下一个世代的游戏可能有非常多的选择，比如说我们想实现西部世界、头号玩家里面描绘的世界，或者今年提出的metaverse概念，有非常多的道路可以通向下个世代，但是人工智能也一定是其中之一。

所以网易大概在4年前成立了“伏羲人工智能实验室”，也就是现在的网易伏羲。我们的使命和愿景，就是通过人工智能技术在游戏中的研究和应用，全面释放创作者的生产力和更新玩家的体验，并且将这种沉浸式交互带到各个领域，丰富每一个人的精神世界。

我们在成立初期的时候一共有六个方向，其中有五个人工智能的方向和一个..的方向。五个人工智能方向分别是强化学习、自然语言处理、用户画像、图像动画和虚拟人，还有一个支撑所有五个方向的大数据和云计算..。

今天我将会按照成立实验室初期的思考，从游戏玩家以及游戏开发者的角度上，看看人工智能给游戏带来了什么。

我们首先想的是，借助用人工智能，可以让游戏里面的角色变得更加逼真，其中第一个大家想到的就是形象，希望这个角色和人类，或者和玩家更加相似。

其中一个给我们很多启发的工作，就是NVIDIA在2018年的时候，他们是用GAN（Generative Adversarial Network）做了8个假的人脸，而且都是2D图，并不是3D建模的。这8张人脸全部都是人工智能通过GAN自己生成的，但是已经可以以假乱真了。

当时NVIDIA发布之后，我们都非常的兴奋，大家都在想我们是不是可以把类似的技术应用到我们的游戏中去。

在座既然大家都来参加这个会，可能很多都是游戏玩家，或多或少都会在游戏里扮演其中的角色。但是在最早的时候，你并不能真正“创造”一个角色。虽然可以选择自己的种族、性别，或者具体一点有7种眉毛，8种嘴巴，然后6种鼻子的造型组合，但实际上这也就是些combination的组合，几乎不太可能组合出一个完全“自定义”的形象。

随着技术的进步，包括现在很多手游，都可以在角色的面部高达200多位的参数上去任意调节角色的相貌。只要你有足够的想象力和创造力，你几乎可以创造出任何的角色，甚至是还原出你自己或者是你喜欢的人。

但是这也催生出另外一个问题：并不是所有的人都会有这样的艺术细胞。比如说我，我再怎么去捏脸，都没有办法捏得像我自己。于是就催生出了一种职业捏脸师。大家可以在淘宝上搜一下，50块钱一次。你把你的账号给他，他可以帮你在游戏里面帮你捏一个造型。

然后我们想，我们是不是可以通过人工智能技术，让玩家的体验得到提升呢？我们希望通过人工智能技术，让玩家只上传一张自己的照片，就可以在游戏里面生成一张既形似，又符合游戏的这种美术风格的3D造型。

大家可以看到在上面这一排，是我们在《逆水寒》里面落地的智能捏脸。它走的是一个古风的这种形象。左下角是《天谕》，它走的是一个稍微偏魔幻或者时尚的，然后右下角是卡通，是一个还没有发布的游戏。

我们其实在智能捏脸上也做了非常多的打磨，在探索过程中，我们也在思考，是要做得更加形似、还是要更满足玩家的需求？后来我们也发现，玩家实际上并不只是要满足于和自己特别像，还希望不仅像自己，还要超越自己，让自己的3D形象变得更加漂亮。

所以除了“脸”之外，我们觉得其实还有一项非常重要的就是发型。一个人的发型，甚至可以大幅影响你整个人的形象。我这里拿了哪吒做这样一个举例。我们的系统现在也正在做发型重建的工作，但目前还没有落地。

其实发型重建比人脸重建更加复杂，因为我们希望它既然落地到游戏里面，需要模型足够的小，而且足够的快速。我们的目标是能够做到只需要抓住11个关键点，就可以通过你的照片，来构建你任意形状、任意发质的这样的一个发型。

刚才我们说到了形象的部分，然后当形象越来越像你的时候，我们还希望说话也能更加的像。说到NLP的话大家可能都不陌生，比如说大家手机里面都有助手Siri或者是小爱同学，或者很多智能音箱。

但是大家可能都会发现，其实这些所谓的智能助手交互并没有特别的丰富。当然这很大一部分是受到现在NLP的这样一个限制，还有更多的一部分是它原本的定位就不是真人，你会感觉它没有性格、没有个性化，它只是帮你完成一部分的任务。

所以在做游戏和人工智能结合的时候，我们一开始先是走了一些比较通用性的道路，比如说通过NLP的方法，让游戏角色有很多跟文字、语言相关的技能。比如说AI写诗、AI写词，写歌词，还可以写藏头诗等等。

完成这些之后，我们希望让AI可以有更多的性格。就像你周围也有各种各样不同性格的人，有的人是风趣幽默的，有的人可能是高冷的，有的人可能是傲娇的，他们说话的方式和遣词用句都非常不一样。

于是我们第一次尝试、其实也是全球第一次把NLP和游戏结合起来，是在《倩女幽魂》的手游中，推出了一个叫智能小孩的玩法。因为《倩女幽魂》手游里面是可以结婚的，结了婚之后还可以生小孩。我们觉得玩家跟小孩之间的互动应该是非常有代入感、有共情的，而不只是在游戏里面简单点一点，所以我们觉得这个小孩是需要跟玩家交流。

当时设计这个小孩的时候，他是分1岁、5岁、12岁三个阶段，他1岁的时候只会牙牙学语，你跟他说什么，他以咿咿呀呀的方式去回复给你；

然后等他5岁的时候，他就已经可以和你自由的闲聊了，甚至可以给你讲一些笑话；

等到他12岁的时候，他就已经饱读中国的四书五经，以及游戏中全部历史，可以回答你任何关于中国历史以及游戏中间的问题，而且还可以帮你写诗，做一些其他特定的技能。根据你如何培养这个小孩，他最后会成长为不同的性格、和你说话的方式也是完全不一样的。

实际上透过NLP里面的这种闲聊技能，后面我们还在想是不是可以在文字方面做更多一些突破，让他可以用文字去生成剧情，做一些文字内容生成的东西。

这是去年的高考的作文题，我们把这个题给了AI，让AI自己写了一篇作文。大家猛一看可能觉得还真是像模像样的。虽然当中其实会有一些错误，比如他第二段说法国的科学家马丁·路德·金，实际上他并不是法国的科学家。

另外他还自己编了一条名人名言，说的还像模像样的，但实际上也并没有这句名人名言，而且这句话也不是马丁·路德·金说的，但这充分证明了AI的创造能力。所以根据 NLP的这种生成，我们也在想是不是可以探索AI和游戏结合，产生一些新的玩法。

于是去年的时候我们在《遇见逆水寒》这款手游里面，和游戏的制作人一起研究了一个叫傀儡戏的办法，它就是根据 NLP里面这种内容创意生成的。因为《遇见逆水寒》它是一款古风恋爱游戏，所以我们希望可以有多个玩家一起参与，在游戏里面傀儡戏是每周二和周四晚上都会开启，开始的时候会有五个角色进入一个房间。

一开始会有一个简单的描述，比如说是男主角和女主角在哪里相遇了，会告诉你的目标是什么，会给一开始的一幕，你可以扮演男主角或者扮演女主角，扮演一个路人、或者是抬轿的轿夫或者是丫鬟等都可以。

然后根据上面的设定，玩家可以自己编出一段剧情，比如男主角说我们一起去湖边游玩了，然后AI就会根据你的这段对话自动编辑剧情。之后下一个人，就会根据AI编的剧情再继续往下去，相当于人和AI一起不停的编剧情。

所以每次玩傀儡戏它呈现的内容都是完全不一样的，一亿人去玩它传出来的也是一亿种不同的结果。一直到最后你的哪一句话触发到让AI编的剧情满足了最开始的目标，玩家就获胜了。这是我们第一次在游戏中，尝试做出以AI为主导的新玩法，现在我们也还在继续探索中。

在它会说话了之后，我们还在想，AI说起话来的面部表情也应该更像真人。现在也有很多技术可以实现，包括电影的CG，就是需要一个中之人穿一身紧身服，上面还有很多点，面前也架了一个非常大的摄像头，然后把表情和身体动作全部都捕捉起来，再通过迁移的方式让动画人物动起来，这是最传统的。

现在通过人工智能的技术，我们不需要那么复杂的设备，只需要一个摄像头，它就可以自动捕捉你的面部表情。但是我们想想的是：是不是可以绕过这一步？就是只把文字或者语音给到我们的角色，它就可以自动匹配对应的表情和肢体动作？

这里是我们一个两年前的demo，现在也还在不停的加强，不过大家还是可以看一下，左边是算法合成的效果，右边是我们让人脸来动真实的效果。当然仔细看的话还是能看出一些的区别，但是如果我把上面两行字挡住，不告诉你哪个是算法合成的，哪个是真实动捕的，可能就不是特别能辨别出来。

我们用AI方法去合成你的形象，让你能说话之后，第三步就是希望这个角色还可以动起来。

就像我之前说的，现在有一个非常流行的方式，就是动作迁移，就是通过摄像头或者是一段游戏里或者一段任何地方的视频就好了，AI可以自动去分析这段视频，找到他骨骼的关键点，把这段视频里面的动作迁移到游戏的角色中去。

这样就非常明显地提高了游戏开发的效率。因为之前可能我们的艺术家或者TD，他们在做这样一段视频的时候，每个东西都需要去手动反复修正，现在只要在网上选一段想要的视频，比如说舞蹈、甚至是你自己去表演一个动作，它就可以自己迁移过去了。

刚才的两个demo也展示了用语音或者文字就可以自动生成面部表情，我们想，既然可以生成面部表情，就应该还可以去生成身体的动作，于是我们就把之前的那些表情和动作全部合成在一起。

这个就是我们帮网易有道还有网易新闻做的一个虚拟偶像，他是一个二次元主播。这段视频在b站上也有，因为他每个星期都会在b站上去更新他的视频。

其实以前做这个的话会非常复杂，就是要人在后面录动作、做表情，再播报本月新番动漫的介绍。但是有了我们这个基础之后，你一天更很多都可以，你要做的只是给他一段语音就可以了，只要有语音，其他所有的动作表情都是AI自动合成的。

这项技术其实我们觉得它不仅可以在用在游戏里，包括虚拟主播，直播带货或者虚拟偶像，其实都可以用到这个技术。

所以我们正在把它做成一个标准化的产品，也就是说做成一个..或者SDK，只要导入模型，然后在上面然后输入文字或者语音，它就可以自动的去生成你需要的动作和表情。如果你觉得它生成的效果还不是那么满意，你还可以手动去调整。所以我们觉得这样的一个工具不仅对游戏，甚至对很多文娱行业都会非常有用。

刚才说到有了形象、会说话、又能动起来之后，那下一个就是让他的行为也变得更加拟真，就像他变得开始有智能。也就是为什么讲到游戏和AI结合的时候，大家第一个想到的都是强化学习，怎么让游戏人物他的行为变得更加自然。

其实强化学习也是点燃这一波人工智能浪潮的一个爆点，就是来自于围棋领域阿尔法狗与人类的大战。

这个是我们在游戏中做的一些实际的落地。这个是《流星群侠传》里的1V1竞技场，一开始这个AI他可能什么都不会，他只会随机的用很多招，然后随着不停的学习，可能第二天它就会开始用一些连招，第三天它就知道你怎么破我的连招，那它就开始会用一些欺骗的战术。比如它会先把你的防御招骗掉之后再使用大招，基本上就是一个人类玩家的平均水平。

我们还在《潮人篮球》中的3V3玩法落地了强化学习功能。实际上这里的3V3是用了四个智能体，除了3个篮球运动员外，还有一个教练的角色，相当于指挥官，指挥每个AI去怎么操作。我们在《逆水寒》以及很多网易的游戏里面，其实都已经实际落地了强化学习，我们的目的就是希望能够更好地提高玩家的体验。

另外AI其实不仅可以提高玩家的体验，还可以提高游戏的开发效率。比如说这里要展示的是一段人物转圈，然后坐下来弹琴的这样一个动作。实际上它展示了让动画角色动起来的一个过程。它分两步，第一步是它的骨骼要动起来，然后第二步是让随着骨骼的贴图动起来，我们说的“蒙皮”就是让贴图随着骨骼动起来的这样一个过程。

这种做法非常复杂，所以它的门槛也很高，想做好实际上需要很长时间的训练，1~2年才能变成一个资深的艺术或者TD。但是当进入这个门槛之后，你可能会觉得这项工作有点枯燥，因为每天做的都是同样的事情，这样高重复、难度又大的工作，让人工智能来做最合适不过了。

所以之前大家能看到，比如说一个20秒的视频，让人工来做的话，大概要两个小时的时间，但是我让人工智能来学习去做，可能只要三分钟就可以把这个视频做出来了。

另外我们还在做的一项事情是自动化测试。因为参与过游戏开发的同学都知道，游戏的测试实际上是非常繁重，任务量巨大的工作。尤其是像MMORPG这种有非常多任务的，可能每个月都会有一个补丁，甚至每个星期都会有一个patch。然后你要把本体几乎所有的东西，包括它的任务系统全部测一遍。

很多情况下，我们是没有办法支撑如此庞大的这样一个测试团队。所以基本上现在很多游戏也就只是把一些关键的点，让主线任务不要出差错。然后支线的bug，可能大家就没有办法了，因为人力实在做不到。我们想的用模仿学习以及强化学习办法，可以不可让人工智能自己去把所有的任务跑一遍，然后找到甚至人都不能发现的bug，因为它的速度确实比人脑快很多。

在实际尝试的过程中，以前人工测试只能覆盖到10%~20%的这样一个游戏的任务测试，然后我们的人工智能可以覆盖到100%，而且还可以找到人工测试找不到的bug。

后面一个是可能现在大家非常关注的，AI可以更好地保护我们的玩家，包括未成年人，甚至包括我们的成年人，比如说反外挂。

外挂是杀死游戏最容易的一个办法，尤其是像FPS这种非常强的竞技游戏。大家如果玩过FPS，在游戏中一定碰到过穿墙挂、隐身挂、跟踪弹之类的，会极大的消灭掉你对游戏的热情以及你的游戏体验。

所以我们根据各种不同的外挂开发出各种不同的识别方法，比如说打金外挂，可能有专门对付打金的，比如说强化学习的方法，然后 FPS，我们可以用解读的方法，有时候甚至利用强化学习的方法。

另外还有一块就是智能匹配，现在有非常多的对战类PVP游戏。虽然PVP对战的两方都希望自己可以赢，但是这一局只能有一方赢。

但实际上并不是说你输了你的体验就不好，就像大家如果踢过足球或者是打乒乓球之类的，其实一场好对战的游戏体验，带来的结果是一个你来我往的，互相对抗的过程，棋逢对手的感觉实际上才是最开心的。

所以我们可以做到，比如说之前大家要爬分，有天梯系统需要打个大概平均70~80场，才能真正的去定位到我们该在的段位。但现在可以通过抓取游戏中非常详细的行为，通过一场到两场，我就完全可以知道你大概是有几斤几两，那么下一次会匹配到和你半斤八两的队手，而且还可以根据你队友的情况，把你放到最合适的队伍，以及确保两边会是一个势均力敌的情况。

刚才我大概简略地介绍了一下我们在游戏的AI人物形象、语言动作、互动，还有游戏开发效率，以及如何保护玩家中做了一些探索。我们后面还会一直持续的在这些游戏上面去生根，做更多的有意思的创新，希望下次明年我们可以有新东西来跟大家介绍，谢谢。

—— 点击下方公众号名片，即刻关注我们 ——

———————  End  ———————

行业交流 /行业爆料 / 商务合作：

请加微信 cxx2744 或 yukochan97

 加入“手游那点事”微信交流群：

请加群主微信 curab_b 或 yukochan97

内容投稿：

请发邮箱 helinyu@sykong.com