如何让 NPC 更像真人?

杨敬文 、姜允执、李昭 

IEG研发效能部 游戏AI研究中心

为什么游戏需要AI?

⾃电⼦游戏诞⽣之始，为了能够为玩家打造⼀个有⽣命⼒的虚拟的世界，游戏中往往都会添加诸多的⾮玩家⻆⾊（Non-Player Character, NPC）。他们最早可以追溯到⻰与地下城的桌游（Dungeons Dragons）[1]，在这类桌游中通常需要⼀个游戏主持⼈来扮演⾮玩家的⻆⾊提供给玩家决策的选择和下⼀步的指引。他起到了串联起玩家与游戏世界的作⽤，甚⾄可以说整个游戏的进⾏节奏都由他来掌控。

⽽到了电⼦游戏中，这种⾮玩家的⻆⾊的职责就更加丰富了。他们或许是任务的发布者，或是关键剧情的⼈物，或是玩家要挑战的对⼿，抑或仅仅是玩家擦肩⽽过的路⼈。但是他们串联起玩家与游戏世界的作⽤依然没有变。如果没有他们，游戏设计者是很难构建出⼀个充盈丰富的虚拟世界的。

很多经典的NPC由于背负着丰富的故事剧情，成为⼀代玩家⼼中宝贵的回忆。⽐如⼤家熟知的《超级⻢⾥奥》中的碧琪公主（Princess Peach），就是玩家操控的⻢⾥奥⼀直去努⼒营救的对象。尽管碧琪公主在游戏中更像⼀个花瓶NPC，与主⻆的交互并不多。但是正是由于她的存在，赋予了《超级⻢⾥奥》整个游戏的原始驱动⼒。

更有甚者，诸多游戏NPC的原型就是取材于我们的真实⽣活。⽐如《魔兽世界》中的暗夜精灵⼥猎⼈凯莉达克（Caylee Dak），她的原型就取材于现实⽣活中的⼀个猎⼈玩家，由于她经常在游戏⾥帮助别⼈⽽备受⼴⼤玩家欢迎。后来她因⽩⾎病不幸逝世后， 游戏中的公会专⻔为她举办了盛⼤的虚拟葬礼以纪念她的乐观友善。葬礼上数百名玩家集结在暴⻛城的英雄⾕，⼀路游⾏⾄暴⻛城的花园区，并按照美式习俗鸣放了21响礼炮。《魔兽世界》官⽅得知后便专⻔为她设计了这个NPC和相关的剧情任务，为游戏增添了不少温度。

NPC可以说是游戏中不可或缺的⼀部分。是他们点亮了整个游戏虚拟世界，⼀⽅⾯让玩家更好地融⼊游戏，另⼀⽅⾯传达了游戏的态度。但是随着游戏创作者的野⼼越来越⼤，玩家对游戏的要求也越来越⾼，单纯只会读剧本的NPC已经很难满⾜构建⼀个优秀虚拟世界的要求。这些NPC的⾏为必须变得更加丰富⼀些，能处理的问题必须更复杂⼀些才能让这个虚拟世界变得更有趣，更吸引玩家。其实早在1950年，游戏AI的概念就被引⼊到了电⼦游戏中[2]，就是为了⽤⼈⼯智能的技术来设计出更智能的NPC，因此游戏AI也常常成为了游戏NPC的⼀种代称。

但是传统的游戏AI制作技术存在着诸多缺陷，使得这些游戏中的⼈⼯智能⼀直饱受⼈⼯“智障”的骂名，这不仅极⼤地影响了游戏的体验，也制约了游戏开发者设计游戏的思路。如何能够制作出优秀的游戏AI（游戏NPC）⽆疑是游戏开发者苦苦探求的问题。

为什么现在的AI是智障？

为什么现在的AI很多时候总是看上去像个智障呢？其实背后的主要原因是驱动AI的模型太简单了。⽬前主流的游戏AI都是基于⾏为树这样的规则系统实现的，它的复杂度有限，并且规律易寻。反观⼈类⼤脑⾥这么多神经元错综复杂的交汇着，⾄今科学家们也没完全解开⼤脑的秘密。

我们以经典的《吃⾖⼈》游戏为例来介绍⼀下如何⽤⼀个规则系统实现游戏AI。吃⾖⼈游戏的玩法如图所示，就是要控制吃⾖⼈尽可能多地吃掉散布在迷宫各处的⾖⼦。但是其中的难点在于，会有能够伤害吃⾖⼈的幽灵在其中游荡，吃⾖⼈为了得到更多的⾖⼦不得不躲避幽灵的进攻。

那么如果要⽤规则系统设计⼀个吃⾖⼈的AI，该怎么做呢？⾸先，我们需要考虑吃⾖⼈可能会遭遇哪些状态？⽽当遭遇这些状态后，吃⾖⼈⼜可以采取怎样的操作？不同的操作⼜可以把吃⾖⼈引⼊怎样的状态中去？当把这些问题答案罗列出来之后，我们就能够组织出吃⾖⼈在不同状态下应该如何决策的规则系统，如下图所示

在“寻找⾖⼦”状态下，可以设置让吃⾖⼈随机游⾛，如果看到⾖⼦就去吃掉它的⾏为。⽽当发现幽灵正在附近的时候，就进⼊到“躲避幽灵”状态，这时可以将吃⾖⼈的⾏为设置为远离幽灵，⽽⽆视⾖⼦的存在。当幽灵脱离了之后，状态⼜可以转换到“寻找⾖⼦”。如果吃⾖⼈很幸运地吃到了⼀颗能量药丸，那么他就获得了击败幽灵的能⼒，此时状态可以转换为“追击幽灵”......

从上⾯的吃⾖⼈的例⼦中我们可以看出，基于规则的AI系统是有明显的缺陷的。⾸先，如果游戏场景⽐较复杂或者说对智能体的⾏为和能⼒有⽐较⾼的要求，会有⾮常复杂繁多的状态。分解出这些状态、编写状态中的⾏为、设计状态之间的转移条件⽆疑会带来巨⼤的游戏开发成本。但是游戏开发的成本是有限的，开发⼈员的精⼒也是有限的。其次，随着游戏的设计越来越复杂，分解这些状态、编写规则系统也已经变得越来越不太可能了，更别说开发⼀个栩栩如⽣的规则AI系统了。但是，最重要的⼀点是当⼈类与这些AI进⾏交互的时候，可能会产⽣很多意料之外的状态，⽽这些规则系统是完全不具备泛化性的，对于这种意外状态只能表现出智障⾏为。

为什么游戏AI需要像⼈？

随着游戏这么多年的发展，游戏的形态和玩法都变得越来越丰富。但是我们可以发现，在那些特别吸引⼈的游戏中，有两种类型的游戏是特别突出的。

⼀种是构建了⼀个引⼈⼊胜的虚拟世界，⾥⾯的⼈和事是那么真实，以⾄于让我们深深沉浸其中。⽐如在《荒野⼤镖客》中，当你漫步在⼩镇的街道上，也许会看到⼀个妇⼈倒在地上哭泣求助，如果你过去帮助她，她会突然变脸掏出枪指着你说“抢劫!”。这种看似对玩家的当头⼀棒，却⼜是⾮常符合那个时代背景的事件真的让玩家⽆法⾃拔。

⽽同样也是打造了⼀个⻄部场景乐园的《⻄部世界》更是吸引了⽆数的权贵到其中游玩，它本质上就是⼀个有⾼度拟⼈AI的动作探险游戏，只不过⾥⾯AI的智能和外形都进化到了⼀个远⾼于现在电⼦游戏的形态。

另外⼀种是构建了⼀个合适的与真⼈在线竞技的场景。多⼈在线对战变得越来越热⻔，其背后的逻辑也可以解释为在游戏消费内容有限的情况下，玩家还是希望更多地与更聪明的⼈类进⾏游戏，因为⼈类的创造⼒和游戏⽣命⼒是旺盛的，即便在这个过程中可能要忍受谩骂与不快。如果我们⽤⾜够像⼈类玩家的AI来填充，这类游戏本质上和第⼀类也没有区别。

总⽽⾔之，就是游戏中的⻆⾊越像⼈，就越能给玩家带来吸引⼒。它并不⼀定需要像⾼⼿玩家⼀样将游戏玩得滚⽠烂熟，但是要能做出⼈类才会做出的反应，即便那些反应是不理智的。

因此游戏⻆⾊⾏为的智能性对于打造整个游戏的游戏性、以及对玩家体验的塑造有着⾄关重要的作⽤。但是就像前⾯提及的⾏为树⼀样，这么多年过去游戏中诞⽣了⽆数的AI，但是⼤多数还是会被玩家认为不像⼈，只会固定的套路，让玩家对游戏兴趣⼤减。

怎么判断AI像不像⼈呢？

那怎么才能判断AI到底像不像⼈呢？这个问题并不好回答，具体到不同的场景⾥，答案可能都不⼀样。⽐如机器可以很好地将⼀段复杂的中⽂翻译成英⽂，但是⼜很难听懂“我去！我不去”“那么到底去不去呢？”这样的对话。那么这个机器到底像不像⼈呢？

实际上，在⼈⼯智能诞⽣之初，计算机之⽗图灵（Alan Turing）就讨论过这个问题，并提出了著名的图灵测试（Turing Test）[3]作为⼀种解决⽅案。如下图所示，假设有⼀个⼈和⼀台机器被隔离在⼀个⼩房间⾥，我们看不到⾥⾯到底是⼈还是机器，但是我们可以通过⼀些装置与他们进⾏沟通。通过⼀系列提问，我们需要判断究竟哪个是机器哪个是⼈，如果我们的误判⽐例超过30%，那么就可以说机器通过了图灵测试。图灵认为通过图灵测试的机器具备了和⼈类⼀样的智能。

在游戏中，我们其实也希望AI能够达到类似这种以假乱真的效果，⾄少在游戏的某个具体任务上，AI能够通过图灵测试，让玩家觉得AI是鲜活的，有⽣命⼒的。

虽然图灵测试对于判断AI像不像⼈直观并且可靠，但是却并不实⽤。⾄少在优化AI的过程中，使⽤这样的⽅式去评判成本太⾼了。因为我们很难直接把⼈当成AI的优化器，让⼈判断了AI做的像不像⼈之后，再反馈到AI的模型上，让AI去修改参数，再让⼈类判 断。这样⼿把⼿的“⼈⼯”智能，对于⼈的精⼒消耗⼤不说，也很难覆盖到所有可能的场景。如何更好地度量AI的拟⼈性依然是⼀个⾮常重要的研究课题，但是最基本的我们可以从⼈类的⾏为数据和AI的⾏为数据的对⽐中罗列出哪些⾏为是不像⼈的、哪些是像⼈的，从⽽逐渐去优化不合理的部分。这对于⼀个有限的问题空间⽽⾔并不是⼀件⾮常困难的事情。

从⼈类的⾏为⾥学习

行为克隆