陈宝权爱奇艺世界·大会演讲：影视技术——What's on the horizon？

各位朋友，各位嘉宾下午好，今天非常高兴来参加这样一个活动，前面汤兴博士讲到AI大脑在影像视频方面的工作。这里，我进一步把AI大脑再稍微打开一点点，看看作为影像制作，大脑里面到底有些什么东西。现在几乎所有的技术，尤其科技前沿的发展都离不开AI，只要有足够的数据，也离不开深度学习。人工智能确实是一股潮流，没人能忽视它。



首先，我们可以简单的回顾一下影像的历史。我们知道影像从早期的记录影像，到活动影像，再到三维的活动影像，趋势是越来越明显。从电影的叙事过程来说，技术的进步带来了内容创作与叙事方式的变化，从早期的线性叙事，到后来蒙太奇式的叙事方式，到现在观众参与体验的这种以虚拟现实、增强现实作为基础表现形式的未来叙事方式，变化非常迅速。这一切所带来的内容创作的形式和表现方式都不一样。


我们看一下影视制作的基本流程，目前大家比较公认的是——前期创作剧本，设计人物形象场景等，然后拍摄制作，再到最后大量的后期制作。这是我们大家目前比较熟悉的一套流程。如果人工智能技术得到充分的应用以后，这样一个流程中的每一个模块都会发生很大的变化。比如，就创作这个模块来说，我们知道现在基于深度学习的剧本创作已经开始有尝试了，至少在辅助我们的创作的时候，已经在发挥实际的作用。

在设计这个方面，特别是数字设计，涉及到数字资产的快速生成。我刚刚讲到人物、形象和场景，这些数字资产的快速智能化生成也在发生着非常大的变革。那么，拍摄和制作的这个过程也是一样，就是影视预演的技术让我们在拍摄的过程之中就能够看到我们未来这个影像的效果，而不是等到后期的制作。

那么后期的特效呢？那就更加要用到人工智能的技术，而且我跟各位讲的是后期特效的这部分可能会变弱，至少现在是后期制作的部分越来越多的回移到前期。未来更多的后期特效是我们现在还没有体验到的。

我们来看一些例子，比如说，利用深度学习创作的第一部科幻片《SUNSPRING》，这个剧本完全是采用人工智能技术编写出来的，而且不仅是编出来了，还有一批演员真的去演了，是一个短片，这个片子也获奖了。那么，这个人工智能学习的是什么呢？大概是几十部科幻片剧，根据这些剧本就学到了编科幻剧的一些特点。

所以这个剧即使是一个短剧，也基本上融合了人类编剧的一些精髓，包括三角恋，有谋杀，还有爱情，全部都有。实际上除了写一个完整的剧本，在写作剧本里的一些人物，形象的创作上面，人工智能的应用就非常的娴熟了，可以是快乐的小鸟，奔跑的马，或者在现实生活中没有见到的这么一个动物，他们的形象和行为习惯，实际上都可以通过人工智能来设计。




在数字资产的生成上面，发展就非常的快，这个可能是我本人研究得比较多一些的东西。这样的一个资产的生成也涉及到人工智能，也就是说通过学习大量的数据，即大量的已有的资产，来快速地合成新的资产。






比如说，对于几何形体，不像以前我们只是把它画出来，但对它是什么却并不知道。采用人工智能，我们开始理解这个形体，理解场景里面不同的物体及其属性，比如是一把椅子，是金属椅子还是什么椅子；也可以为不同的需求设计一个不同的场景，是一个咖啡馆还是一个工厂，都可以按照你所需要的故事、人物和形象需求来设计一个相应的三维场景。对于动态的对象，如人物、动物、植物，这些有动态特性的对象如何快速地捕获？不仅它们的表象，而且其行为规则，甚至个性特征，这些人工智能都能够发挥非常大的作用。



举几个例子。比如说，从这个视频可以看到，针对一个城市场景，我们可以通过无人机拍摄的影像，快速的重建它的三维，这个过程和航拍视频没有太大的差别，但是经过计算机处理，得到的是一个三维的场景。


开着一辆摄影车从街上开过，便得到一个三维的数字场景，这样一个三维的场景是有非常精确的尺度的。

再比如说，通过数字测量这些植物，我们便可以生成栩栩如生的数字化树木，自动识别它们的树种，而且这样的树木随后还可以对它实现动漫，根据外部物理环境来进行一些行为的控制。


我们来看看一些行为的控制。比如这里的一株荷叶（随风而动的荷叶是一个很有表现力的物体）。

这株荷叶来自于对一株真实荷叶的数字化 – 荷叶被风吹动，我们对这个过程进行三维捕获。以智能化为理念的捕获，我们不只是得到了荷叶的三维的表达，更是得到了它的物理特性；是娇小还是粗壮，茎是软还是硬，每个荷叶都有它的特性（个性），这些一旦得到以后，我们可以给予它不同的风，不同方向，不同强弱，它的运动形态便可以合成。

洒一串雨滴下来荷叶便随之摆动。导演按照剧情的需要便可生成荷叶摆动的朝向，强弱，以及婀娜多姿。有了智能获取，这些效果都是可以控制的。


再比如，人物是我们非常关心的一个资产。这个人物长得胖还是瘦，现实生活中找一个特别符合我们这个人物需求的人物还不容易，但是我们可以通过交互式手段让它的下巴宽一点点，笑容大一点；总之，这样就得到了一个三维的人物，这个人物就开始有灵魂了，他就可以来表演。

还有更加复杂的一些物理运动，如将一个物体扔到水里面所引起的水的各种动态现象。像这类原来需要高性能计算的问题，我们现在可以通过智能学习来解决，至少提高效率。学习的对象是大规模高精度的计算模拟，可能是需要几千个小时、耗费巨大的计算资源算出来的结果。但一旦学习之后，我们的模拟器便具备了智能；对于一个新的物理场景，我们便可以仅通过少量的计算获得粗略的运动模式，之后通过人工智能的方式来合成细节的物理现象。

还有比如人物或动物的运动模拟。这里是一个比较简单的二维例子，一个小动物奔跑跳跃不同起伏的地面，跨越不同间隔的鸿沟等。



人工智能的妙处在于它可以通过大量的学习已有的运动及其相应的环境，然后针对一个新的场景，它就能够自适应的生成新的运动模拟。想想，传统的动漫需要动漫师大量的人工操作，而现在有了人工智能技术之后，年轻的动漫师和艺术家们就被解放出来了，不用整天宅在电脑前，可以多花点时间和女朋友喝个茶（笑）。

刚才说的例子是二维的，人工智能的能力就是它很快能将学习从二维拓展到三维，它能从对低级行为的学习到对比较高级行为的学习，低级的诸如只是越过一个障碍物，到高级的要实现一个目标，比如找到一个宝藏，比如快捷地走到一个主峰什么上面去等等，开始有一个更高策略的学习；人工智能的学习可以分解在两个层次，一个是高级别、高层次运动策略的学习，一个是低层次比如越过障碍物这样的运动反应的学习，两者结合，就能达到更智能的运动模拟生成。

渲染成像是一个非常传统的依靠纯计算纯物理模拟的计算场景，而现在也能受惠于人工智能。微软亚洲研究院采用深度学习来对大量的不同场景的精确渲染模拟进行学习，来实现对一个新场景的光照效果的预测，从而大大节省计算、提高效率。

比如，一个局部的光源的改变，以前的渲染器需要从新启动完整的计算才能从新生成一个非常逼真的影像，而现在通过深度学习，可以大大节省计算而不影响渲染的效果。如何理解这个，可以想象一下人的经验；当一个光源移动以后，我们对场景的明暗变化是会有一个预测的，而这样的“经验”，现在通过深度学习能够学到。

还有更多的物理模拟上的应用，比如火、烟雾等。如何模拟这类很精细化的效果需要巨大的计算量；同样的道理，现在通过深度学习与人工智能，我们可以针对一个大概设计好的烟雾走势来合成逼真的细节。而这些细节，非常符合物理的规则，至少是看起来逼真，但却不是通过传统的物理模拟计算出来。


我所介绍的这些都是我们计算机图形学领域里面一些发展趋势。最近，北京电影学院成立了未来影像高精尖创新中心，针对未来影像的全链条制作流程，探索技术创新，特别是采用人工智能的技术，来改变甚至颠覆现有的实践模式，从导演到表演到制作发行，具体来讲，从数字资产到影视的虚拟制作，到未来影像的显示系统。比如，未来的智能摄影棚可以利用机器人来控制这个摄像头，抓住精彩的表演瞬间。

高精尖中心定位国际化。我们中心聘请了国际上最顶级的科学家、业界领袖和最顶级的艺术家。这里包括两位美国工程院院士，数字王国的联合创始人，和梦工厂/PDI的联合创始人等，从学术界，到工业界都极具丰富经验的这样一些顶级专家作为我们中心的顾问。


可喜的是，在中心成立的短短几个月，我们已经在一些影视制作中间运用了先进的技术，比如我们可以预览拍摄过程，我们可以在一个新的虚拟现实的平台上自然体验影像的效果。



展望一下未来。我认为人工智能在影视制作上应该是其智能化最高的一个体现。为什么呢？因为人眼是最敏感的，人工智能的技术必须是无可挑剔才能为我们接受。但是人工智能在影视制作中大有可为。我国的影视工业发展迅猛，已经很快就超过美国的票房。在这样一个转折点，我认为影视科技的未来应该是在中国。希望和爱奇艺，和同仁们一起努力，谢谢大家！
http://fve.bfa.edu.cn/article?id=185