整理 | 安迪
近来,游戏圈内有关元宇宙的讨论相当火热,讨论的重点在于能否将元宇宙技术用于游戏制作和怎样融入游戏制作。
元宇宙到底是什么?元宇宙有哪些部分与游戏有交集?它的发展又面临着什么问题呢?8月17日,由腾讯游戏学堂举办的2022腾讯游戏开发者大会(Tencent Game Developers Conference,简称TGDC)邀请了香港科技大学元宇宙与计算创意研究中心主任许彬教授,分享他所理解的元宇宙。
以下为演讲的文字稿,内容有所整理:
大家好,我是香港科技大学的许彬。欢迎大家今天来我的讲座「元宇宙生存手册」,今天我会带领大家进入元宇宙的世界,对元宇宙的发展还有背景进行一些讨论。
今天我的讲座会分成七部分,第一部分是关于元宇宙的背景,第二部分我会介绍怎样去构造元宇宙,第三部分我们会讲讲当前的发展阶段,然后我也会继续说说未来的愿景,包括在技术与生态系统上面的一些愿景,然后我们再会继续说说元宇宙的一些技术上的问题,包括扩展现实,用户互动。还有最后第七部分我会说说元宇宙的生态系统。
关于今天的讲座主要是基于我们之前在网上发表的一篇文章,叫「All One Needs to Know about Metaverse A Complete Survey on Technological Singularity, Virtual Ecosystem and Research Agenda」,中文就是说,「关于元宇宙需要知道的一切,涵盖技术奇点虚拟生态系统和研究议程的完整调研」。
因为我们这篇文章比较长,去年10月发表之后已经有超过9万个阅读,都是一些研究人员的阅读吧。今天因为时间的关系,我们不能把整篇文章都说了,我会用比较概括的语言跟大家介绍我们在这方面的工作。
首先我们讲讲什么叫「元宇宙」吧。「元宇宙」这个名词其实是1992年的一本小说,英文叫SNOW CRASH,中文我们翻译成《雪崩》里面的一个名词。在《雪崩》这本小说里面,作者形容了一个世界,它是一个虚拟世界,虚拟世界就是我们说的,这个virtual reality一样的一个环境。
在这个世界里面,用户可以戴上他的可穿戴设备,然后他们会进入这个虚拟的世界里面。但是用户可以在这个虚拟世界里面,进行他在现实世界也可以进行的一些活动,例如我们说的交朋友,Social,或者也可以从事一些商业的活动,例如买卖东西。在这个世界里面,当然我们说的用户,他是用他的虚拟化身(Avatar),跟其他用户的虚拟化身来进行他们的一些交互活动。
大家可能之前看到左手边这个图,之前这是90年代的一个图,当时互联网刚开始,我们这个时代。当时这个图是《纽约客》上的一个图,但是这个图,大家看到两条狗在里面,然后其中它的文字形容是,「On the Internet nobody knows you’re a dog」,中文是说,「在互联网上没有人知道你是条狗」。它的意思主要是想强调在Internet每个人都可以用,就谁都可以使用上网,它是比较民主化的一个工具。如果你是一条狗,那你也可以是一个互联网的用户。
右边这个图是我说的,「In the Metaverse You can be a cat」,这个主要想说的就是,我们可以在元宇宙里面过一个跟我们现实生活完全不一样的生活。你可以很随意地选自己的一个虚拟化身,你的Avatar也可以是一个猫,也可以是一个机器人。你在元宇宙里面,你就完全地过,就是你的行为,就是你的虚拟化身的一个行为了。
但是大家看到中间的这个小猫,其实是我自己的小猫,它可以说是第一只进驻元宇宙的小猫吧。我其实去年比较早的时候,已经帮它在谷歌Email上面注册了一个电邮,它的电游是metakitty1@gmail.com。如果大家想跟它联系的话,可以发个email给它。
元宇宙的发展有三个阶段:第一个阶段是我们这里说的数字孪生,第二阶段我们叫数字原生,第三阶段是物理和虚拟现实之间的共存。大家可以看到这条线,这条线深最左边是Digital Twins,最右边是Digital Native,就是我们说的数字原生。那这三个阶段是不是要从数字孪生开始,然后继续到数字原生呢?不是的,它们是可以并行之间进行的。
所以我们说,这有一个例子,大家看到最左边的图,它是一个物理的世界,它是我们现实的香港的照片。然后我们可以把这个现实的香港,把它转成一个数字孪生,也就是Digital Twin,你就看到图中间的图像了。元宇宙它不只是一个数字孪生。我们想象的元宇宙,它会是一个现实生活里面,现实物理世界里面,再加上一些虚拟的物体。
然后我想强调的是数字孪生这个概念,它不是一个一对一的,将现实生活在虚拟环境里的复制,它是一个大规模和高保真的数字模型的实体。它不是说现实生活里的每一个东西,我们在虚拟的世界里也要做一个复制,我们主要是,如果现实生活的物体的特性在虚拟的环境里面是有意义的、是有作用的、是有功能的,我们才会把它的特性,把它模拟在虚拟的环境里面。
虚拟和物理的孪生之间又通过他们的数据来做捆绑的联系,就是说大家是会互相影响的。就是说,物体世界的物体改变了,那它产生的数据也会改变,它在虚拟世界里面它是数字孪生的,然后它在虚拟世界里面的数字孪生有一些改变了。
就是说我们可能是一个智慧智能制造的一个场景,它可能在这个虚拟世界里面做一些我们说的仿真simulation,那它仿真所产生的数据也可以返回来,再改变工业制造、智慧制造上面的一些程序,那它也会有这样的改变。所以数字孪生它不只是一个单单的模型,而是它们之间有数据联系,会互相影响。
然后内容创造后面其实就是我刚才所说的那个数字原生了,就是Content Creation。有一些的物体在Metaverse里面,它是不存在于现实生活里面的,就是说我们艺术家或者一些内容创作家,他们在元宇宙里面进行一些创作,他们创作一些数字的艺术品,但是这些艺术品其实在现实生活里面是不存在的,这些数字的内容创作只存在于数字世界里面。而且这些创作,我们都知道Mate是元宇宙,需要人流进去,它才能维持一个sustainable。就是说自己可以维持的一个生态系统,那它就需要人流进去。
我们怎样吸引人流进去这个元宇宙里面?当然它也需要有一些内容,如果没有内容的话,就很难吸引用户到里面去。当然内容的创作人需要靠经济的活动,所以他内容的创作会鼓励,如果有经济活动的收益的话,那艺术家会去进行内容创作。
元宇宙我刚才也说了,我们想象中它是一个自我维持的持久性的虚拟世界的存在,它与物理世界可以共存,而且互相有一些操作,但是它又具有自己的高度的独立性。因为有很多我们说的数字原生的,受制于原生的东西,它们在物理世界上是不存在的。理论上元宇宙是能够在一个虚拟世界支持无限数量的并行用户,但是作为一个游戏开发者,或者作为一个技术方面的创作的用户吧,这是游戏的创作,我们知道虽然这是理论上可以的,但是在现实上我们也有很多的限制,比如说处理器、Memory,还有各种各样计算能力的限制。如果我们想支持越多的用户,那我们需要有越多的计算能力。
这里我要再介绍一个名词,英文叫surreality,这个中文怎样去翻译呢,你也可以翻译成一个超真实或者超现实,但是我也希望大家可以提供一个更好的翻译。我们想象中的未来世界,它是用一种身临其境的方式,与物理世界混合共存,以至于我们无法分辨什么是真实什么是虚拟。我们会通过一些先进的全息技术或者高质量的头戴显示器,与我们环境的虚拟对象生活和互动。
因为这个虚拟的物件它们做得很逼真了,而且我们可能越来越会习惯我们生活之中会出现一些虚拟的物体。我觉得未来我们会逐渐失去虚拟的边界,这种未来新的现实 我们就把它叫成了surreality,这是一个概念吧。当然这个概念也是跟我们怎样去看元宇宙有关系,到底元宇宙是不是一个完全虚拟的世界,还是元宇宙是一个虚拟跟真实世界结合的世界呢?那当然,不同的开发商、不同的研究团队有不同的看法,就看看你是在哪方面的研究吧。
OK,然后当前的发展阶段到底在哪里呢?我们可以看到当前的发展阶段,这个元宇宙其实是经历了四个不同的转变,第一是从基于一个文本交互的游戏,到虚拟的开放世界,第三阶段是一个大型的多人的在线游戏(MMOG),然后推到现在我们目前的元宇宙的状态。大家可以从这个图上面可以看到有一条轴,这条轴上面它是一个元宇宙相关的一些内容和应用,这条轴下面是当时的一些计算机的技术的出现。
大家可以在这张图上看到《雪崩(SNOW CRASH)》,它是1992年的,但是《雪崩》之前其实也有其他的文学,它们会说到好像元宇宙这样的世界。那其中有一个例子,就是1984年的一个《神经漫游者》它英文是《NEUROMANCER》,是一个加拿大的作家William Gibson的一本小说。那本小说里面它形容的世界也是一个虚拟世界,用户可以通过在头上插一个导线,然后通过这条线的接口进入到它虚拟的世界里面。
然后这个场景好像我们的 MATRIX,我们说的《黑客世界》。在 Matrix里面也是因为受到这本小说的启发吧,我觉得是。他们会插一条线在头上面,进入一个虚拟世界。这些最早其实是一些文学,因为当时个人电脑也是要到1987年才出现,计算机图形学也是到1990年的时候,才会出现一些计算机图形学。这方面主要之前比较多是一些文本或者文学的关于这个概念吧。
然后我们看到就是《ACTIVE WORLD》《网络旅行者》《第二人生》《我的世界》这些都逐渐地出现了。然后到2000年之后,2011年之后的一些像《POKEMON GO(宝可梦GO)》还有VR Chat,还有Super Mario AR,这几年有一些Cryptokitties——我们说的迷恋猫,还有《外星世界》这些都是跟加密货币有关系的(项目)。
但是我们可以看到AR的Application就是应用,在上面根据时间的变化,在轴的下面,大家除了看到计算机图形学,还有2000年或者90年代的大型的互联网的使用,还有2000年初的一些触屏的智能手机,到2011年左右的加密货币、区块链,2016年之后的增强现实、虚拟现实、控制器这方面,我们大家可以看到其实是这样的,就是显然技术是推动这种转变的一个催化剂。
如今研究界的人在探索元宇宙发展的道路上,但是理想的情况下,我们觉得新技术是可以解锁元宇宙的其他功能,并将虚拟环境推向一个更加感知的虚拟世界。
这个图我想给大家总结一下现在网络空间的一些发展,还有归纳一下。那我们在元宇宙的创作,或者我们对元宇宙的研究方面,在哪里是我们进入元宇宙的机会呢?那这个图大家可以看到它是二维的一个图,我们从左边到右边它是一个内容丰富性的变化,内容的丰富性就是你从左边移到右边的话它的丰富性会增加的。大家可以看到最下面的我们说的SMS,它是一个文字对不对?它在过去就是一个照片,它的图像是会比文字更加丰富的,然后我们会有视频、会有游戏、会有虚拟3D、虚拟现实,去到我们的增强现实,它的内容丰富性从左到右是增加的。
我们纵轴是什么呢?纵轴是内容方面的一个个性化,或者用户可参与的方面,在内容的创作方面的程度。我们看到最下面它是一个读写,读写就是说每个人看一个文字 它是没有一个个性化的,就是这个文字没有说是针对谁的,对不对?就是好像我们说的SM或者Skype或者Zoom,它们这些都是没有一个个性化的元素在里面,当然Netfix就会有一些个性化了,它会有一些个性化的参与。那么Netfix它有些什么个性化呢?就是说它会把你的用户之前看的一些东西都做一些learning、学习,然后它会根据你以前看视频的习惯它会推介一些其他的视频给你。
但是Netfix它也没有一个,用户是不能参与它的内容创作,Netfix的电影都是通过Netfix自己去创作,或者通过它的一些content partner去创作。再往上面是Youtube,就是让用户可以去参与内容的创作,那user-generated content,就是说在Youtube上面用户可以做一些内容创作。当然往上再移的话它会有增加一个,社区性的参与更多了。我们说的抖音它会比Youtube更有社交性、社区性,用户它可以有自己的一些社交网络,他们会更好地,大家去沟通,这个层次嘛。
那我们最上面的大家看到我说的有待进一步研究的网络空间,进入元宇宙的机会。它到底在哪方面有一些增加呢?这里大家可以看到是一个体验的二元性,意思就是说它会把我们觉得在元宇宙的世界里面,虚拟、真实或物理跟数字,它们会更好地结合在一起。用户同一时间可以体验到虚拟与真实之间的一些更好的体验。
那在元宇宙的研究方面,我们可以怎样地利用开发一些软件或者一些应用,可以增强用户二元性的一个体验?好的,我说的这方面,介绍的背景已经介绍了大概有一半时间了,我们继续去说一说技术还有生态系统的方面吧。
大家可以看到,如果想创造一个元宇宙,它到底是需要哪种技术呢?现在大家可以看到这个图下面的是技术,就是Technology,它其实是一个Hard Technology,也就是硬的一些技术。我们需要通过这些硬的技术,我们就可以达到,就可以发展或者建立一个元宇宙平台了。那这些科技包括什么呢?它包括用户互动、包括扩展现实、计算机视觉、人工智能、区块链、机器人、物联网、边缘云、还有网络。
那当然大家看到最下面是一些硬件的基础设施,网络也会在硬件基础设施之上,然后云就会在网络上面,其实是这样的一个stack的展示,那就说越下面的技术它是越基本的。
OK,所以用户体验跟增强扩展现实它们是在最高的几个技术(里面),它们也会应用到下面的一些计算机视觉、人工智能、区块链、机器人、物联网的一些技术。然后人工智能,它会用到下面的一些边缘云或者云的一些技术,当然也会用到网络方面,怎样可以提高网络速度,它们会有这样的一个关系。
OK,我们现在各种的设备各种技术有了,我们可以通过拓展现实的方法来进入元宇宙。元宇宙它可能也是一个虚拟的世界,虚拟的元宇宙,也可以是一个我们说的真实的虚拟的混合的元宇宙。无论是哪一种,你都可以通过这个拓展现实去进入这个元宇宙。那我们说的扩展现实,它是进入元宇宙的门。如果你是建筑一个Virtual,虚拟的元宇宙,那你用VR的技术;如果你是建成一个混合现实的元宇宙,那你是用AR的技术去进行。
OK,我现在技术已经够了,我现在建立一个元宇宙了,那我这元宇宙,我之前也说过了,它是一个可以自我维持的一个生态系统。技术到了,但是我们怎么去令这个元宇宙可以自己去自我维持呢?它还是需要上面生态系统的一个支持。
那生态系统它包括什么呢?在这里包括虚拟化身。因为我们进入元宇宙是通过我们的虚拟化身去进入,那虚拟化身的创作也是维持生态系统的其中一种技术。除了虚拟化身,还有我们说的虚拟经济,系统才可以鼓励一些内容的创作。那大家可以看到,内容创作跟虚拟经济是同一层的,当然最上面的也有很多的东西也是base on下面的。它可能是我们说的社会的接受度,你创作一个Avatar,那社会是不是可以接受你?如果你Avatar很高或你的Avatar有一些对人歧视的标志,社会是不能接受你的等等。还有安全和隐私、信任和责任,这些都是很需要、很必须,让我们可以维持元宇宙的生态系统的一些的需求吧。
所以我们说类似于现实中的社会,内容创作和虚拟经济应该符合社会的规范和法规。例如虚拟经济中生产应该受到所有权的保护,而这种生产应该被元宇宙的其他化身,就是其他人类用户接受。此外人类用户希望他们的活动也不会面临隐私风险和安全的威胁。
OK,那大概大家可以看到我这个图也是做一个更好的总结,或者一个Summary。它会告诉你大家在这几种不同的技术或者生态系统的soft technology上面,有一些什么方面我们是需要去做、需要去研究的来推动元宇宙技术和生态系统。
大家会看到人工智能上面,我们可能需要做一些自动的数字孪生的产生,如果我们是用人手去做一个Digital Twins的话,它会花很多时间。我们可不可以用AI的技术去做一些更好的自动的数字孪生呢?那我们会不会这个user、这个用户,他离开了元宇宙去吃饭或者去上学学习的时候,会不会有计算机的AI去做代理呢?
然后我们说的虚拟化身,就是下面虚拟化身上面的,它虚拟化身的外观世界应该是怎样?用户感知又是怎样呢?我们人和虚拟化身之间的交互又应该是怎样呢?这些都是需要我们去研究的问题。
然后就是说扩展,边缘计算上我们也有很多的方法,有很多的研究方向是需要去做。那怎样去减少用户应用的一些延迟呢?就是可以把这个应用放到边缘云上面去,然后其他方面我们说得挺多的东西,就是说信任和责任方面,它公平和偏见是怎样的?那它权力和控制又是怎样的?如果有不透明的东西那我们又应该怎样去处理?而且最后就是说,我们如果有元宇宙了,那元宇宙是由谁来管理?怎样去管理?这些问题也是需要我们好好去做这方面的研究,大概规划一下。
到了第五部分,我会给大家简单地介绍一下扩展现实这方面的研究。大家可能会熟悉这个图吧,到底扩展现实是说什么呢?那我们有现实,就是reality,就是我们真实的、现实的世界,所以它是在左边,然后最右边的是虚拟现实virtual reality。那在虚拟现实里面,我们是会看,你可以戴一个头显,头显戴上之后你是不会看到任何的现实世界的,但是现实世界跟虚拟现实之间,就是我们说的增强现实或者混合现实。
你的手机可以拿上增强现实的一个头显,那你同一时间会看到现实世界,也会看到虚拟的物体出现在现实世界里面,那这样的话,我们就可以说虚拟性就会从左到右的一个增加了。从左边到右边的话,那它虚拟的内容就会增加了。然后在虚拟的现实里面,就是我们的VR里面,现在的商用的VR的头盔、头显,它都提供了很多的功能,包括头部的跟踪还有一些控制。它有一个控制器让用户更好地交互,然后元宇宙的用户也可以用它来建设与数字孪生一致的一些内容。他们可以通过一些头显的控制器做一些艺术的创作,就像我们刚刚说的。
当然其中的一个很好的虚拟现实的应用,就是说可能现在我们也受到疫情的影响了,那我们开会可能就是用腾讯会议或者用Zoom来开会,那我们会不会通过虚拟的现实技术,可以更沉浸式地提供一个开会工作学习的环境,去让我们更好地跟其他的人进行合作呢?
那增强现实方面我刚才也提过了,它一般通过你的摄像机,当然它也可以通过声音或者是其他的(设备)做一些输入,再通过这些输入来明白这个环境。懂得这个环境的事情之后,我们就把一些虚拟的东西加进来,它可以是一些虚拟的图像,也可以是一些声音。那为了确保在AI中的无缝和轻量级地交互,用户交互的技术也是非常重要的。下一部分的时候我们也会再继续说一说在元宇宙里面的一些交互。
所以我们觉得元宇宙,如果我们的元宇宙它是一个混合现实的元宇宙的话,那AR是它的一个主要的技术去进入这个元宇宙。我们也希望通过就是城市方面的发展,我们通过AR的技术,让我们与城市的环境更加好地结合起来。我们可以就是用AR的技术,去改善我们在城市里面的生活。
那简单地介绍一下,就是说得内容多一点,关于AR的运作的管道。AR的运作刚才说了,它的输入一般都是手机摄像头进入之后,我们会做一些整个流程的一些处理,它会有一些框架的预处理,然后物体的一些检测,特征的提取。特征提取以后,我们想明白到底这个场景是什么,那我们会做一些对象的识别,对象识别之后,你大概识别了这个对象,那你也要去一个数据库里面,把一些识别到这个对象的相关的资料拿下来,然后把它再做一些模板的匹配。当然它可能会在手机上做一些对象的跟踪的这样的程序。
那大家可以看到,它主要是一个计算机视觉比较多的一个程序。大家可以看到这个图,就是我的颜色,每一个方块的颜色越深的话,说明它的计算量的要求就越高了,它越浅的话,就是它的计算量的要求越低。大家可以看到这个图里面有数字,有红色的数字、还有绿色的数字。红色的数字就是说,如果我们把这个工作是在手机上做的话,它需要多长时间。然后绿色的话就是说我们把它放到一个附近的Server一个服务器上做,它大概需要多少时间。
然后大家可以看到这个对象识别,它是黑色,说明它的计算量的要求最高,如果在手机上去做,可能就需要500个millisecond,我们这里说是的毫秒了。如果它在一个比较好一点的服务器上做的话,它可能只需要92个millisecond毫秒的计算。大概是5倍的时间,如果我们只是在手机上做,那如果我们在附近有一个服务器,我们把它放到服务器上面去做的话,那它所需要的时间就大大地省下了。
那我再跳回去,大家可以看到这个图的话,它是有一个,我是把它端对端的延迟,把它每部分都,它是占整个端对端延迟的时间的percentage百分比给大家分析下来。那大家会看到这个图,网络的传输,如果我们假设网络传输它是50个millisecond的话,那它在整个端对端延迟里面占了多长时间呢?所以大家可以看到,假设它的网络传输是50个millisecond的话,那它其实只是占了整个端对端延迟的18%还不到。所以就是说,如果我们把通信上面,可以把网络通信的延迟缩到0的话,那你也只是节省了18%的总共的延迟。
那其中最多的延迟到底是在哪里?大家会看到Object Recog对象识别还有特征提取,它们其实占了大概接近一半的延迟时间。那除了网络上去解决这个问题,那是不是在计算机computer vision上面,或者在edge computing或cloud computing上面,是不是更能节省它的延迟时间呢?
除了VR、AR,其实这个图是VR的,可能上面写错了,除了AR上面的挑战之外,那对VR上我们有什么的挑战呢?大家可以看到,基本上VR的挑战就是它的解像度的问题。我给大家做一个例子吧,如果我们一是个正常视力的人是20/20,那我们到底需要多大、多少的解像度,我们才可以在你的头显里面看一个虚拟物体跟现实生活中的物体是差不多呢?
一般的话我们正常视力,大概你需要1度到1度之间的区域,大概是需要3600个像素,也就是3600个pixel。如果我们说的是一个360度Video的话,那16K的分辨率它会对网络造成很大的传输挑战。因为这个分辨率的话,你需要的传输速度是要达到300个Mbps,那很多无线的网络是担当不了的,而且现有的解决方法也不一定能满足这方面。
如果就算你可以传输的话,其实现在的手机或者一些头显,它是很难进行16K video的解码的。在这方面我们研究团队也做了很多研究,怎样可以把这个AR的延迟降低到33个millisecond以下。那33个millisecond它的重要性,我们大概define,就是说一个real time communication,就是33个millisecond。那就是说你是需要在1分1秒钟里面处理30帧的一个处理了。
AR、VR我说了,那我们继续简单说一说用户的互动方面吧。用户互动方面也是很重要,因为我们就是用一个AR,或者我们进入元宇宙里面,我们也要跟一些虚拟的Avatar去交互,我们也要跟其他的内容去交互。起码就是说,如果我们要做打字怎么办呢?要是我们在现实生活,可以用keyboard来打字,那在Metaverse里面我们是可以经常打字对不对?
那关于输入的设备,我们说的interaction,包括输入的技术还有一些反馈的技术。输入的技术方面也有很多的一些研究已经做了。好像通过我们这个图上显示是身体交互的一个技术,就是说你可以用你的手来做一些对虚拟的物体进行一些操作。可以在你手上面有一些智能皮肤或智能纺织品,你可以通过这些智能皮肤、智能纺织品跟虚拟的内容进行互动,这方面也是可以的。
现在我再给大家看一个视频,做一个介绍。这是我们的一个系统,就是用AR的眼镜来跟内容做一些交互。大家看到图的画面有一个学生,那他是手拉一拉,那他到底去做什么?这是他的眼镜上看到的事情。他是用手把文件从一个电脑拉到隔壁的电脑上面去,那个文件就很顺利地传过去了。
然后大家会看到另外一个视频,是另外一个同学。那个同学也是,她用手把一个东西拉到一个projector上面,她其实就是把一个PPT拉到一个projector上面去,PPT就直接在projector上面打开了。那大家可以通过你的手势去跟你的虚拟的内容去做一些交互。刚才我提到键盘上,这也是我们的一个系统。
AR的显示器它的视野其实很小,如果我们放一个很大的keyboard在里面的话,keyboard已经把你一半的视野已经挡住了。如果你打字的时候可以怎么样去做呢?我们这个视频是介绍这样一个方法,就是我们想象中,我们再给你看看视频。
那个视频是我们想象中有一条线,那条线从英文字母ABCD到Z都排在一个虚拟线上,你的手去到不同位置,它就是一个不同的字母的区嘛,在字母的区域里面,像IJK是同一个区,然后你在IJK再选一个字(母)再选一个character,这样你就可以通过手在一条想象的线上面去做操作,然后你就可以打字了。
我刚才也提到,主要的问题就是说,为什么要键盘这样,主要是受到它的有限的视野的限制。当然如果我们希望以后有更好头显、视野FOV的话,它会更加大了。那这样的话它对用户的一些体验也就会更好,因为现在很多的头显其实很小。就好像这个图里面,大概是把两只手放在前面,大概伸直之后放一个iPad的一个感觉吧。
当然反馈方面,现在有很多的haptic device,可以让你在元宇宙里面可以被触摸,会有一些触摸的感觉。当然会有一些好像这些无人飞行器或者机器人的方法,让你可以更好地做这方面的交互了。
然后生态系统方面,我就简简单单说一说吧。生态系统里面,我主要想说的就是隐私的问题。如果我们平时上网的话,我们只是上网一些资料被搜集,那到了一个元宇宙里面,如果大家穿戴很多可穿戴设备来增强用户体验的话,我们是不是有更加多的生物数据会被收集呢?元宇宙运营商会有更多我们的数据,然后这些数据,除了我们身体的数据、生物的数据,它可能也会有我们环境的一些数据。如果大家有用过AR头显的话,大家可以知道这个AR头显首先会对你这个环境做一些扫描,然后建立一个模型。那就是说你的(环境)模型,还有扫描(数据),很大机会也会在运营商的云上面去了。
这些的东西都可能会令用户有点担心他的隐私问题。所以我觉得就是说到未来的话,我们会更加多的研究要保护用户的隐私,而且在元宇宙里面,个人你可以创作自己的虚拟化身,你可以用不同的虚拟化身去给自己,那你也可以用其他人,你的虚拟化身也可以做得跟其他用户一模一样,这样会有一些Identity Theft的问题。
然后攻击者,大家可以从图上看到,这里攻击者的Avatar它不一定好像人一样的东西,它也可以是一个垃圾袋,它把自己的Avatar做成垃圾袋,那大家没有留意到它是一个Avatar,它就可以在旁边听其他人的谈话。那这个方面也是一些基于Avatar的一些虚拟问题吧。
然后元宇宙伦理上,就是说我们到底有了这个数字孪生,有了这个元宇宙,那谁来监管这个元宇宙,那管辖权和限制是哪里呢?是不是我们可以用一些联邦的模型,用一些Federated Learning或者用一些区块链,或者用民主技术来控制一些非法行为?这方面也是非常值得我们去考虑和研究的。
这跟大家游戏创作,怎样去维持一个游戏世界也挺相关,那这方面大家也是可以有一些贡献,用自己在游戏上面的经验,也贡献到我们元宇宙里面去。生物的数据刚才我也提到,就是说太多的数据会被搜集,我们怎样保护被搜集到的信息?当然包括一些隐私增强的技术,差异化的一些Differential Privacy(隐私保护),或者我们说的一些联邦学习方法,让你的数据不离开你的device里面。然后现实世界中的一些法规,在元宇宙上面怎样去实施呢?
这边我主要是说一些的问题,大家可以再好好看看。知识产权将如何在元宇宙中得到保护?如何对待元宇宙一个人的数字孪生的凶杀案?这些东西都是在元宇宙里面,我们是需要去思考。
当然我们可以说代码与规则,就是大家跟游戏玩家一样,我们会通过代码去做一些,去产生一些好像自然物理定律的一些规定,对不对?但是大家做游戏玩家都知道,代码是不能管理所有在元宇宙里面的社会行为的,当然用户也可以去改一些代码,那到底行为以后在元宇宙应该怎样去管理呢?用分布式的自治组织去做一些投票,然后做一些比较小规模的管理。在大规模上面,我们是不是会有一些其他的策略性的东西,来让大家更好地管理这个元宇宙?那这些都是需要去探讨的问题。
当然DAO(分散式自治组织)我刚才也说,是一个大家最近提得比较多,特别是分布式的自治组织的一个考虑。它是不是可以在元宇宙里面对管理或管制上面会有帮助呢?那我们是会慢慢下一步去探讨这些问题的。
然后模块化的方法和设计,是不是把元宇宙的设计更加模块化,有一些增加我们创作的自由度?
社会的元宇宙就是说,我们都是一个用户,我们都是一个游戏玩家,那我们在设计这个社会元宇宙里面,可以更加多地把很多的不同的因素都放在里面,就是说Accessibility可及性、多样性、平等、人道、信任。这方面在我们设计元宇宙里面,我们都必须要在这方面去探讨的。
所以我们希望通过元宇宙会对人或者社会和生产生活产生重大的正面的影响。当然一些负面的影响也会有,但是这方面都是需要我们大家一起努力去创作、去奋斗的。
最后就是今后的议题。今后的议题我刚刚也跟大家说过,主要是有技术上面的,还有ecosystem上面的,就是technology方面,ecosystem就是生态系统方面,在这个图上面看到更加多的关于这方面未来需要去做的一些探讨。
有问题的话也欢迎跟我沟通,谢谢大家。

