虞晶怡 上海科技大学教授 PLEX VR创始人

在虚拟中生活,在智能中思考

造就 TALK · 2017-11-16 · 16:52:55

造就第220位讲者:虞晶怡

上海科技大学教授

虚拟现实中心主任

叠境数字科技创始人

af6b171e509646af80589ecbcd495524-sz_2706068.jpg

大家好,很高兴再次来到造就的舞台,我是上海科技大学的虞晶怡。今天我给大家带来了一些关于人工智能和虚拟现实的分享,我想给大家展示一些我们未来生活的图景。

我今天的演讲题目是:Live  in  AR,Think  with  AI ,即:在虚拟中生活、在智能中思考。   

把商店带回家

什么叫在虚拟中生活、在智能中思考?我先给大家秀一个很有意思的关于电商的Demo。过去十年里,也许改变中国或者全世界最大的影响之一就是电商,大家看电商产品的时候,都是通过二维的图片去切换。

虞晶怡0907.005.jpeg

但未来的电商则大不一样,比如衣服,你可以在任何一个角度进行观看;再比如鞋子,甚至可以看清鞋子的皮革材料……看看这些视频本身就非常富有光泽,那需要对实物进行非常真实地呈现。

未来的电商,不再是你在网上看到物品,而是你可以把它们真真切切地带回家。我现在就带一样东西到现场来,大家看到的是一个真实的环境,在经过扫描之后,我可以把这匹唐三彩的马放到这个环境里。

11月-14-2017 17-50-30.gif

在那里,我可以改变马的大小,变换马摆放的位置,我可以360度围着它看。大家可以想象吗?今后就是如此便捷的生活,原来你可以做到足不出户,就可以把商店带回到自己的家中。   

这是我今天带来的第一个demo。大家可以看到,利用这样的虚拟现实或增强现实以及人工智能技术,我们可以把一个实物活灵活现地带回家。去年我在造就做过一期关于“光场技术”的演讲,那个技术就是人工智能视觉的核心技术。

看到三维世界

人为什么能够看到三维世界?这主要有三大原因。

虞晶怡0907.006.jpeg

其一,人的两只眼睛长在正前方,相互之间有极大的重叠区域。如果一个物体离你很远,它向两边的偏移,即平行线会变得很大;如果该物体离你很近,它的平行线会变得很小。所以人的第一个视觉便是通过两只眼睛的平移来得到的。 

其二,人不单有双目视觉,即便闭上一只眼睛照样能对物体产生立体的感知。

其三,人还有最重要的一部分就是大脑,大脑可以分析语义。当我看到这个桌子时,我知道这是个桌子;当你看到一个人时,你知道这是人,你不会把桌子去跟人进行匹配。    

有了这三项强大的功能,人能够看到三维画面。现在的人工智能、计算机视觉就是利用这个原理,来实现对于三维物件或者三维环境的真实重现。 

重建三维物件

谷歌glass_clip.gif


这段影片显示的是我在几年前为美国的Veteran Affairs做的一个项目,当时便是利用模拟人眼、计算机视觉的方法,来对人脚进行重建。为什么要对人的脚进行重建?这是为了给伊拉克战争后脚踝受伤的士兵们进行治疗。

为了给伤员进行治疗,我们得做一个脚踝固定器,套在他们的腿上。这个固定器必须非常精确,与脚贴合在一起。所以,我们要做的脚模型也必须非常精确。 

由于传统方法需要通过激光扫描仪进行扫描,这既昂贵又缓慢。所以当时我便采用了谷歌的AR眼镜对人脚进行了三维重建。

谷歌glass_clip1.gif

这个AR眼镜就像人的第3只眼睛,当你戴上它时,你可以全方位扫视伤员的腿,用计算机视觉的方法对它进行三维重建,且效果非常精确。

你也许会问,相机那么便宜,为什么只装第3只眼呢?不可以装第10只、第100只眼吗?可以,这就是一种光场拍摄系统。你可以将很多很多的相机排成一个阵列,做成像昆虫复眼一样的二维系统,也可以做成一维阵列复眼系统,再利用这样的系统对大型的三维环境进行重建。

mod360_clip.gif

大家都知道,上海博物馆的大英博物馆藏品展已经结束了。不过别遗憾,我们已经把这次展览的陈列做了一个三维的重建,所以哪怕展览结束以后我们仍然可以在线上参观。

除了看博物馆,你还能够足不出户看房。以前你都是怎么看房的?要么浏览网站上的图片,要么亲自去现场看房。

房间走动_clip.gif

而现在,我们可以将房子的每一个点都进行三维拍摄,再进行三维重建,你就可以在这个三维空间里走来走去,好像在一个虚拟的房间一样,不再需要跑出去看房。这里使用的是一种光场环境扫描技术。

造出真人

那么除了重建三维物件,我们是否还能造出人来呢?这里我给大家看第二个demo。在其中,我会放入一些真实的人物。 

c354515c3bdf0d6ce18fcb7a33c9ccca-sz_2474380.jpg

在这个APP里,我放了三个真人,一个是大唐的美女,一个是新式的美女,还有一个是位大帅哥。你可以从任意角度、任意距离对他们进行观看。大家可以想像,当你今后看网红直播时,你就可以把他们放进这个三维环境里。

你可以把他们放大,可以绕到前面去看他的表演,可以拍拍他的头,甚至搂搂他。这就是今后的娱乐,你不再是旁观者,你可以走到他的身边,身临其境地感受他怎么舞动琴弦。

拉小提琴_clip.gif

拍摄一个人物很有趣,那么能不能拍摄多个人物呢?可以。这是我们和美国朱丽亚音乐学院合作拍摄的短片,名为《全球音乐会》。在这个短片里,我们拍摄了三个表演者,一个是小提琴手,一个是鼓手,一个是歌唱家。

这三个人都是用我们的动态拍摄系统进行的360度拍摄,拍完之后你可以把它们任意地摆放在空间,让他们一起表演,这好比做了一场虚拟的合唱会,这就是我们今后看演唱会的体验。

开展公益

123f9eebecf5ffb5e587ce28f196bc7c-sz_2335758.jpg


讲了那么多有意思的东西,其实你知道还有很多公益的东西可以做。大家都知道中国是一个老龄化问题很严重的国家,现在有超过2亿60岁以上的老人。

今年我们做了一个知晓阿尔茨海默症的活动,我们和美国团队合拍了一部短片,讲述两位患有阿尔茨海默症的老人彼此进入自己的记忆,回想他们当年的恋爱过程,以期唤醒这个社会的良知。

11月-14-2017 17-41-32.gif

其实这两位老人是在不同的时间进行拍摄的,你们看短片的时候会以为他们是在一起,但其实我们是通过两套系统进行的异地拍摄,再将之组合在一起,很有幸这个短片也入选了今年戛纳的VR短片奖。   

有了这么多有意思的人物重现,但是怎么来进行交互呢?美国有一个团队做了一件有趣的事,让虚拟人物跟孩子进行交互,他们可以用你的嘴型去控制特朗普的嘴,用不同的表情去控制特朗普的表情。

11月-14-2017 17-45-26.gif

你可以想象,如果我有一个虚拟人物,又有这样一个表情或者语义识别的系统,那么我就可以远程控制这个人。我相信在不久的将来,人的生活会越来越便捷,越来越不孤独。更重要的是,我们的生活会越来越有意义。 

研发药物

刚才讲的很多技术都用于娱乐上,但是除了娱乐之外,还有一个场景的应用, 就是用VR和AR来做药物的研发。

比尔盖茨_clip.gif

这段短视频描述的是当时比尔盖茨戴着VR眼镜观看病毒抗体的机理过程。大家都知道病毒和细胞整个的侵犯过程,叫一个docking prcess(对接过程)。它就像黏贴上整个细胞膜一样,黏贴的部位有特殊的结构。

利用这个VR系统,你可以看到这个特殊的结构是什么样子的,从而来研发新一代的抗体药物,阻止它黏贴在这个细胞膜上。 

虞晶怡0907.027.jpeg

另一个有意思的工作是我们现在正在开展的。在上海科技大学我们建了一套远程教育中心,在这样一套远程教育中心里有一个巨型的球,用来拍摄老师上课,然后你可以把老师授课的数据远程传输出去,让贫困地区的孩子也可以任意角度进行观看,我觉得这是一件非常有意义的事情。

除此之外,你还可以戴上AR眼镜,看一个普通的平板电脑里跳出的东西,你可以解析它,从各个角度进行观看。   

最后,我想说,AI当然会改变这个世界,但是在AI读取世界的同时,也会赋予生命新的意义。

强大的人工智能让以前那些天方夜谭的梦想变成现实,还让我们深度思考:我们是谁?从哪里来?到哪里去? 

谢谢大家!

19:29
范凌 特赞|Tezign信息科技创始人&CEO 同济特赞设计与人工智能实验室主任

我们应该解构组织,让全人类的创造力实现共享

2017-11-20
15:19
曹寅 能源区块链实验室首席战略官 爱沙尼亚数字国家计划顾问委员会成员

爱沙尼亚这个东欧小国,如何用数字技术重建了一个国家?

2017-11-13
19:12
Chris Lehane Airbnb爱彼迎全球资深副总裁 公共政策及公共事务负责人

Airbnb共享住宅的核心根本是什么?

2017-11-13

造就评论0

造就  发现最有创造力的思想