虞晶怡 叠境数字科技 创始人、首席科学家

世界上的另一个你——如何创建一个“数字分身”

造就 TALK · 2018-12-24 · 18:05:58

造就第398位讲者 虞晶怡

叠境数字科技 
创始人、首席科学家

WechatIMG259.png

大家好,我是上海科技大学虞晶怡,那今天我talk演讲的题目就是“Fiat Lux构建数字互联世界的第一道光”。

它的意思就是让世界有光。我要讲的是怎样在数字世界带来这样一个光明。

_HAN6810.JPG

毋庸置疑,我们都处一个从物理世界向数字世界这样一个转换的过程,这个数字世界里面最难以复现的是什么呢——就是我们人本身。怎么样能够把“人”作为一个个体来数字化,就是我今天演讲的主题。

拥有“分身”是一种怎样的体验?

“重建”图灵

讲到这个主题,首先就要讲讲我们这个开山鼻祖阿兰·图灵,大家可能看过这个本尼迪克特·康伯巴奇演的《模仿游戏》,我们稍微看一个《模仿游戏》的一个片段。

图灵不只是人工智能的鼻祖也是计算机的鼻祖。他创始了整个把物理向数字世界转换的这样一个过程。

2461545579111_.pic_hd.jpg

今年的年初,在上海举办了一届世界图灵大会,当时的主办者来问我说,虞老师你是很擅长把人物进行三维数字化的,你能不能帮我把图灵三维数字化呢?

这个难度非常的高,为什么呢?图灵早在1954年就已经过世了,我怎么能够三维数字化他呢?所以我们想了一个办法。

我们找了一个学生,他长得瘦瘦高高的,非常像图灵,当然他的脸不是很像图灵。那么我们就用三维数字化的方法,把他整个三维几何数字化了,我们直接用“卷福”的脸对他的脸做了一个三维的移植。

最后我会给大家秀这样一个demo,怎么样把真的和假的融合在一起,形成一个虚拟的人物。

小提琴演奏者

拉小提琴.gif

那我给大家看一些我们最近做的很有意思的项目。第一个项目是我们和美国朱莉亚音乐学院拍摄的音乐教学。

这个人手里拿了一个小提琴,然后我们在这样一个Dome System里面,用75个相机进行拍摄。我们能够重建它非常高清的三维几何,大家可以看到,它的小提琴对于人身体的遮挡是非常严重的,很多相机都看不到被小提琴遮挡住的人的手臂。

但是用深度学习的方法,能估算出人的手臂大约是在什么地方。然后再用几何的方法把它填充过去,就能产生这样一个接近完美的、三维360度观看的这样一个体验。

健身教练

健身.gif

我们再来看一个很有意思的demo,这个demo大家都会用keep或者是用fit time。大家经常看到的健身的demo,无非就是一个2D的图片,其实你并不能看到你的训练者他到底是怎么来进行运动的。

这是我们做的,这是我的学生,他练得非常好。所以我们拍了一个他的三维健身的片段。因为我们是用360度3D拍摄的,所以你可以从任意角度进行观看。

更有意思的是,你可以把虚拟的肌肉绑定在一个模型身上,然后再把它进行分离。这样当你训练的时候,你就知道哪一块肌肉是发力正确的,哪一块肌肉是发力错误的。这个相信大家会在新的健身平台上看到这个demo。

“三维重建”——感知、行为、认知

2471545579124_.pic_hd.jpg

回过头来讲图灵,在图灵逝世两年之后开了一个全世界最重要的大会,叫达特茅斯大会。启动了AI人工智能,大家确定了研究人工智能的一个方法,这个方法就是大家中学的时候学到的笛卡儿的方法。

2481545579130_.pic_hd.jpg

它是把整个人工智能的问题分解为三个不同的部分,第一个是Sensing,就是怎么样来对三维世界进行感知;第二部分是Action,怎么样通过感知的数据进行行动,今后就会发展成机器人等等;最后一部分是Cognition,认知,如何把采集到的数据,像人一样进行思考和分析。

在经过了整整60年之后,由于深度学习的高速发展,使得这三个问题又重新整合在一起了。这个方法论是亚里士多德的方法论,叫做Holism。把这个三维一体重新整合在一起来进行这样一个分析。

我们今天要讲的就是把人数字化,这样一个解决方案其实就大大地借鉴了Holism的方法。

感知,眼睛的启示

我们一步一步来看,感知、认知和行为分别是怎样影响到新一代的数字化的技术。

这里就要讲到人的眼睛了。人的眼睛是一看到“我”,你就知道“我”是三维的,你不需要通过移动等等。所以人的眼睛应该是最好的一个三维分析器。人的眼睛很神奇,它有几大功能。

第一称之为Stereo或者叫Stereo Parallax立体视差。人有两只眼睛,两只眼睛分别看到不同的物体,你在不同的角度可以看到我。

第二,叫做Refocusing(再次对焦)闭上一只眼睛,你仍然能够判断出,我站在了这样一个屏幕的前面,因为你的焦距发生了变化。当你对焦到我身上的时候,我的脸是清晰的,当你对焦到后面的时候,你会发现后面的图像是清晰的。

第三,人的眼睛是跟人的大脑相连接的。那就确定了人的大脑可以通过分析数据,产生语义的分析。它可以分析我这个图像,知道我是一个人而不是一个兔子,对不对?所以它可以根据这三个功能产生一个三维的分析。

而我们现在的人工智能核心算法也正是借鉴人眼这样一个核心技术。

13.gif

我们一步一步来,先说说Sensing,就是感知。在过去的10年里,感知取得了巨大的变化。我不知道在座多少人在家里玩过Microsoft Kinect,你可以在里面跳舞,进行三维的这样一个skeleton,叫骨骼抓取。

通过这样的技术,你可以产生比较高清的三维的几何。这个几何并不是非常的精确,它没有纹理,它只能产生一个几何的这样一种信息。

19.gif

最近VIVO推出了一款新手机,其实iPhoneX也提出了这样用结构光的方法,一张就能拍出三维的效果,这样的三维感知技术会越来越会深入到大家的生活之中。

今后大家可以通过手机拍摄自己三维的几何结构。当然,这样的几何结构仍然不够高清,怎么样能够把它做得更高清?

我们做过一个拍摄,五张图片就能够产生超高清的三维的人脸。因为各位太关心自己的人脸了,如果人脸拍得不好怎么发朋友圈,对不对?我们通过这五张照片能够把脸上所有的皱纹、胡茬全都呈现出来。

有了这样一个技术,你可以做3D美颜,你可以把这个皱纹去掉等等。可以通过这样一个多视角的拍摄系统,加上结构光的拍摄系统,产生一个高清的三维的几何,完成第一步感知。

重建—虚拟三维世界的建立

第二部分是重建,重建的意思是说,你如果没有结构光这样的三维感知器,可以用自己的眼睛围着一个物体看。

比如说,当你看一样东西的时候,你通常会围着它看,以获取它的三维的结构。我在十年以前在美国做的一个项目,为这个脚进行一个三维高清的一个建模。当时是因为很多老兵的脚受了很多的伤,所以想建造出一个非常高清的三维的骨骼的固定器来修复脚的损伤。

2501545579145_.pic_hd.jpg

2511545579153_.pic_hd.jpg

通过这个技术我们可以发现,如果我能够从不同的角度进行拍摄,就可以把一个三维的物体进行重构。

这是因为人的大脑通过观看三维的这样一个物体,产生了Correspondence。你知道这个点对应那个点,然后通过移动就产生一个三维的预计的感知。

在上海科技大学只要30分钟就可以了,我们搭建了一个用75个相机组成的对内环拍系统,它可以360度无死角地对一个动态的人进行拍摄,然后像人眼睛一样Correspondence,把整个的三维的人体进行一个高清的重建。

这样一个高清的重建本身其实还是有很大的难度的,为什么呢?人是移动的,人的手、身体的遮挡的关系能产生非常复杂的变化。

当我的手遮住我的身体的时候,在座的观众仍然能够知道我的手是在身体的前面还是后面。你不会因为有这样的遮挡而无法判断身体的三维几何。那么人是怎么做到的呢?

人是通过大量的三维训练的数据得到的。从小到大我们明天都在看人,所以我们知道人是怎样做这个移动的,怎样做这个行为的。

通过这样的训练的数据,你可以在非常强的遮挡下仍然获取非常高清的几何,这就是深度学习的魅力了。

深度学习采集到了大数据,用这些数据来填补了很多复杂的问题。

认知,一切从认识世界开始

当我们在网上逛淘宝看到一个杯子的时候,我一看就知道这是一个三维的杯子,我不需要360度进行观看;当看到一个人脸的时候,我只要看一张图片,就能够瞬间把这个三维的2D的人脸转化为3D的人脸。

这是为什么呢?是因为人看了大量的3D处理的数据,根据大量数据可以从2D的图片直接推算出大概它3D的样子是什么样的。

这就是认知。

整个的技术核心,就是把这三个技术,用亚里士多德Holism的方法三维一体地结合在一起,进行一个高清的人体的三维重建。

全息通话、在线试衣离我们有多远?

2521545579160_.pic_hd.jpg

刚刚讲的所有的重建都离线重建,需要大量的时间进行三维的重建,因为需要深度学习的过程。

我们展示的一个最新的技术是和中国移动合作的,实时进行三维转播。

大家可能看过《星球大战》,《星球大战》里最酷的一个就是叫hologram,对不对?叫做全息通话。

这个全息通话离大家非常非常近了。我们用十相机的系统拍摄,这个人拍摄出来就是一个3D人物。然后通过和华为的5G合作,和中国移动合作,把这样一个人物栩栩如生地直接展现在你的平台上面。

如果你有一个全息投影系统的话,你就会看到这个人实时地跟你在进行全息通话,是无延时的一个实时重建。

最近我们做的是如何试衣服,对于人体来说,试衣服几何的重建是简单的,衣服的重建也是简单的,但是衣服有一点比较难。

因为衣服是具有光泽的,传统的这些衣服有丝织的、有棉布的,不同的材质有不同的光泽。那如何进行这样一个光泽的一个重现呢?

这就需要在采用了一个多视角拍摄以后,根据多个视角采样得到的图片,用机器学习的方法识别出不同的物体的材质。

这是早期我们采用了机器学习的方法,重建唐三彩这样一个非常复杂的马。这样的材质是半金属半陶瓷的一个结构,进行材质的分析和三维的复现。

试衣服.gif

那现在我们用同样的技术把它转换到人的试衣服上,我们看一下人试衣服,这可能是大家可以看到的最接近真实的试衣服效果。

我们看一段视频,这是我们用系统产生的一个高清的三维的人体模型。然后我可以选择不同的衣服套在她身上,我可以实时地进行试衣、换衣。

4.gif

我给大家做一个demo,这是用无限网络传播的,可能速度稍微慢一点。

第一个demo是我们拍摄的一个女明星的三维的效果,这个女明星是吉克隽逸,我想很多人粉吉克隽逸,但是可能从来没有人这么近距离地看过她。

你还可以看到她非常高清的三维的人脸,而且她的遮挡都是正确的。我想今后的娱乐体验是大家在看《我是歌手》等等节目的时候,这个明星就会在你面前进行表演了。

20181223235929.gif

第二个demo是我们最近拍摄的一个极限运动。这个自行车的复现,我们当时非常担心拍不出来,因为它非常复杂,又有人,又有车。

自行车很常见,但是大家没有看到过慢速的,那我想今后观看娱乐节目,都会通过VR和AR看到一个人冲进去的效果。

20181223235937.gif

最后一个demo,我想大家也是会很感兴趣。这是我自己,大家看了半天,第一想到的就是,这个技术能不能复现一个我自己,对不对?用这个技术,每个人都可以复现一个自己,然后放在一个虚拟的世界里面,放在一个智慧的城市里面,放在一个智慧的未来里面。

其实“他”是在说话的,他说To see is to believe,to believe is to see。

因为看见,所以相信,因为相信,所以看见。


文字:王锐

校对:其奇

  • 科技
  • 人工智能
  • 数字
14:57
周乐 西交利物浦大学 新媒体艺术家、多媒体通信方向在读硕士

如何1秒钟创作出一幅水墨山水画?

2018-12-20
15:41
程飞 西交利物浦大学电气与电子工程系 博士,AI创业者

开局只有一条狗,如何做成AI无人购物系统?

2018-12-19
17:43
仲伟东 中国船舶及海洋工程设计研究院 研究员

传说中的填海造陆究竟是怎么一回事?

2018-12-18

造就评论0

造就  发现创造力