创新工场砸数千万元力挺,FOCO正让好莱坞影视工业级的数字人走进千家万户|互联网3.0产业系列访谈

创新工场砸数千万元力挺,FOCO正让好莱坞影视工业级的数字人走进千家万户|互联网3.0产业系列访谈
2023年10月16日 18:00 i黑马

来源:i黑马

文|李夜文|李夜

编辑|马继伟

2023年,创新工场获得一颗“明珠”。

这颗“明珠”是一家做AI数字角色的公司——FOCO。就数字人而言,好莱坞大片特效中的数字人是王冠上的明珠,FOCO团队参与了明珠的打造。据了解,包括创始人周逸夫在内的多位成员都成参与过《沉睡魔咒》、《黑豹》、《蜘蛛侠》等多部迪士尼、漫威大片的制作。

这群人并不想继续制作王冠上的明珠,而是想让所有人都能够拥有“明珠”。

今年6月,创新工场独家领投FOCO数千万元天使轮。创新工场对于FOCO期待颇高:FOCO同时拥有在数字人生成和多模态驱动方面的国际顶尖团队,行业经验积累深厚。AI2.0平台和应用将颠覆许多行业,期待公司能在AI2.0时代的影视、游戏、音乐等泛娱乐行业打开新天地。

(2015年洛杉矶,周逸夫与漫威之父史丹李合影。)(2015年洛杉矶,周逸夫与漫威之父史丹李合影。)

抓住数字人的下一个机会

打造复联3/4中“灭霸”这样的顶级数字角色需要几步?

首先,根据漫威的概念设计和演员乔什·布洛林的面部结构,对灭霸的基础模型进行建模和雕刻,创造出灭霸的主要和次要形态。 其次,在Photoshop和Mari中进行纹理绘制和投影,为灭霸的皮肤添加精细的细节,如皱纹、毛孔、色调变化等。第三,对灭霸的面部动画进行捕捉和处理,并借助深度学习技术,纳米级还原角色的微表情。最后,根据电影中不同的场景和照明环境,对灭霸的外观开发进行调整和优化,使灭霸能够在各种镜头角度下展现出逼真和丰富的表现力。

“灭霸”这样的角色是数字王国这个排名全球前三的影视公司制作的。创业之前,周逸夫在这家公司担任全球副总裁,并带领北京团队制作了大量电影中的数字人形象。他们追求质量,力求将每一个数字人的视觉质量做到全球顶级水平。

近些年,周逸夫接触了大量客户,发现他们都有应用落地数字人的巨大需求。他看到数字人正从影视行业走向更广泛的行业。调研期间,他看到活跃在泛行业的数字人,比如偶像类的数字人,AYAYI、柳叶熙、初音未来等,以及包括客服、前台在内的服务型的数字人。当时,数字人在B端市场已经开始热闹起来。新衍生出来的市场需求庞大且明确。

(2020年,周逸夫受时光网邀约,出演纪录片《我在中国做电影》)(2020年,周逸夫受时光网邀约,出演纪录片《我在中国做电影》)

由于特效公司的定位,数字王国无法为影视之外的行业客户甚至C端客户提供高性价比的数字人产品。周逸夫决定面向新客群设立新公司,希望利用以大模型为代表的AI技术,在数字人的生成端和驱动端实现指数级的降本增效。

“让高精度的数字角色,从电影中走出来,走进千家万户。”他想加速这一进程。

在采访中,周逸夫强调“指数级的降本增效”。这是摆在周逸夫以及其他数字人公司面前的公开命题。他们都十分清楚实现“指数级的降本增效”对于抓住数字人的下一个机会意味着什么。如果说泛行业客群的数字人需求将门打开了一条缝,而“指数级的降本增效”将使得整扇大门洞开。

“指数级的降本增效”意味着通过低价、创造额外收入、低运营成本等组合拳将次第打开一个又一个应用市场。以直播为例,数字人为带货主播创造收入的方式是24小时不间断直播。如果以前这位主播一人一天直播的上限是12个小时,这多出来的12个小时便是数字人带来的额外收益,也即数字人能为用户创造的额外价值。“额外价值越高,付费意愿越强烈。”周逸夫说。

FOCO路经

围绕“指数级降本增效”,国内数字人公司各显其能。因为各家拥有的资源与优势不同,导致他们各自的技术解决方案也不尽相同。

(FOCO创始人周逸夫数字人效果展示)(FOCO创始人周逸夫数字人效果展示)

“在拥有同样客观制作条件的情况下,我们呈现的效果是行业领先的。”周逸夫说。

而之所以能够做到这一点,他认为这离不开FOCO之前在影视工业数字人所积累的经验和数据。前文数次提到FOCO团队在好莱坞参与过诸多影视作品的特效制作。周逸夫称,FOCO因此积累了海量影视级数字人形象的三维资产以及全行业中质量最高的动作数据库。团队方面,FOCO现有20人左右的团队,一部分是从大型影视项目制作团队出来的、身怀好莱坞影视数字人制作技术的那批人,另一部分是来自清华大学、北京大学、南加州大学实验室的AI算法团队。“好莱坞影视技术与AI技术深度融合,将为市场带来丰富多样、栩栩如生的数字人矩阵。”

(FOCO研发的AI 2D数字人(右上)与AI 3D数字人(左)对话测试)(FOCO研发的AI 2D数字人(右上)与AI 3D数字人(左)对话测试)

2022年11月至今,FOCO初步跑通了数字人的生成系统和驱动系统。“验证了我们可以实现数字人的生成和驱动。未来,实现指数级降本增效的逻辑是成立的。剩下的,便是保持初心,持续研发。”

数字人的生产流程是这样的。以周逸夫参与的邓丽君数字人项目为例,一只近10人的团队历时4个多月打磨出邓丽君的数字人形象;然后又一头扎进动捕棚里,采集动作捕捉数据;再由动画师精修动画,最终邓丽君数字人形象呈现在周杰伦演唱会的舞台上。

邓丽君数字人的打造过程,可以分为两部分,分别对应FOCO数字人的生成系统和驱动系统——在采访中,周逸夫也将它们称作3D数字角色的生成与驱动大模型。未来,FOCO还将借助Project AI 2.0的模型能力打造大语言模型,也即数字人的“大脑”。

(在周杰伦演唱会上,「虚拟邓丽君」现身与周杰伦对唱《千里之外》)(在周杰伦演唱会上,「虚拟邓丽君」现身与周杰伦对唱《千里之外》)

打造这两个模型的过程与其他公司类似。首先采集、采集并清洗数据,打造一个精度足够高、丰富性足够强的数据库。其次在数据库的基础上,利用自研算法进行模型训练,并在此过程中迭代。

周逸夫说,最难的点是在数据的采集和优化上。优化指的是通过动捕设备采集到的数据无法1:1还原真实物体世界中的坐标轴信息,这就需要具有多年制作经验的动画团队清洗数据及优化,使动作足够标准。

“目前,数据丰富性同样不够,还需要更多的数据完善它。”周逸夫说。

他进一步解释,比如一个微笑的面部表情,1000个人有1000种微笑。为了呈现一个自然的微笑,FOCO可能需要采集1000种不同的微笑表情,再利用这些微笑数据生成一个微笑。这样,数字人在微笑的时候,才更自然,表情也更丰富。“这需要有足够优质的数据才能够实现。优质有两层意思,一个是数据的丰富多样性,另一个是数据质量。比如微笑这一动作,它的表情信息要足够丰富、精度要足够高。”

结语:FOCO走在正确的道路上

为了解决数据丰富性的问题,现阶段,周逸夫花了与技术研发相同的精力和时间用于开发项目(另一方面为大规模商业化做准备)。

目前,FOCO正通过商业化构建与技术研发相互协同的数字飞轮。FOCO正与2-3个线下数字文旅项目洽谈。据了解,它们都是近千万年人流量级别的项目。除了数字文旅,FOCO还在试水IP型市场。FOCO计划与泛娱乐客户比如艺人经纪公司、影视娱乐公司、大型MCN机构联合打造偶像型数字人。“数字人的IP形象偶像化核心看创意、内容,这一块是我们的强项。”

总的来看,FOCO正走在正确的道路上。(记者杨雪涵对本文亦有贡献。)

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片