详情

作家 |Justine Moore 是风险投资公司 a16z 的合股东说念主，专注于消费领域，绝顶是 AI 公司的投资。她领有斯坦福大学的经济学学士学位和工商顾问硕士学位。

开首   | Z Potentials  管千里着安详慧 AI+

筹商合营 | 13699120588

著述仅代表作家本东说念主不雅点

图片开首：Youtube

摘录

AI 虚构东说念主模子架构从 CNN、GANs 演进至 Transformer+ 扩散模子，完了从单一面部驱动到半身 / 全身动态生成的跨越，口型同步与多模态协同阐明显耀普及。

AI 虚构东说念主应用场景世俗，个东说念主消费者领域为创意抒发开辟新天地，中小企业可低资本制作告白，大型企业在职工培训等多领域深度应用。

当下 AI 虚构东说念主在变装连贯性、面部当作、体格当作、与环境交互、及时应用等方面期待更多突破，畴昔有望催生诸多改变及时应用场景。

当 AI 不再只是局限于内容生成，而是迈向内容具身化时，寰宇将会发生若何的改变？当下，AI 已熟练掌执生成高度传神相片、视频及语音的技能，得手通过了视觉与听觉维度的图灵测试。而其下一个要紧突破，正聚焦于 AI 虚构东说念主领域：将特定的东说念主脸与特有的声息和会，塑造出能够安闲交流的鲜嫩变装。

或者有东说念主会想，能否毛糙生成一张东说念主脸图像，使其动起来并配上画外音？本色操作远非如斯绵薄。其中的挑战，绝非仅停留在精确完了口型同步，更关节的是要确保面部表情与肢体语言协归并致，完了当然开放的配合。试想，若一个东说念主嘴巴因讶异而大张，可面颊与下巴却不识时务，这场景该是何等歪邪；又或者，声息满含好听心境，可对应的面部却毫无波涛，那么全心营造的类东说念主错觉陡然便会豕分蛇断。

值得欢畅的是，咱们已然目睹这一领域获取了切实进展。AI 虚构东说念主现已世俗应用于内容创作、告白实施以及企业换取等多个领域。虽说刻下的虚构东说念主大多只是能话语的头部形象，虽具备一定实用性，但功能存在显着局限。不外，归来往常几个月，诸多令东说念主奋斗的改变后果握住涌现，足以意想，在不久的将来，该领域必将迎来更为要紧的突破与发展。

在本文中，基于对 20 余款 AI 虚构东说念主居品的切体格验与深度测试，我将为寰球深入剖析目前切实可行的技能决议、畴昔的发展趋势，以及现在商场上那些最为相亲相爱、令东说念主印象深切的 AI 虚构东说念主居品。

酌量如何发展演进？

AI 虚构东说念主号称一个极具特有挑战性的酌量课题。打造一个会话语的东说念主脸形象，模子得掌执传神的音素到视位映射，也就是语音中的音素，与相应口型当作视位间的关系。一朝这种映射出现偏差，嘴巴当作和声息就会不同步，甚而显得绝对脱节。

问题的复杂之处还在于，话语时并非只须嘴巴在动。脸部其他部位会协同通顺，上半身偶然也会参与其中，甚而双手也可能会有当作。而且，每个东说念主都有特有的话语立场。不妨想想我方话语的表情，再对比一下喜欢的名东说念主：即便说归并句话，两边嘴巴的当作也会有分辨。淌若把我方的口型同步到名东说念主脸上，效果会格外歪邪。

往常几年，从酌量视角看，这一领域发生了显耀变化。自 2017 年起，我研读了 70 多篇关联 AI 会话语头像的论文，明晰地看到模子架构的发展眉目：从卷积神经汇集（CNNs）和生成造反汇集（GANs），到基于三维的神经放射场（NeRFs）和三维可变形模子等方法，接着演进到变换器（transformers）和扩散模子，而近期则发展为基于变换器架构的扩散模子（DiT）。以下时刻轴标注了每年援用量最高的论文。

图片开首：a16z

在 AI 领域，虚构东说念主联系模子的生成质地与智力完了了飞跃式普及，和早期比较，简直不可等量都不雅。早期方法极为受限，以单张东说念主物相片为例，先将相片东说念主物脸部属半部分遮住，再依据音频输入的倡导面部特征点，生成新的嘴部当作。但这些模子测验所依赖的高质地口型同步数据语料库规模有限，且其中大多数数据都只是牢牢框定东说念主物面部进行裁剪。就拿"让奥巴马对口型话语"这类效果来说，要完了相对传神的呈现，需要汇集倡导东说念主物长达数小时的视频素材，而况最终输出的收尾在各样性和阐明力上都大打扣头。

反不雅当下，模子的活泼性与强猛进程令东说念主赞好意思。归并视频里，它们既能生成半身乃至全身当作，塑造有条有理、会话语的东说念主脸形象，还能让布景呈现动态变化。这些新式模子的测验方式，与传统文本转视频模子更为相似，而况依托海量数据集张开。为了在各样动态中永远保持口型同步的精确度，模子愚弄了丰富各样的技能妙技。

早在本年 2 月，字节卓绝推出的 OmniHuman-1 模子便领先展现出这种前沿趋势（该模子近期已在 Dreamina 平台上线供用户使用）。统共这个词行业发展势头迅猛，3 月，Hedra 发布 Character-3 模子，经咱们径直对比测试，该模子在大多数本色应用场景中阐明号称顶尖。Hedra 的苍劲之处不啻于东说念主类变装，像为 Waymo（驰名自动驾驶公司）打造会话语的虚构形象也不在话下，用户还能通过输入文本，活泼设定变装的情感气象与当作阐明。

跟着吉卜力责任室立场高涨等行业趋势的推动，围绕 AI 动画的全新应用场景如连车平斗般握住涌现。

AI 虚构东说念主在试验寰宇中的多元应用

AI 虚构东说念主的应用场景可谓包罗万象。不妨遐想，凡是触及与变装交互，或是不雅看东说念主物讲话视频的场景，都有其用武之地。目前，从个东说念主消费者到中小企业，乃至大型企业，各个领域都已动手应用 AI 虚构东说念主。

这是一张早期的商场形状图。该领域正赶紧发展，居品之间的分辨界定仍较为普通。表面上，很多居品都能为大多数乃至统共这些应用场景打造虚构东说念主。然而在本色操作中，构建一套高效责任经过，并精确调校模子，使其在各个方面都能相亲相爱，绝非易事。以下，咱们将逐个梳理商场各细分领域利用 AI 虚构东说念主的具体实例。

个东说念主消费者领域：变装创作新风俗

现今，借助 AI，普通东说念主仅需一张图片，就能放荡打造动画变装，这无疑为内行的创意抒发开辟了全新天地。关于渴慕愚弄 AI 敷陈故事的东说念主而言，这一突破意旨不凡，如何夸赞都不为过。归来早期的 AI 视频，常被东说念主吐槽为"图片堆砌的幻灯片"，关键之一就在于缺少能当然对话的变装，语音经常也只是单调的画外音格式。

而当创作的变装能够启齿交流，内容陡然就鲜嫩兴味起来。除了传统叙事视频，东说念主们还能借助 AI 创造出立场分辨的作品，比如虚构主播、AI 播客以及音乐视频等。此处附上的精彩视频，均出自 Hedra 平台。在 Hedra 上，用户只需上传一张运行图片，再搭配一段音频编订或者剧本，就能塑造出灵动鲜嫩、能说会说念的变装形象。

淌若你手头的素材是一段视频，Sync 器具可派上大用场，它能精确匹配口型，让变装的面部当作与音频严丝合缝。倘若你想借助简直东说念主类扮演驱动变装当作，Runway Act-One 和 Viggle 等专科器具便能助你成仁之好意思，完了创意构想。

在稠密愚弄 AI 创作变装动画的创作家中，Neural Viz 是我的心头好。其打造的《单一天地》系列，果敢畅想了一个由格卢伦东说念主掌握的后东说念主类天地寰宇，充满奇妙联想。如今，投身这一领域的门槛大幅质问，不难意想，AI 生成的精彩节目行将迎来爆发式增长，甚而会催生出一批独具脾气的虚构网红，这都只是时刻问题。

跟着虚构东说念主及时直播技能日益隆重，咱们不错预预见，诸多面向消费者的企业，将会把虚构东说念主深度融入用户界面，成为关节组成部分。遐想一下，学习外语时，陪同你的不再是冷飕飕、毫无心扉的电子语音，而是一位形象生动、性格显着，能及时互动的 AI "专属锻真金不怕火"。像 Praktika 这类前锋企业，已然开启了这一改变尝试。假以时日，这种东说念主机交互模式必将愈发普及、当然，融入内行日常生涯的方方面面。

中小企业：挖掘潜在客户的新利器

在现在数字化营销波浪中，告白领域领先成为 AI 虚构东说念主艰苦奋斗的"主战场"。以往，企业投放告白经常得聘用专科演员，组建高大制作团队，消费大都东说念主力、物力与财力。如今，借助 AI，企业只需轻点鼠标，就能让有条有理的虚构变装为自家居品掩旗息饱读。以 Creatify 和 Arcads 这类前沿公司为例，企业仅需提供居品聚积，它们便能一站式治理告白制作全经过：从全心锻真金不怕火剧本，到筛选适配的缓助镜头、居品图片，再到精确"遴选"虚构演员，一气呵成，无缝连接。

这一变革透顶冲突了传统告白制作资本的壁垒，让稠密中小企业得以踏进告白营销的舞台中央。在电商企业、游戏厂商以及消费类应用设置公司中，AI 生成告白的模式备受可爱，热度居高不下。说不定，你在刷 YouTube、TikTok 时，不经意间就已被这类 AI 告白"圈粉"。当下，不仅面向消费者的企业尝到了甜头，B2B 领域的企业也纷繁机敏捕捉到商机，借助 Yuzu Labs、Vidyard 等先进器具，巧用 AI 虚构东说念主，开展内容营销，或是进行精确个性化实施，开荒业务新渠说念。

在具体制作过程中，诸多居品会将虚构演员形象（既然则试验东说念主物的复刻，也能是原创特有变装），与居品靓照、精彩视频片断、适配音乐等多元素材有机和会。使用者既能自主把控各样素材的呈现位置、展示节拍，打造专属创意立场；也能一键开启"智能托管"模式，让系统依据居品脾气、营销倡导，自动生成吸睛视频。剧本创作方法相通活泼，既支撑用户亲自操刀，融入特有构念念；也能借助 AI，快速生成专科剧本框架，为创作赋能。

大型企业：规模化内容产出的新引擎

关于大型企业而言，AI 虚构东说念主的应用界限早已突破营销界限，在多个关节领域深度赋能，阐明着不可小觑的作用。

•职工学习与发展：大型企业东说念主员规模高大，职工培训栽植需求繁芜。从新职工入职团结，到合规计策解读、居品常识科普，再到技能进阶普及，都离不开大都培训栽植视频的支撑。传统制作方式耗时勤恳，而 Synthesia 等前沿 AI 器具的登场，透顶改良了这一时事。它能将内容创作经过自动化，极大质问制作周期，完了高效、规模化产出。以销售岗亭为例，销售东说念主员可借助 Anam 等居品中的虚构东说念主，反复模拟谈判场景，千里浸式锻真金不怕火谈判技巧，切实普及业务智力，让培训效果一本万利。

•内容腹地化定制：跨国企业客户与职工遍布全球，为契合不同地区文化、语言分辨，内容腹地化至关重要。以往腹地化责任繁琐复杂，如今 AI 虚构东说念主让这一难题治丝而棼。通过智能技能，企业能快速替换视频中的语言、文化元素，精确适配不同地域受众。再搭配 ElevenLabs 等公司提供的先进语音翻译技能，归并视频可放荡迂曲为数十种语言版块，且语音当然开放，毫无违和感，助力企业跨越语言鸿沟，深度融入全球商场。

•高管形象拓展与影响力普及：在大型企业里面换取与对外品牌塑造中，高管形象至关重要。借助 AI 虚构东说念主，企业能克隆高管形象，打造专属数字分身。从此，居品发布、重要节日致意等方位，无需高管亲临拍摄，其数字分身就能精确传递信息，大幅拓展高管影响力放射范围。此外，Delphi、Cicero 等改变公司，还为企业念念想首长搭建起与内行深度互动的桥梁，冲突时空铁心，让首长们放荡报告来自各方的疑问，进一步强化企业品牌的泰斗性与亲和力。

AI 虚构东说念主的组成因素领会

打造一个令东说念主信服的 AI 虚构东说念主，号称一项极具挑战性的任务。每一个关乎简直感呈现的因素，都遮挡着辣手的技能难题。这可不只纯是逃避"恐怖谷效应"那么毛糙，实则触及攻克动画制作、语音合成以及及时渲染等领域的关节难题。底下，咱们深入剖析构建虚构东说念主所需的中枢因素，探讨完了无缺效果为何贫瘠重重，以及当下获取的进展情况：

•面部：不管是复刻试验东说念主物，照旧塑造全新变装，都条款虚构东说念主的面部在不同画面帧间保持连贯一致，且在话语时，面部当作能作念到有条有理。不外，让虚构东说念主依据所处情境，当然展现出相应面部表情，依然一大挑战。比如，虚构东说念主说"我累了"时，要同步作念出打哈欠的当作，这绝非易事。

•声息：声息不仅要简直当然，还得与虚构东说念主的变装形象高度契合。试想，一个芳华青娥样子的虚构东说念主，淌若配上中年女性的声息，那违和感简直扑面而来。目前，咱们战役到的多数 AI 虚构东说念主企业，都可爱使用 ElevenLabs。这个平台语音库资源丰富，还支撑用户克隆专属我方的特有声息。

•口型同步：完了精确、高质地的口型同步，技能难度颇高。Sync 等企业就专注于攻克这一难题。而像 Meta 推出的 MoCha，以及 OmniHuman 这类模子，则依托海量数据集张开测验，愚弄多元技能，让面部生成过程与配套音频紧密绑定，使每一帧面部画面都能精确匹配音频，完了口型同步。

•体格：虚构东说念主可不成只是个"光杆司令"，只袒露个脑袋飘在空中。新一代模子已能完了全身虚构东说念主的创建，且支撑当作呈现。但不管是进一步拓展其功能丰富度，照旧优化用户使用体验，刻下仍处于起步摸索阶段，还有很长的路要走。

•布景：虚构东说念主非沉静存在于真空环境中。其所处环境的色泽效果、空间景深，以及与周遭物体的互动气象，都得与合座场景谐和长入。瞎想气象下，虚构东说念主应具备与环境物体交互的智力，比如放荡提起一件居品，确凿融入场景之中。

倘若祈望虚构东说念主能及时参与对话，比如加入 Zoom 视频会议，还需增添以下关节因素：

•"智能大脑"：虚构东说念主得具备"念念考"智力。当下支撑对话功能的居品，大多允许用户上传常识库，或接入现存常识库。权衡畴昔，更先进的居品版块有望赋予虚构东说念主更强的牵挂智力，塑造显着个性。这么一来，虚构东说念主便能明晰难忘与用户过往的交流内容，在互动中展现特有立场。

•及时流传输：要在保证低延伸的前提下，开放完了上述统共功能的及时流传输，技能难度极大。LiveKit、Agora 等居品已在该领域获取一定突破，但要让各样模子协同运作，同期将延伸适度在最低规定，仍靠近诸多挑战。虽说像 Tolan 这种集语音与面部形象于一体的 AI 外星东说念主伙伴，在及时流传输方面阐明出色，但从行业合座来看，后续仍有大都优化责任亟待鼓吹。

咱们期待若何的突破？

AI 虚构东说念主领域依旧蕴含着巨大的发展后劲，亟待咱们去开荒与完善。以下几个方面是当下顺心的重中之重：

•变装的连贯性与可塑性：往常，AI 虚构东说念主的形象千人一面，经常仅有单一、固化的外不雅设定。不管是着装立场、肢体姿态，照旧所处的环境布景，均处于静态，缺少变化。如今，情况动手出现转机，部分居品已尝试为用户提供各样化汲取。以 HeyGen 推出的变装劳尔（Raul）为例，他领有多达 20 种不同形象，令东说念主目下一亮。但咱们祈望畴昔能领有更简便、更苍劲的功能，让用户能够运用自如地对变装进行全标的塑造与变换，确凿完了创意解放。

•面部当作与表情的进阶：长久以来，面部阐明一直是 AI 虚构东说念主难以攻克的薄弱方法。以往虚构东说念主的面部呈现效果生硬、板滞，犹如机械木偶，缺少不满与灵动性。不外，跟着技能的迭代更新，这一时事正冉冉得到扭转。举例，Captions 公司全新发布的 Mirage 模子，便得手完了了质的飞跃，能够展现出更为当然传神的面部外不雅，以及更为丰富多元的表情心情。咱们迫切期待畴昔的 AI 虚构东说念主能够深度显露剧本中的情感内涵与语境信息，并作念出精确、允洽的反映。联想一下，当变装在逃离怪物的病笃场景中，能陡然流袒露惊愕万分的表情，无疑将极大增强虚构东说念主的千里浸感与感染力。

•体格当作的当然呈现：刻下，绝大多数 AI 虚构东说念主在面部以下的体格部位当作匮乏，即就是最基础的手势当作，也极为萧索。现存的手势适度方式多依赖于事前设定的次第逻辑，活泼性与简直感严重不及。以 Argil 为例，用户仅能在有限的选项中，为视频的不同片断挑选特定类型的肢体语言，难以兴盛对当然交互的需求。权衡畴昔，咱们紧迫期盼能够见证更多当然开放、贴合情境的体格当作，让虚构东说念主在轻而易举间尽显简直与生动。

•与"试验寰宇"的交互拓展：现阶段，AI 虚构东说念主与周围环境的交互智力近乎为零，这成为铁心其应用场景拓展的关节瓶颈。短期内，一个切实可行且极具价值的倡导是赋予虚构东说念主在告白场景中与居品进行互动的智力，比如当然地提起并展示居品。值得欢畅的是，Topview 公司已在这方面迈出了坚实措施。跟着模子性能的持续优化，咱们对畴昔在这一领域的更多突破满怀期待。

•及时应用场景的全面拓展：在畴昔，AI 虚构东说念主有望深度融入东说念主们的日常生涯，催生诸多极具改变性与实用性的及时应用场景。遐想一下，与 AI 医师进行视频问诊，在专科的 AI 销售助理陪同下浏览满意居品，或是通过 FaceTime 与喜爱的电视剧变装畅聊……尽管目前在延伸适度与踏实性方面，距离东说念主类当然交互的瞎想气象仍存在一定差距，但技能的赶紧发展已使咱们越来越接近这一倡导。

行业将驶向何方？

归来往常几年在基础模子企业与 AI 应用领域的投履历程，咱们深切相识到一个兴味：准确预判某个特定领域的畴昔走向，简直是一项不可能完成的任务。然而，有极少不错坚信：跟着底层模子质地的显耀普及，如今已能生成不雅感致密、不再令东说念主"不忍直视"的 AI 会话语头像，这无疑为应用层的爆发式增长奠定了坚实基础。

咱们果敢预测，这一领域将滋长出稠密市值达数十亿好意思元的行业巨头。届时，商场将依据不同的应用场景与倡导客户群体，对居品进行细巧化细分。举例，相较于粉丝为一又友制作一段毛糙的动漫变装短视频，企业高管若祈望借助 AI 克隆体为客户拍摄专科视频，他们对居品的质地与简直感条款将更为严苛，同期也舒畅为此支付更高的用度。

此外，高效的责任经过相通不可或缺。倘若你计算借助 AI 虚构网红制作告白，一款能够自动索取居品详备信息、精确撰写剧本、智能添加缓助镜头与居品图片、一键将视频推送至各大酬酢平台，并及时评估告白效果的空洞性平台，将成为你的牛逼助手。反之，若你戮力于愚弄 AI 变装创作故事，那么一款支撑变装与场景保存复用、方便快捷拼接各样视频片断的器具，无疑将更契合你的创作需求。

原文：AI Avatars Escape the Uncanny Valley

https://a16z.com/ai-avatars/