华人创新3D动画视频生成器爆红上线,Discord用户数迅速突破400万大关
融合视频与3D生成的统一模型:在GenAI革命的最前沿,Viggle是一家专注于为内容创作者提供可控视频生成的公司,Viggle通过提供先进的技术——JST-1基础模型,使创作者能够将视频和3D生成结合为一个整体任务,提升了生成过程的时效性和可控性。 快速扩展的用户社区:在短短几个月内通过Discord技术娴熟的用户群体和内置的内容审核工具,Viggle的Discord社区成员数量从几千人迅速增长到超过400万,显示了其在生成式ai领域的强大吸引力和影响力。 华人AI专家创始团队:Viggle由华人创始人Hang Chu于2022年创立,在创立Viggle之前,Hang Chu曾是Autodesk AI Lab的首席研究科学家,并曾经在Facebook、NVIDIA和Google等全球领先的科技公司均有过丰富的职业经历。
正值印度总统选举民调高峰期,一段25秒的AI视频显示,欣喜若狂的纳伦德拉·莫迪在人群欢呼声中,随着宝莱坞歌曲在舞台上翩翩起舞引发了广泛关注。印度总理在X上转发了这段视频,称“在选举高峰期有这样的创意真是令人欣喜”。莫迪的舞蹈视频在X上的观看次数为3000万次,这段视频正是由Viggle生成,它允许用户拍摄照片,并根据教程中的一些基本提示,在短短几分钟内生成视频,展示照片中的人跳舞或做出其他逼真动作。
02 Viggle AI:创新与快速发展的生成式视频平台
Viggle由华人创业者Hang Chu于2022年创立,它是一款将静态图像转化为动态、逼真的3D动画生成式AI视频创作工具。Viggle为创作者、电影制作人和内容爱好者开启了全新的创作可能性。Viggle不仅仅是另一个动画工具,还代表了视频内容创作方式的范式转变。通过利用最先进的JST-1技术,Viggle在其动画中融入了逼真的物理效果,使其与传统动画方法截然不同。
Viggle以JST-1技术作为其驱动力,使得视频-3D基础模型能够从现有的2D视频资料中学习并构建出3D模型。这个过程不仅涉及到形状和外观的转换,还包括对角色动作和环境交互的物理理解。
“我们专注于构建我们称之为可控视频生成模型的技术,”Viggle创始人Hang Chu在接受TechCrunch采访时表示,“当我们生成内容时,我们希望精确控制角色的动作或场景的外观。目前的工具只关注从文本生成视频,而文本本身无法指定所有的视觉细节。”Viggle用户可以自定义角色的动作,模型将根据用户的指令进行相应的物理反应和动作调整。
Viggle目前提供手机端、web在线平台以及Discord社区三种途径供创作者使用。其中,Discord社区是其服务的核心平台:
Viggle 目前提供了一系列核心命令来创建和使视频中的角色动起来:分为/animate、/mix、/move及/multi。
/animate: 使用Prompt或预设的动作模板为静态角色添加动画
1.上传一张清晰的角色图片;
2.用文字描述你希望角色执行的动作,或者可以从提示的可用选项中选择一个动作模板;
3.选择“模板背景”、“绿屏”或“白屏”背景。
/mix: 将角色图片混合到动态视频中
1.上传一张清晰的角色图片;
2.上传一个具有清晰动作的视频;
3.选择“绿屏”或“白屏”背景。
/move: 使图像中的角色移动,保留原始图像背景
1.上传一张清晰的角色图片;
2.上传一个具有清晰动作的视频;
3.生成的视频会自动保留图像背景。
/multi:使用预设的动作模板为多个静态角色移动
1.该功能支持多人换脸,首先需上传清晰的含有多个角色的图片;
2.选择一个动作模板,并依次将人脸与视频角色进行匹配;
3.生成的视频会保留模版背景。
完成以上步骤后,Viggle将处理用户材料并生成最终的视频。用户可以在指定的Discord频道中收到通知,并可以下载生成的视频进行分享或进一步创作。
视频来源:Viggle
03 高可控性、高时效性视频生成,引领社交传播与动画效率革新
图片来源:x
传统上,视频和3D生成被视为两个独立的挑战。Viggle通过采用一种创新的联合解决方案,成功应对了生成式视频技术中的两个关键挑战:高延迟和低可控性。
可控性
Viggle与其他纯生成类AI产品(如Runway、Sora等)相比,提供了更高的可控性和预见性。在使用Runway等工具时,用户通过输入一段提示语生成视频,但无法预测最终的生成结果,需要多次尝试才能得到理想效果,并且缺乏对生成过程的控制。
而Viggle则允许用户上传已有的视频和图像,用户对最终生成的视频有明确的预期。Viggle通过模版与自上传视频动作学习能够快速并精确地生成用户预想中的视频内容,解决了其他AI视频生成工具中常见的可控性差的问题。这使得Viggle成为视频从业者和AI创作者的更优选择,尤其是在需要高质量、物理效果合理的视频场景中。
时效性
Viggle独创的JST-1技术,将视频和3D生成统一在一个基础模型中处理。Viggle的技术方案显著降低了视频生成的延迟问题。这种统一模型能够有效利用3D空间信息和时间动态,减少传统方法中分开处理所带来的冗余和延迟,使得用户不必等待几分钟或几小时才能获得几秒钟的视频。
JST-1作为驱动力,使得视频-3D基础模型能够从现有的2D视频资料中分析视频中的动作和姿势并构建出3D模型。这个过程不仅涉及到形状和外观的转换,还包括对角色动作和环境交互的物理理解。
病毒性传播
Viggle目前主要有两类用户群体:
第一类用户:社交媒体娱乐者。这类用户为了创作娱乐性的meme,追求趣味性和社交传播效果。Viggle通过极具吸引力的特效效果激发了这类用户的尝试欲望,而这种通过社交渠道传播裂变的方式,也成为了提升产品知名度的最佳方法。
第二类用户:专业创作者。这类用户将其作为游戏设计和视觉特效(VFX)制作的工具。例如,动画工程师可以快速将概念设计转化为粗略的动画资产,以可视化其外观和感觉,从而显著减少草图完成的时间,减少繁琐的工作流程,提升草图完成的效率。
Viggle依托于Discord平台运营,使其能够迅速扩大用户基础并借助Discord的内容审核和社区管理工具来管理庞大的用户群体。Viggle于2024年3月推出内测,已吸引了超过400万名Discord社区用户。
Discord的产品副总裁Ben Shanken评论道:“没有人能为这样的增长做好准备,所以在这种病毒式传播的阶段,我们开始与他们合作,因为他们还没准备好。Discord上的很多内容消费和使用实际上是生成式AI。”Viggle通过Discord这一理想平台,成功地将用户聚集在一起,使得二次创作和社区互动成为可能。相比国内的平台如小红书和抖音,Discord的即时性和互动性更好地支持了Viggle的病毒式传播和用户增长。
对于像Viggle和Midjourney这样的初创企业来说,在Discord上运营意味着他们不需要为用户建立独立的平台。相反,他们可以利用Discord上技术娴熟的用户群体和内置的内容审核工具。对于仅有15名员工的Viggle来说,这种支持至关重要。
Viggle在tiktok上也取得了广泛的传播,#Viggle词条下有超过4万条视频,#viggleai词条下也有超过3.3万条视频,显示了其强大的用户参与度。
例如,博主Geirill在TikTok上以6030粉丝获得41.6万赞,其中Viggle AI视频独占31.4万赞。KOL和博主的推广为Viggle带来了巨大的流量支持,用户也乐于使用Viggle制作视频,进一步促进了产品传播和裂变效应。
图片来源:tiktok
Viggle的低使用门槛使得普通人和普通创作者也能够轻松上手。这种广泛的用户基础和便捷的创作体验,是Viggle能够迅速在Discord社区、TikTok内爆发式增长的原因之一。
探索跨领域应用与提升动画制作效率
Viggle计划继续提升技术并扩展其功能。Chu表示:“我们将重点放在构建后台服务的模型,同时借助Discord的前端基础设施。这种方法使我们能够更快地进行迭代,专注于开发最先进的AI系统。”
此外,公司还在探索娱乐以外的多个应用场景,如游戏设计和视觉特效领域。通过Viggle,动画团队可以从概念设计中快速生成初步的动画资产,从而节省时间和精力,这有可能彻底改变动画制作的方式,使其更加高效且易于操作。
图片来源:viggle
04 Viggle背后的力量:从顶尖科技人才到全球性社区扩张
Viggle的团队由一个群充满激情且技术精湛的小团队组成。该公司的创始人是Hang Chu,他曾在Autodesk、Facebook、Nvidia和Google等全球领先的科技公司担任AI研究员。他在上海交通大学完成了信息工程学士学位,并于康奈尔大学攻读电气与计算机工程硕士学位,并在高级多媒体处理实验室进行研究。2016年Hang Chu进入多伦多大学,在计算机科学领域攻读博士学位,专注于机器学习领域的研究。
图片来源:linkedin
Nan Ha是一名资深的SEO、内容营销和联盟营销合作的专家,毕业于USC与LSE的联合研究生项目环球沟通与传媒专业,在过去8个月担任Viggle的产品增长负责人,在她的领导下Viggle的Discord社区从500名成员,迅速扩展到超过400万成员,成为全球第二大社区。
图片来源:linkedin
融资方面,Viggle曾获得靖亚资本、小苗朗程的早期投资,据传闻,近期将获得a16z新一轮投资。
本篇内容来源于微信公众号: Z Potentials