DICE-Talk

DICE-Talk是什么?

DICE-Talk是复旦大学联合腾讯优图实验室推出的新颖情感化动态肖像生成框架，支持生成具有生动情感表达且保持身份一致性的动态肖像视频。这项技术使用扩散模型来解耦身份和情感，提供真实感和多样性的输出。其重要性在于为虚拟角色、动画、游戏和社交媒体等领域带来了更高的交互性和表现力，适合研究和开发的需要。

产品特色

生成多样化情感的谈话肖像

支持中性、快乐、生气和惊讶等情感

提供易于使用的演示和图形用户界面

支持多种输入格式，包括图片和音频

使用高性能 GPU 加速生成过程

兼容多种操作系统

提供开放源代码以便进一步研究和开发

允许用户设置身份保持和情感生成的强度

应用场景

在视频游戏中使用 DICE-Talk 为角色生成生动的表情和对话。

利用 DICE-Talk 制作动画短片，提升角色的表现力和情感传达。

社交媒体内容创作者使用 DICE-Talk 制作引人注目的虚拟主播内容。

适用人群

DICE-Talk 适合动画师、游戏开发者、研究人员和社交媒体内容创作者等目标受众，因其能够提供生动的虚拟形象交互体验，提升作品的吸引力和真实感。

使用指南

确保安装所需的软件和库，包括 ffmpeg 和 PyTorch。

通过 huggingface-cli 下载模型文件到指定目录。

使用 demo.py 脚本，提供输入图片和音频文件路径。

选择要生成的情感类型，设置参数。

运行脚本，生成情感谈话肖像视频。