HumanDiT:一款由浙大联合字节推出的姿态引导的高保真人体视频生成框架

381 ℃
Trae:新一代免费的AI编程工具

HumanDiT 是由浙江大学和字节跳动联合提出的一种姿态引导的高保真人体视频生成框架。它基于扩散变换器(Diffusion Transformer,DiT),能够在大规模数据集上进行训练,生成具有精细身体渲染的长序列人体运动视频。

HumanDiT:一款由浙大联合字节推出的姿态引导的高保真人体视频生成框架

HumanDiT功能特点:

1、姿态引导的视频生成:HumanDiT 通过关键点扩散变换器(Keypoint-DiT)生成后续姿态序列,确保视频中人体动作的连贯性和自然性。

2、长序列视频生成:支持多种视频分辨率和可变序列长度,适合生成长序列的高质量视频。

3、个性化特征保持:引入前缀潜在参考策略,在长序列中保持个性化特征。

4、灵活的输入与输出:能从静态图像或现有视频中继续生成视频,适用于多种应用场景。

5、姿态适配与细化:基于姿态适配器实现给定序列的姿态转移,通过姿态细化模块增强面部和手部特征与参考图像的对齐效果。

HumanDiT项目地址:

1、官方网址https://agnjason.github.io/HumanDiT-page/

2、arXiv 技术论文https://arxiv.org/pdf/2502.04847

FlowAct-R1:字节跳动推出的实时交互数字人视频生成框架

MMBench:一款由高校等联合研发多模态基准测试工具

MagicArena:字节跳动国内首个视觉生成大模型对战平台

Seed Prover 1.5:字节跳动Seed团队研发的形式化数学推理模型

Seedance 1.5 Pro:字节团队研发的原生音画同步多模态视频生成模型

标签: 字节跳动框架, 浙江大学, 视频生成框架

上面是“HumanDiT:一款由浙大联合字节推出的姿态引导的高保真人体视频生成框架”的全面内容,想了解更多关于 IT知识 内容,请继续关注web建站教程。

当前网址:https://m.ipkd.cn/webs_17001.html

声明:本站提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请发送到邮箱:admin@ipkd.cn,我们会在看到邮件的第一时间内为您处理!

生活小工具

收录了万年历、老黄历、八字智能排盘等100+款小工具!生活小工具

猜你喜欢