阿里云推出了全新的视频生成模型I2VGen-XL，可应用于短视频内容制作、电影制作等场景。据阿里云视频生成模型研发负责人介绍，I2VGen-XL是基于深度学习技术的视频生成模型，具有很强的图像识别和生成能力。这种模式可以根据用户提供的素材和需求自动生成高质量的视频内容，大大提高了视频制作的效率和质量。
I2VGen-XL示例网址：https://modelscope.cn/models/damo/Image-to-Video/summary。
I2VGen-XL模型介绍：
I2VGen-XL是一种基于隐空间的视频扩散模型(VLDM)，其通过我们专门设计的时空UNet(ST-UNet)在隐空间中进行时空建模，然后通过解码器重建出最终视频（具体模型结构可以参考VideoComposer）。为能够生成720P视频，我们将I2VGen-XL分为两个阶段，第一阶段是在低分辨率条件下保证语义一致性，第二阶是利用新的VLDM进行去噪以提高视频分辨率以及同时提升时间和空间上的一致性。通过在模型、数据和训练上的联合优化，I2VGen-XL主要具有以下几个特点：
1、高清&宽屏，可以直接生成720P(1280*720)分辨率的视频，且相比于现有的开源项目，不仅分辨率得到有效提高，其生产的宽屏视频可以适合更多的场景
2、连续性，通过特定训练和推理策略，在视频的细节生成的稳定性上（时间和空间维度）有明显提高
3、质感好，通过收集特定的风格的视频数据训练，使得生成的视频在质感上得到明显提升，可以生成科技感、电影色、卡通风格和素描等类型视频
4、无水印，模型通过我们内部大规模无水印视频/图像训练，并在高质量数据微调得到，生成的无水印视频可适用更多视频平台，减少许多限制
I2VGen-XL依赖安装：
首先你需要确定你的系统安装了ffmpeg命令，如果没有，可以通过以下命令来安装：
sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y
其次，本I2VGen-XL项目适配ModelScope代码库，以下是本项目需要安装的部分依赖项。
pip install modelscope==1.8.4 pip install xformers==0.0.20 pip install torch==2.0.1 pip install open_clip_torch>=2.0.2 pip install opencv-python-headless pip install opencv-python pip install einops>=0.4 pip install rotary-embedding-torch pip install fairscale pip install scipy pip install imageio pip install pytorch-lightning pip install torchsde
I2VGen-XL代码使用范例：
from modelscope.pipelines import pipeline from modelscope.outputs import OutputKeys pipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0', device='cuda:0') # IMG_PATH: your image path (url or local file) output_video_path = pipe(IMG_PATH, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO] print(output_video_path)
如果想生成超分视频的话，可以自己点击下面按钮进入I2VGen-XL官网查看！
一款出自清华大学功能强大且性价比高的视频生成大模型——视界一粟YiSu
推荐一款比较好玩的AI图片动画工具——通义舞王（只需要一张图片自动生成人物舞蹈）
上面是“阿里云推出视频生成大模型工具——I2VGen-XL”的全面内容，想了解更多关于 IT知识 内容，请继续关注web建站教程。
当前网址：https://m.ipkd.cn/webs_13349.html
声明：本站提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请发送到邮箱：admin@ipkd.cn，我们会在看到邮件的第一时间内为您处理！
