当前位置:首页|资讯

Win11本地部署FaceFusion3最强AI换脸,集成Tensorrt10.4推理加速,甜品显卡发挥生产力

作者:刘悦的技术博客发布时间:2024-09-27

    FaceFusion3.0.0大抵是现在最强的AI换脸项目,分享一下如何在Win11系统,基于最新的cuda12.6配合最新的cudnn9.4本地部署FaceFusion3.0.0项目,并且搭配Tensorrt10.4,提高推理速度和效率,让甜品级显卡也能爆发生产力。

安装最新版本Cuda12.6以及Cudnn9.4

    CUDA是NVIDIA公司开发的一种技术,它能让GPU像CPU一样编程,让GPU也能参与到计算中来,从而加速计算过程。你可以把它想象成一种“语言”,让程序员可以指挥GPU的“工人”们一起工作。

    cuDNN则是专门为深度学习设计的“工具箱”。深度学习就像盖房子,需要很多“积木”块,比如卷积、池化等操作。cuDNN提供了这些预先优化好的“积木”,让程序员可以直接使用,而不用自己从头开始编写这些复杂的代码,从而大大提高了深度学习模型的训练和推理速度。 它就像一个经验丰富的建筑工人,能快速高效地完成盖房子的工作。

    安装包可以去 Nvidia 官方网站进行下载,但是必须登录Nvidia账号,这里为大家下载好了最新的安装包:

    首先双击 cuda_12.6.1_560.94_windows.exe 进行安装,注意不要安装到C盘,因为太占地方,建议在别的盘符建立12.6目录,然后进行安装即可。

    安装成功后,运行命令进行检查:


    可以看到显示的版本是 12.6

    随后打开 cudnn-windows-x86_64-9.4.0.58_cuda12-archive 目录,把其中的 bin、include以及lib目录直接拷贝覆盖到 cuda 的安装目录即可。至此,cuda12.6和其对应的cudnn9.4就安装好了,注意版本号必须吻合。

安装Tensorrt10.4

    关于Tensorrt,想象一下你训练好了一只非常聪明的狗狗(你的深度学习模型),它已经学会了识别各种猫和狗的图片。但是,这只狗狗每次识别图片都需要很长时间,效率不高。

    TensorRT就像一个训练师,它能帮助你把这只狗狗训练得更加高效。它会优化狗狗的识别方法,让它能够更快更准确地识别图片,并且消耗更少的能量。 所以,用TensorRT优化后的模型,就能在你的电脑或服务器上更快地进行推理(识别图片),从而节省时间和资源。

    Tensorrt主要针对的是已经训练好的模型,而不是训练模型本身。 它就像一个专业的优化器,让你的模型在实际应用中跑得更快更省力。

    打开 TensorRT-10.4.0.26 目录,把 lib 目录下的所有动态库 dll 文件全部拷贝到 cuda12.6  安装目录的 bin目录下即可:

    至此,就完成了 Tensorrt10.4 的安装。


    安装和部署FaceFusion3.0.0

    首先确保本地已经安装好 Python3.11 的开发环境,随后克隆官方项目:


    安装基础依赖:


    接着安装 onnxruntime-gpu:


    ONNX Runtime-GPU 是一个高性能的推理引擎,它能够运行使用 ONNX (Open Neural Network Exchange) 格式表示的机器学习模型。 关键在于“GPU”部分,这意味着它专门针对 NVIDIA 的图形处理器 (GPU) 进行优化,以实现比在 CPU 上运行模型更快的速度和更高的效率。

    注意默认安装的onnxruntime-gpu版本是19.2,它专门是为cuda12适配的。

    安装 tensorrt 库:

    这里是安装 tensorrt 的python3.11运行库

    最后安装torch:

    注意后缀是cu124,而不是cu118或者cu121

    安装成功后,进入 python3.11 的终端:

    如果三种后端支持都被打印出来了,分别是 cpu、cuda以及Tensorrt  那么说明配置和安装都成功了。

    运行命令:

    进入换脸主界面:


    由于有了Tensorrt的加持,也支持实时换脸,进入摄像头换脸界面:


    摄像头换脸效果:


    最后,需要注意的是,FaceFusion3.0.0需要本地安装ffmpeg软件:




Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1