深度学习简化了AI制作的Deepfakes:深入了解FaceFusion

CN
Decrypt
关注
1年前

近年来,数字媒体领域充斥着一个看似取自科幻小说的术语:deepfakes。我们早已超越了2004年JibJab电子贺卡中的卡通剪纸动画——如今在真实人物的音频和视觉再现方面的技术已经如此逼真,以至于越来越难以区分制造的内容和真实镜头。

与使用任何工具一样,意图至关重要。虽然deepfakes经常被引用为对政府、商业和名人的威胁,但在视频中交换或更改面孔未必是恶意的。也许这是艺术,也许这是娱乐。

这也并非易事。虽然存在许多工具,但大多要么复杂,要么效果不佳。

FaceFusion登场。该工具提供视频中无缝融合面孔,并因其易用性、速度和产生逼真deepfakes的能力而脱颖而出。数字艺术家不再需要费力地为每个视频绘制、匹配或训练面孔交换器。FaceFusion的自动检测功能可以立即交换面孔,将用户友好性与效率相结合。

持怀疑态度?以下是我们仅用几分钟和几次简单点击创建的视频:

随着现实与数字创作之间的界限日益模糊,像FaceFusion这样的工具最终呼吁我们对数字内容的认知进行范式转变。你并不总是能相信自己的眼睛。本文深入探讨了FaceFusion,审视其特点、安装过程以及与Windows和Mac平台的兼容性。

背景

一个角色扮演另一个角色的面孔在故事叙述中已经有数百年的历史。而“deepfake”将其起源追溯到早期电影和摄影。随着技术的发展,操纵图像和动态影像的技术也不断演变,从1960年的法国电影《无面之脸》到1997年的《变脸》再到《碟中谍》系列。

这曾经是一个手动且劳动密集的过程,早期的deepfakes经常出现特征错位或光照和纹理上的明显不一致。然而,神经网络和机器学习的引入将这一实践推向了新时代。

术语“deepfake”——“深度学习”和“伪造”的融合——概括了这项技术的本质。计算机利用深度学习算法将图像或视频叠加到现有的源材料上。

随着技术的进步,deepfakes的逼真程度和创建它们的便利性也在不断提高。新工具使创作过程民主化,将这种能力从好莱坞特效店带到了家庭和办公室。

FaceFusion概述

专为视频deepfakes而设计,FaceFusion旨在赋予日常计算机用户以前仅供具有可观计算能力和专业知识的人才能够实现的结果。

FaceFusion的主要特点包括:

  • 与顶级面部增强算法的集成。
  • 提升整个视频质量的帧增强器。
  • 处理灵活性,可选择CPU或GPU使用。
  • 面向初学者和专家的用户友好界面。

FaceFusion的许多准确性归功于“insightface”算法,该算法自动检测并精确替换复杂的面部特征,大大自动化了整个过程。(熟悉deepfakes的人可能会认识到insightface是Roop背后的引擎,Roop是一款用于图像面部交换的知名工具,之前由Decrypt进行了深入评估。)

insightface的一个初始限制是其128x128的默认分辨率,这是开发者出于道德原因设定的限制。然而,高级用户已经规避了这一限制,并进一步将insightface与其他面部增强算法(如GPFGan或Codeformer)结合起来。FaceFusion开发者还整合了“opennsfw”库,以防止生成不雅内容。

将所有内容整合在一起,用户可以调整输出以产生清晰的面部。这种方法不仅提高了质量,还显著减少了处理时间。

安装指南

硬件要求:

至少需要具有4GB vRAM的GPU。然而,为了在合理的时间内获得最佳结果,建议使用8GB的GPU。

逐步安装指南:

安装FaceFusion需要使用各种终端命令,因为目前没有GUI可用于安装。以下是官方指南的摘要。

Windows:

在安装FaceFusion之前,安装Python 3.10、Git、Microsoft Visual C++ 2015 Redistributable和Microsoft Visual Studio 2022构建工具。请按照以下步骤操作:

  1. 依次执行以下命令:

    winget install -e --id Python.Python.3.10python -m ensurepipwinget install -e --id Git.Gitwinget install -e --id Gyan.FFmpegshutdown /rwinget install -e --id Microsoft.VCRedist.2015+.x64winget install -e --id Microsoft.VisualStudio.2022.BuildTools --override "--wait --add Microsoft.VisualStudio.Workload.NativeDesktop --includeRecommended"
    

    (有关更详细的指南,请参考提供的说明。)

用户使用Nvidia显卡的话,还需要安装最新版本的CUDA工具包从此网址和cuDNN库从此网址

  1. 要安装FaceFusion,请转到FaceFusion安装文件夹并执行以下终端命令:
   git clone https://github.com/facefusion/facefusion
  1. 安装完必要的组件后,为FaceFusion的安全运行建立Python环境。操作如下:

  2. 创建一个您希望安装FaceFusion的文件夹。

  3. 在该位置打开一个终端。

  4. 依次执行以下命令:

   python -m venv venv
   venv\Scripts\activate
  1. 接下来,安装FaceFusion所需的Python库:
   python install.py
  1. 现在已经设置好了!要启动FaceFusion,请在安装目录中打开一个终端并运行:
   python run.py
  1. 完成后,终端将提供一个本地URL,如http://127.0.0.1:7860/。复制并在浏览器中打开此链接,开始制作您的deepfakes!

MacOS:

Mac有两种类型:较旧的Intel处理器型号和较新的Apple silicon M1变体。两者安装方式类似,并且提供的脚本将指导您完成整个过程。

与Windows类似,Mac用户在使用FaceFusion之前必须安装几个组件:

  1. 安装Homebrew:
   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  1. 依次执行以下命令:
   brew install python@3.10
   python -m ensurepip
   brew install git
   brew install ffmpeg
  1. 转到您希望安装FaceFusion的目录,并通过执行以下命令克隆FaceFusion存储库:
   git clone https://github.com/facefusion/facefusion
  1. 在终端中,转到FaceFusion文件夹并执行:
   python -m venv venv
   source venv/bin/activate
  1. 准备就绪!从FaceFusion目录运行:

    python install.py
    
  2. 在提示时,选择您的Mac类型以安装依赖项。然后运行:

    pip install -r requirements.txt
    
  3. 要启动FaceFusion,请确保您的终端位于FaceFusion目录中,并执行:

    python run.py
    
  4. 您将收到一个URL,如http://127.0.0.1:7860/。将其复制并粘贴到浏览器中,开始生成deepfakes。

注意:如果以pythonpip为前缀的命令失败,请尝试改用python3pip3

用户指南

与基于命令行的安装相比,FaceFusion的可视用户界面非常直观:


来源:FaceFusion

如何使用FaceFusion:

  1. 导入您想要的视频:将其拖放到"目标"字段中,或单击"目标"并从弹出窗口中选择。
  2. 选择要交换的脸部:同样,拖放或使用"源"框。
  3. 模型的参数已经预设为获得最佳平均结果。点击"开始"并观看变换。
  4. 新生成的视频将显示在"目标"下方,标记为"输出"。使用预览右上角的箭头保存它。

对于想要调整参数的用户,以下是一些关键定义:

  • 脸部距离:脸部相似度的度量。较低的值可能会阻止交换,而过高的值可能会产生伪影。通常在2到2.5之间的数值会产生良好的结果。
  • 脸部分析器检测:确定模型如何扫描脸部。默认为左右,但上下有时会产生更好的结果。
  • 执行提供者:对于性能强大的计算机,可以使用CoreML(M系列Mac)或CUDA和Tensorrt(Windows)启用GPU加速。仅选择CPU将会明显较慢。
  • 脸部增强模型:不同的模型根据参考脸部产生不同的结果。GFPGan 1.4通常更优秀,但尝试不同模型可能会有益。选择一个模型是必要的,否则脸部可能会显得模糊或不真实。
  • 帧增强模型:增强每帧的质量。非常适合详细项目,但可能非常耗时。例如,启用帧和脸部增强的视频有时可能需要几个小时,而如果不启用帧增强,则可能只需要几分钟。
  • 脸部识别:"参考"将预览的脸部与"源"脸部交换。"多个"检测所有视频脸部并用源脸部替换它们,解决模型可能在帧间误识别脸部的情况。

获得最佳结果的提示:

  1. 使用居中、高质量的图像。
  2. 避免带眼镜、帽子或其他遮挡物的照片。
  3. 避免带有夸张表情的照片。
  4. 避免制作主体尖叫或张大嘴的deepfake视频。
  5. 请记住,这个工具需要时间来处理视频的每一帧。考虑到视频每秒有24到60甚至更多帧,您需要先尝试短视频,然后再尝试长视频。TikTok视频是一个很好的起点。

FaceFusion评价

在深度伪造技术的世界中,FaceFusion确实超越了许多同行。经过广泛测试,显而易见,FaceFusion表现出色。其使用insightface算法简化了换脸过程,优化了效率和用户体验。其致力于防止生成不安全内容的道德承诺也值得赞赏。

从用户角度来看,本地操作的能力是无价的。在数据隐私关注度增加的时代,独立于基于云的资源是一个受欢迎的功能。然而,未来版本需要提供更加用户友好的图形用户界面,特别是在初始安装方面。

FaceFusion提高了人们对深度伪造技术的整体期望,通过道德保障使创作过程民主化。

优势:

  • 先进功能:FaceFusion可以说是市场上顶尖的家用深度伪造工具,通过其创新算法和功能超越了许多同类产品。
  • 本地操作:在我们以云为中心的时代,FaceFusion的离线功能尊重用户隐私,并突显了其效率。
  • 减少训练时间:与许多需要长时间训练的工具不同,FaceFusion显著减少了时间需求。
  • 安全措施:集成opennsfw库以检测和防止生成不安全内容,确保工具的负责使用,并防范潜在的滥用。

劣势:

  • 用户友好性:尽管具有先进功能,FaceFusion可能会让首次使用者感到畏惧。GitHub仓库甚至通过警告用户说,“安装需要技术技能,不适合初学者”。
  • 开发者沟通:将用户从GitHub等平台重定向到Discord可能并非每个人的沟通偏好。
  • 缺乏图形用户界面:安装过程中缺乏图形用户界面可能会让初学者或不熟悉命令行的用户感到不那么友好。

现在,为什么不将自己变成超级英雄或巨星呢?也许你不是CGI艺术家,但通过FaceFusion,你几乎可以成为一个。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

OKX:注册返20%
链接:https://www.okx.com/zh-hans/join/aicoin20
广告
分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接