立即登录

lilylilith/AnyPose

Play Count18
Fork Count6
Like Count2
创建: 2026-01-04更新: 2026-01-04
lilylilith/AnyPose - 1

转载自Huggingface ————————————

简介

为 Qwen Image Edit (2511)或其变体创建姿势可能会有难度。即使模型已经集成了 OpenPose,结果仍可能看起来不对劲,例如深度不正确或姿势与角色不完全匹配,出现你意想不到的扭曲。此外,手动创建姿势可能需要太多时间,尤其是如果你选择使用 Blender OpenPose 的绑定方式。那么,如果你可以完全跳过 OpenPose,只需写一个简单的(尽管较长)提示语,复制电脑上任何图片的姿势,会怎样呢?

这就是 AnyPose LoRAs 试图做到的事情。它专为新的 Qwen Image Edit 2511 Lightning LoRA 而设计,以实现快速推理。只需一张参考图片作为姿势引导,你就可以让任何图片跟随该姿势。无需控制网络。

快速开始

使用 4-step lightning LoRA 对 Qwen Edit 2511 进行训练。将 AnyPose LoRA 权重(基础和辅助)的强度都设置为 0.7。上传两张图片,一张包含初始输入角色,另一张包含你想要复制到第一张图片中的姿势。使用以下提示语:“让图片 1 中的人物做出与图片 2 中人物完全相同的姿势。不要改变图片 1 中人物的风格和背景,因此请不要这样做。新姿势应与我们想要复制的姿势像素精确一致。手臂、头部和腿部的位置应与要复制的姿势相同。调整视场角和角度以与图片 2 完全匹配。头部倾斜和眼睛注视的姿势应与图片 2 中的人物一致。”如果需要额外的上下文(例如模型未见过的服装),请在最后提示。背景与初始输入图片不一致?在结尾添加以下内容:“移除图片 2 的背景,并用图片 1 的背景替换。”

例子

AnyPose 适用于简单的姿势,如 T 或 A 姿势, tposeExample 或更复杂的姿势,如许多瑜伽姿势: yogaExample

重要说明

在使用此工具之前,有一些注意事项需要了解。LoRA 数据集的创建听起来非常直观,对吧?只需将两个角色摆放在相同的姿势中(我使用 Blender 将密集的 3D 角色摆放在各种 Qwen Edit 无法理解的姿势中,例如手倒立、桥式、弯腰等);因此,这一步很容易完成。

然而,决定最终处理后的图像应该呈现什么样的效果却非常困难。最终的输出应该是同一场景但角色处于新姿势吗?还是应该将角色“替换”到第二张图像的场景中?第一种方法听起来最直观,但会有一些缺点,例如背景被错误地填充。而第二种方法如果只是想改变当前场景中人物的姿势,就会变得不太实用。这确实非常不直观。因此,我尝试了两种方法。

回顾起来,我认为这不是最好的选择,因为在某些情况下,人物会替换第二张图片中的人物,继承其背景,这是个未预期的后果;或者上一场景的元素会裁剪到当前场景中。不过很多时候,它确实能保持相同的场景。从一致性角度来看,这听起来并不好,无疑会让人感到沮丧,因为它应该“正常工作”。现实是,它只是非常微妙。尽管如此,它的存在带来了许多优势,例如它总是能填补缺失的部分。

例如,如果你想对一个全身未显示的角色进行姿势调整,如角色的下半身,AnyPose 会自动使用原图的混合来填充图像中“未知”的区域:

为了修复这个问题,你可以在触发提示的末尾添加一个提示,以在输出中添加或删除元素。例如,对于未知区域,你可以像“图片 1 中的女人穿着白色紧身裤”这样告诉模型她穿什么: autofill_

然而,即使这种方法可行,也请知道,使用 AnyPose 的最佳方式是在初始图像中展示初始角色的全身(以及如地板等完整的环境),这样生成的姿势才会一致,而无需 qwen 进行猜测。

另一个需要注意的地方,你可能现在正在想:环境发生了变化。在这个例子中,我希望姿势是在初始图像的原始背景中完成的;我不希望将角色换到其他图像的背景中。那么如何恢复其他图像的背景呢?其实很简单。我们只需要提示将第二张图像的背景与第一张图像的背景交换。例如,我们可以额外添加“移除图像 2 的背景,并用图像 1 的背景替换它。”来恢复原始背景: context

你可以在结尾添加一个提示语,几乎可以解决任何出现的问题。背景不变?提示语中加入。没有地板或角色在漂浮?提示语中加入。角色拿着不该拿的东西?通过提示语移除。角色有不该有的特征,比如长发、不同颜色的头发或其他类似情况?通过提示语移除。 context_2

返图区

暂无返图