今年,diffusion model和相关的定制化(personalization)的工作越来越受人们欢迎,例如DreamBooth,Textual Inversion,Custom Diffusion等,该类方法可以将一个具体物体的概念从图片中提取出来,并加入到预训练的text-to-image diffusion model中,这样一来,人们就可以定制化地生成自己感兴趣的物体,比如说具体的动漫人物,或者是家里的雕塑,水杯等等。
现有的定制化方法主要集中在捕捉物体外观(appearance)方面。然而,除了物体的外观,视觉世界还有另一个重要的支柱,就是物体与物体之间千丝万缕的关系(relation)。目前还没有工作探索过如何从图片中提取一个具体关系(relation),并将该relation作用在生成任务上。为此,我们提出了一个新任务:Relation Inversion。
如上图,给定几张参考图片,这些参考图片中有一个共存的relation,例如“物体A被装在物体B中”,Relation Inversion的目标是找到一个relation prompt
论文:https://arxiv.org/abs/2303.13495
代码:https://github.com/ziqihuangg/ReVersion
主页:https://ziqihuangg.github.io/projects/reversion.html
视频:https://www.youtube.com/watch?v=pkal3yjyyKQ
Demo:https://huggingface.co/spaces/Ziqi/ReVersion
作为针对Relation Inversion问题的首次尝试,我们提出了ReVersion框架:
相较于已有的Appearance Invesion任务,Relation Inversion任务的难点在于怎样告诉模型我们需要提取的是relation这个相对抽象的概念,而不是物体的外观这类有显著视觉特征的方面。
我们提出了relation-focal importance sampling策略来鼓励
我们收集并提供了ReVersion Benchmark: https://github.com/ziqihuangg/ReVersion#the-reversion-benchmark
它包含丰富多样的relation,每个relation有多张exemplar images以及人工标注的文字描述。我们同时对常见的relation提供了大量的inference templates,大家可以用这些inference templates来测试学到的relation prompt
我们可以invert丰富多样的relation,并将它们作用在新的物体上
我们得到的relation
页面更新:2024-03-13
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号