我們提出Tokenverse-一種多概念個性化的方法,利用了預先訓練的文本對圖像擴散模型。我們的框架可以將復雜的視覺元素和屬性從單個圖像中刪除,同時可以從多個圖像中提取的概念的無縫插件生成。與現有作品相反,Tokenverse可以處理各個具有多個概念的圖像,並支持廣泛的概念,包括對象,配件,材料,姿勢和照明。我們的工作利用了一個基於DIT的文本對圖像模型,其中輸入文本通過注意力和調製(移動和規模)都會影響生成。我們觀察到調製空間是語義,並可以對複雜概念進行局部控制。在此洞察力的基礎上,我們設計了一個基於優化的框架,該框架以輸入圖像和文本描述為輸入,並在調製空間中為每個單詞找到一個不同的方向。然後,這些方向可用於生成將學習概念結合在所需配置中的新圖像。我們證明了Tokenverse在具有挑戰性的個性化設置中的有效性,並展示了其在現有方法中的優勢。項目的網頁https://token-verse.github.io/。 https://arxiv.org/abs/2501.12224
免責聲明:info@kdj.com
所提供的資訊並非交易建議。 kDJ.com對任何基於本文提供的資訊進行的投資不承擔任何責任。加密貨幣波動性較大,建議您充分研究後謹慎投資!
如果您認為本網站使用的內容侵犯了您的版權,請立即聯絡我們(info@kdj.com),我們將及時刪除。