Wir präsentieren Tokenverse-eine Methode zur Multi-Konzept-Personalisierung, die ein vorgebildetes Text-zu-Image-Diffusionsmodell nutzt. Unser Framework kann komplexe visuelle Elemente und Attribute von nur einem einzelnen Bild entwirren und gleichzeitig eine nahtlose Plug-and-Play-Generierung von Kombinationen von Konzepten ermöglichen, die aus mehreren Bildern extrahiert werden. Im Gegensatz zu vorhandenen Arbeiten kann Tokenverse mehrere Bilder mit jeweils mehreren Konzepten verarbeiten und unterstützt eine breite Konzepte, einschließlich Objekte, Zubehör, Materialien, Pose und Beleuchtung. Unsere Arbeit nutzt ein DIT-basierter Text-zu-Image-Modell, bei dem der Eingabetxt die Erzeugung durch Aufmerksamkeit und Modulation (Verschiebung und Skala) beeinflusst. Wir stellen fest, dass der Modulationsraum semantisch ist und eine lokalisierte Kontrolle über komplexe Konzepte ermöglicht. Aufbauend auf dieser Erkenntnis entwickeln wir ein optimierungsbasiertes Framework, das als Eingabe eines Bildes und einer Textbeschreibung eingibt, und findet für jedes Wort eine eigene Richtung im Modulationsraum. Diese Richtungen können dann verwendet werden, um neue Bilder zu generieren, die die gelernten Konzepte in einer gewünschten Konfiguration kombinieren. Wir demonstrieren die Wirksamkeit der Tokenverse bei herausfordernden Personalisierungseinstellungen und zeigen ihre Vorteile gegenüber bestehenden Methoden. Die Webseite des Projekts auf dieser https://token-verse.github.io/. https://arxiv.org/abs/2501.12224
Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!
Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.