Pyramid Flow: Eine neue Technik für hochwertige KI-Videos

Die Erstellung von KI-Videos ist eine rechenintensive Aufgabe, die typischerweise die Modellierung großer räumlich-zeitlicher Räume umfasst. Traditionelle Methoden erfordern oft

A new AI video generation model, Pyramid Flow, was released this week, offering high-quality video clips up to 10 seconds in length — quickly, and all open source.

Diese Woche wurde ein neues KI-Videogenerierungsmodell, Pyramid Flow, veröffentlicht, das hochwertige Videoclips mit einer Länge von bis zu 10 Sekunden bietet – schnell und alles Open Source.

Developed by a collaboration of researchers from Peking University, Beijing University of Posts and Telecommunications, and Kuaishou Technology — the latter the creator of the well-reviewed proprietary Kling AI video generator — Pyramid Flow leverages a new technique wherein a single AI model generates video in stages, most of them low resolution, saving only a full-res version for the end of its generation process.

Pyramid Flow wurde von einer Zusammenarbeit von Forschern der Peking-Universität, der Peking-Universität für Post und Telekommunikation und Kuaishou Technology entwickelt – letzterer ist der Erfinder des vielfach rezensierten proprietären Kling-KI-Videogenerators – und nutzt eine neue Technik, bei der ein einzelnes KI-Modell Videos generiert Die meisten davon haben eine niedrige Auflösung und speichern nur eine Version mit voller Auflösung für das Ende des Generierungsprozesses.

It’s available as raw code for download on Hugging Face and Github, and can be run in an inference shell here but requires the user to download and run the model code on their own machine.

Es steht als Rohcode zum Download auf Hugging Face und Github zur Verfügung und kann hier in einer Inferenz-Shell ausgeführt werden, erfordert jedoch, dass der Benutzer den Modellcode herunterlädt und auf seinem eigenen Computer ausführt.

At inference, the model can generate a 5-second, 384p video in just 56 seconds—on par with or faster than many full-sequence diffusion counterparts — though Runway’s Gen 3-Alpha Turbo still takes cake in terms of speed of AI video generation, coming in at under one minute and often times 10-20 seconds in our tests.

Als Schlussfolgerung kann das Modell ein 5-sekündiges 384p-Video in nur 56 Sekunden erzeugen – auf dem Niveau oder schneller als viele Full-Sequenz-Diffusions-Gegenstücke – obwohl Runways Gen 3-Alpha Turbo in Bezug auf die Geschwindigkeit der KI-Videogenerierung immer noch die Nase vorn hat , in unseren Tests unter einer Minute und oft sogar 10–20 Sekunden.

We haven’t had a chance to test Pyramid Flow yet, but the videos posted by the model creators appear to be incredibly lifelike, high enough resolution, and compelling — analogous to those of proprietary offerings. You can see various examples here on its Github project page.

Wir hatten noch keine Gelegenheit, Pyramid Flow zu testen, aber die von den Modellerstellern geposteten Videos scheinen unglaublich lebensecht, hoch genug aufgelöst und überzeugend zu sein – analog zu denen proprietärer Angebote. Verschiedene Beispiele finden Sie hier auf der Github-Projektseite.

Indeed, Pyramid Flow is available designed now to download and use — even for commercial/enterprise purposes — and is designed to compete directly with paid proprietary offerings such as Runway’s Gen-3 Alpha, Luma’s Dream Machine, Kling, and Haulio, which can cost hundreds of even thousands of dollars a year for users on unlimited generation subscriptions.

Tatsächlich steht Pyramid Flow ab sofort zum Herunterladen und Verwenden zur Verfügung – auch für kommerzielle/Unternehmenszwecke – und soll direkt mit kostenpflichtigen proprietären Angeboten wie Runway's Gen-3 Alpha, Luma's Dream Machine, Kling und Haulio konkurrieren, die kostenpflichtig sein können Hunderte oder sogar Tausende von Dollar pro Jahr für Benutzer mit Abonnements mit unbegrenzter Generation.

As the race between various AI video providers to gain users continues, Pyramid Flow aims to bring more efficiency and flexibility to developers, artists, and creators seeking advanced video generation capabilities.

Während der Wettlauf verschiedener KI-Videoanbieter um die Gewinnung von Nutzern weitergeht, zielt Pyramid Flow darauf ab, Entwicklern, Künstlern und Erstellern, die nach erweiterten Funktionen zur Videogenerierung suchen, mehr Effizienz und Flexibilität zu bieten.

A new technique for high-quality AI videos: ‘pyramidal flow matching’

Eine neue Technik für hochwertige KI-Videos: „Pyramidal Flow Matching“

AI video generation is a computationally intensive task that typically involves modeling large spatiotemporal spaces. Traditional methods often require separate models for different stages of the process, which limits flexibility and increases the complexity of training.

Die Erstellung von KI-Videos ist eine rechenintensive Aufgabe, die typischerweise die Modellierung großer räumlich-zeitlicher Räume umfasst. Herkömmliche Methoden erfordern oft separate Modelle für verschiedene Phasen des Prozesses, was die Flexibilität einschränkt und die Komplexität des Trainings erhöht.

Pyramid Flow is built on the concept of pyramidal flow matching, a method that drastically cuts down the computational cost of video generation while maintaining high visual quality, completing the video generation process as a series of “pyramid” stages, with only the final stage operating at full resolution.

Pyramid Flow basiert auf dem Konzept des Pyramidal Flow Matching, einer Methode, die die Rechenkosten der Videogenerierung drastisch senkt und gleichzeitig eine hohe visuelle Qualität beibehält, indem der Videogenerierungsprozess als eine Reihe von „Pyramiden“-Stufen abgeschlossen wird, wobei nur die letzte Stufe in Betrieb ist bei voller Auflösung.

It’s described in a pre-reviewed paper, “Pyramidal Flow Matching for Efficient Video Generative Modeling,” submitted to open access science journal arXiv on October 8, 2024.

Es wird in einem vorab geprüften Artikel mit dem Titel „Pyramidal Flow Matching for Efficient Video Generative Modeling“ beschrieben, der am 8. Oktober 2024 beim Open-Access-Wissenschaftsjournal arXiv eingereicht wurde.

The authors include Yang Jin, Zhicheng Sun, Ningyuan Li, Kun Xu, Hao Jiang, Nan Zhuang, Quzhe Huang, Yang Song, Yadong Mu, and Zhouchen Lin. Most of these researchers are affiliated with Peking University, while others are from Kuaishou Technology.

Zu den Autoren gehören Yang Jin, Zhicheng Sun, Ningyuan Li, Kun .

As they write, the ability to compress and optimize video generation at different stages leads to faster convergence during training, allowing Pyramid Flow to generate more samples per training batch.

Wie sie schreiben, führt die Möglichkeit, die Videoerzeugung in verschiedenen Phasen zu komprimieren und zu optimieren, zu einer schnelleren Konvergenz während des Trainings, sodass Pyramid Flow mehr Proben pro Trainingsstapel generieren kann.

For example, the proposed pyramidal flow reduces the token count by a factor of four compared to traditional diffusion models, which results in more efficient training.

Beispielsweise reduziert der vorgeschlagene Pyramidenfluss die Tokenanzahl im Vergleich zu herkömmlichen Diffusionsmodellen um den Faktor vier, was zu einem effizienteren Training führt.

The model can produce 5- to 10-second videos at 768p resolution and 24 frames per second, all while being trained on open-source datasets. Specifically, the paper states that Pyramid Flow was trained on trained on:

Das Modell kann 5- bis 10-sekündige Videos mit einer Auflösung von 768p und 24 Bildern pro Sekunde produzieren, während es gleichzeitig mit Open-Source-Datensätzen trainiert wird. Konkret heißt es in dem Papier, dass Pyramid Flow darauf trainiert wurde:

In total, the authors curated approximately 10 million single-shot videos.

Insgesamt kuratierten die Autoren rund 10 Millionen Single-Shot-Videos.

However, many of these “public” or “open source” datasets have in recent years come under fire from critics for including copyrighted material without permission or informed consent of the copyright holders, and LAION-5B in particular accused of hosting child sexual abuse material.

Viele dieser „öffentlichen“ oder „Open-Source“-Datensätze sind jedoch in den letzten Jahren von Kritikern kritisiert worden, weil sie urheberrechtlich geschütztes Material ohne Erlaubnis oder informierte Zustimmung der Urheberrechtsinhaber eingefügt haben, und LAION-5B wurde insbesondere vorgeworfen, Material über sexuellen Kindesmissbrauch zu hosten .

Separately, Runway is among the companies being sued by artists in a class action lawsuit for training on materials without permission, compensation, or consent — allegedly in violation of U.S. copyright. The case remains being argued in court, for now.

Unabhängig davon gehört Runway zu den Unternehmen, die von Künstlern in einer Sammelklage wegen Schulungen zu Materialien ohne Erlaubnis, Entschädigung oder Zustimmung verklagt werden – angeblich unter Verletzung des US-amerikanischen Urheberrechts. Der Fall wird vorerst noch vor Gericht verhandelt.

Permissively licensed, open source for commercial usage

Freizügig lizenziert, Open Source für die kommerzielle Nutzung

Pyramid Flow is released under the MIT License, allowing for a wide range of uses, including commercial applications, modifications, and redistribution, provided the copyright notice is preserved.

Pyramid Flow wird unter der MIT-Lizenz veröffentlicht und ermöglicht eine breite Nutzung, einschließlich kommerzieller Anwendungen, Modifikationen und Weiterverbreitung, sofern der Urheberrechtsvermerk gewahrt bleibt.

This makes Pyramid Flow an attractive option for developers and companies looking to integrate the model into proprietary systems, and could challenge Luma AI and Runway as both look to offer paid application programming interfaces for developers seeking to integrate their proprietary AI video generation technology into customer or employee-facing apps.

Dies macht Pyramid Flow zu einer attraktiven Option für Entwickler und Unternehmen, die das Modell in proprietäre Systeme integrieren möchten, und könnte Luma AI und Runway in Frage stellen, da beide kostenpflichtige Anwendungsprogrammierschnittstellen für Entwickler anbieten möchten, die ihre proprietäre KI-Videogenerierungstechnologie in Kunden- oder Kundensysteme integrieren möchten mitarbeiterorientierte Apps.

Yet those proprietary models already exist as inferences suitable for developers, while Pyramid Flow has a demo inference on Hugging Face, it is not suitable for building full applications atop it and users would need to host their own version of an inference, which

Diese proprietären Modelle existieren jedoch bereits als für Entwickler geeignete Inferenzen. Pyramid Flow verfügt zwar über eine Demo-Inferenz auf Hugging Face, diese eignet sich jedoch nicht für die Erstellung vollständiger Anwendungen darauf und Benutzer müssten ihre eigene Version einer Inferenz hosten