Forscher der Brown University entwickeln ein KI -Modell, das Bewegung in Robotern und Animationsfiguren erzeugen kann

Das Modell, das als MotionGlot bezeichnet wird, ermöglicht es Benutzern, einfach eine Aktion einzugeben - „ein paar Schritte vorwärts gehen und ein Recht aufnehmen“ - und das Modell kann genaue Darstellungen dieses Bewegungsbewegungsbewegungsmodells generieren, um einen Roboter oder animierten Avatar zu befehlen.

Researchers at Brown University have developed an artificial intelligence model that can generate movement in robots and animated figures in much the same way that AI models like ChatGPT generate text.

Forscher der Brown University haben ein Modell für künstliche Intelligenz entwickelt, mit dem Bewegungen in Robotern und animierten Figuren genauso wie KI -Modelle wie Chatgpt Text erzeugt werden können.

The model, called MotionGlot, enables users to simply type an action — “walk forward a few steps and take a right”— and the model can generate accurate representations of that motion to command a robot or animated avatar.

Das Modell, das als MotionGlot bezeichnet wird, ermöglicht es Benutzern, einfach eine Aktion einzugeben - „ein paar Schritte vorwärts gehen und ein Recht aufnehmen“ - und das Modell kann genaue Darstellungen dieses Bewegungsbewegungsbewegungsmodells generieren, um einen Roboter oder animierten Avatar zu befehlen.

The model’s key advance, according to the researchers, is its ability to “translate” motion across robot and figure types, from humanoids to quadrupeds and beyond. That enables the generation of motion for a wide range of robotic embodiments and in all kinds of spatial configurations and contexts.

Der wichtigste Fortschritt des Modells ist nach Angaben der Forscher seine Fähigkeit, die Bewegung über Roboter- und Figurentypen zu übersetzen, von Humanoiden bis hin zu Vierbeinigen und darüber hinaus. Dies ermöglicht die Erzeugung von Bewegung für eine Vielzahl von Roboterausführungsformen und in allen Arten von räumlichen Konfigurationen und Kontexten.

“We’re treating motion as simply another language,” said Sudarshan Harithas, a Ph.D. student in computer science at Brown, who led the work. “And just as we can translate languages — from English to Chinese, for example — we can now translate language-based commands to corresponding actions across multiple embodiments. That enables a broad set of new applications.”

"Wir behandeln Bewegung einfach als eine andere Sprache", sagte Sudarshan Harithas, Ph.D. Student in Informatik bei Brown, der die Arbeit leitete. "Und so wie wir zum Beispiel Sprachen übersetzen können-von Englisch auf Chinesisch-können wir jetzt sprachbasierte Befehle in entsprechenden Aktionen über mehrere Ausführungsformen übersetzen. Dies ermöglicht eine breite Anzahl neuer Anwendungen."

The research, which was supported by the Office of Naval Research, will be presented later this month at the 2025 International Conference on Robotics and Automation in Atlanta. The work was co-authored by Harithas and his advisor, Srinath Sridhar, an assistant professor of computer science at Brown.

Die vom Office of Naval Research unterstützte Forschung wird später in diesem Monat auf der Internationalen Konferenz 2025 über Robotik und Automatisierung in Atlanta vorgestellt. Die Arbeit wurde von Harithas und seinem Berater Srinath Sridhar, einem Assistenzprofessor für Informatik bei Brown, gemeinsam verfasst.

Large language models like ChatGPT generate text through a process called “next token prediction,” which breaks language down into a series of tokens, or small chunks, like individual words or characters. Given a single token or a string of tokens, the language model makes a prediction about what the next token might be. These models have been incredibly successful in generating text, and researchers have begun using similar approaches for motion. The idea is to break down the components of motion— the discrete position of legs during the process of walking, for example — into tokens. Once the motion is tokenized, fluid movements can be generated through next token prediction.

Großsprachige Modelle wie Chatgpt erzeugen Text durch einen Prozess mit dem Namen „Next Token Prediction“, der die Sprache in eine Reihe von Token oder kleine Brocken wie individuelle Wörter oder Charaktere unterteilt. Bei einem einzigen Token oder einer Reihe von Token macht das Sprachmodell eine Vorhersage darüber, was das nächste Token sein könnte. Diese Modelle waren unglaublich erfolgreich bei der Generierung von Text, und die Forscher haben begonnen, ähnliche Bewegungsansätze zu verwenden. Die Idee ist, die Bewegungskomponenten - die diskrete Position der Beine während des Gehensprozesses - in Token zu zerstören. Sobald die Bewegung tokenisiert ist, können Flüssigkeitsbewegungen durch Next Token -Vorhersage erzeugt werden.

One challenge with this approach is that motions for one body type can look very different for another. For example, when a person is walking a dog down the street, the person and the dog are both doing something called “walking,” but their actual motions are very different. One is upright on two legs; the other is on all fours. According to Harithas, MotionGlot can translate the meaning of walking from one embodiment to another. So a user commanding a figure to “walk forward in a straight line” will get the correct motion output whether they happen to be commanding a humanoid figure or a robot dog.

Eine Herausforderung bei diesem Ansatz besteht darin, dass Bewegungen für einen Körpertyp für einen anderen ganz anders aussehen können. Wenn beispielsweise eine Person einen Hund die Straße entlang geht, tun die Person und der Hund beide etwas, das als „Gehen“ bezeichnet wird, aber ihre tatsächlichen Bewegungen sind sehr unterschiedlich. Einer ist auf zwei Beinen aufrecht; Der andere ist auf allen vieren. Laut Harithas kann MotionGlot die Bedeutung des Gehens von einer Ausführungsform in eine andere übersetzen. Ein Benutzer, der eine Figur befiehlt, um „in einer geraden Linie nach vorne zu gehen“, erhält die richtige Bewegungsausgabe, ob er zufällig eine humanoide Figur oder einen Roboterhund befiehlt.

To train their model, the researchers used two datasets, each containing hours of annotated motion data. QUAD-LOCO features dog-like quadruped robots performing a variety of actions along with rich text describing those movements. A similar dataset called QUES-CAP contains real human movement, along with detailed captions and annotations appropriate to each movement.

Um ihr Modell auszubilden, verwendeten die Forscher zwei Datensätze, die jeweils Stunden mit annotierten Bewegungsdaten enthielten. Quad-Loco verfügt über hundähnliche Quadrup-Roboter, die eine Vielzahl von Aktionen zusammen mit einem reichen Text ausführen, der diese Bewegungen beschreibt. Ein ähnlicher Datensatz namens Ques-Cap enthält eine echte menschliche Bewegung sowie detaillierte Bildunterschriften und Anmerkungen, die für jede Bewegung geeignet sind.

Using that training data, the model reliably generates appropriate actions from text prompts, even actions it has never specifically seen before. In testing, the model was able to recreate specific instructions, like “a robot walks backwards, turns left and walks forward,” as well as more abstract prompts like “a robot walks happily.” It can even use motion to answer questions. When asked “Can you show me movement in cardio activity?” the model generates a person jogging.

Mit diesen Trainingsdaten generiert das Modell zuverlässig geeignete Aktionen aus Textanforderungen, selbst Aktionen, die es noch nie zuvor gesehen hat. Beim Testen war das Modell in der Lage, bestimmte Anweisungen wie „ein Roboter nach rückwärts zu gehen, nach links zu drehen und nach vorne zu gehen“ sowie abstraktere Eingaben wie „Ein Roboter geht glücklich“. Es kann sogar Bewegungen verwenden, um Fragen zu beantworten. Auf die Frage "Kannst du mir Bewegung in Cardio -Aktivitäten zeigen?" Das Modell erzeugt eine Person, die joggt.

“These models work best when they’re trained on lots and lots of data,” Sridhar said. “If we could collect large-scale data, the model can be easily scaled up.”

"Diese Modelle funktionieren am besten, wenn sie an vielen, vielen Daten trainiert werden", sagte Sridhar. "Wenn wir groß angelegte Daten sammeln könnten, kann das Modell leicht skaliert werden."

The model’s current functionality and the adaptability across embodiments make for promising applications in human-robot collaboration, gaming and virtual reality, and digital animation and video production, the researchers say. They plan to make the model and its source code publicly available so other researchers can use it and expand on it.

Die aktuelle Funktionalität des Modells und die Anpassungsfähigkeit zwischen Ausführungsformen sorgen für vielversprechende Anwendungen in Zusammenarbeit, Spielen und virtueller Realität sowie digitale Animation und Videoproduktion, sagen die Forscher. Sie planen, das Modell und seinen Quellcode öffentlich zugänglich zu machen, damit andere Forscher es verwenden und es erweitern können.