Brown University 연구원들은 로봇과 애니메이션 인물로 움직임을 생성 할 수있는 AI 모델을 개발합니다.

MotionGlot이라는 모델을 사용하면 사용자가 단순히 "몇 단계를 걸어 가서 올바르게 수행"하는 동작을 입력 할 수 있으며 모델은 해당 모션의 정확한 표현을 생성하여 로봇 또는 애니메이션 아바타를 지휘 할 수 있습니다.

Researchers at Brown University have developed an artificial intelligence model that can generate movement in robots and animated figures in much the same way that AI models like ChatGPT generate text.

Brown University의 연구원들은 Chatgpt와 같은 AI 모델이 텍스트를 생성하는 것과 거의 같은 방식으로 로봇과 애니메이션 인물의 움직임을 생성 할 수있는 인공 지능 모델을 개발했습니다.

The model, called MotionGlot, enables users to simply type an action — “walk forward a few steps and take a right”— and the model can generate accurate representations of that motion to command a robot or animated avatar.

MotionGlot이라는 모델을 사용하면 사용자가 단순히 "몇 단계를 걸어 가서 올바르게 수행"하는 동작을 입력 할 수 있으며 모델은 해당 모션의 정확한 표현을 생성하여 로봇 또는 애니메이션 아바타를 지휘 할 수 있습니다.

The model’s key advance, according to the researchers, is its ability to “translate” motion across robot and figure types, from humanoids to quadrupeds and beyond. That enables the generation of motion for a wide range of robotic embodiments and in all kinds of spatial configurations and contexts.

연구자들에 따르면이 모델의 주요 발전은 로봇과 그림 유형, 인간화에서 4 배 이상에 이르기까지 모션을 "번역"하는 능력입니다. 이는 광범위한 로봇 실시 예와 모든 종류의 공간 구성 및 컨텍스트에 대한 운동의 생성을 가능하게한다.

“We’re treating motion as simply another language,” said Sudarshan Harithas, a Ph.D. student in computer science at Brown, who led the work. “And just as we can translate languages — from English to Chinese, for example — we can now translate language-based commands to corresponding actions across multiple embodiments. That enables a broad set of new applications.”

Ph.D. Brown의 컴퓨터 과학 학생은 작품을 이끌었습니다. "예를 들어 영어에서 중국어로 언어를 번역 할 수있는 것처럼, 이제 우리는 이제 언어 기반 명령을 여러 구체 예의 해당 조치로 번역 할 수 있습니다.이를 통해 광범위한 새로운 응용 프로그램이 가능합니다."

The research, which was supported by the Office of Naval Research, will be presented later this month at the 2025 International Conference on Robotics and Automation in Atlanta. The work was co-authored by Harithas and his advisor, Srinath Sridhar, an assistant professor of computer science at Brown.

해군 연구실에서 뒷받침 된이 연구는 이달 말 애틀랜타에서 열린 2025 년 로봇 공학 및 자동화에 관한 국제 회의에서 발표 될 예정이다. 이 작품은 Harithas와 그의 고문 인 Srinath Sridhar가 Brown의 컴퓨터 과학 조교수에 의해 공동 저술되었습니다.

Large language models like ChatGPT generate text through a process called “next token prediction,” which breaks language down into a series of tokens, or small chunks, like individual words or characters. Given a single token or a string of tokens, the language model makes a prediction about what the next token might be. These models have been incredibly successful in generating text, and researchers have begun using similar approaches for motion. The idea is to break down the components of motion— the discrete position of legs during the process of walking, for example — into tokens. Once the motion is tokenized, fluid movements can be generated through next token prediction.

Chatgpt와 같은 대형 언어 모델은“Next Token Prediction”이라는 프로세스를 통해 텍스트를 생성하여 언어를 개별 단어 나 문자와 같은 일련의 토큰 또는 작은 청크로 나눕니다. 단일 토큰 또는 일련의 토큰이 주어지면 언어 모델은 다음 토큰이 무엇인지 예측합니다. 이 모델은 텍스트를 생성하는 데 엄청나게 성공적이었으며 연구자들은 비슷한 접근 방식을 사용하여 운동을 시작했습니다. 아이디어는 예를 들어 걷는 과정에서 다리의 개별 위치 인 운동 구성 요소를 토큰으로 분류하는 것입니다. 운동이 토큰 화되면 다음 토큰 예측을 통해 유체 이동을 생성 할 수 있습니다.

One challenge with this approach is that motions for one body type can look very different for another. For example, when a person is walking a dog down the street, the person and the dog are both doing something called “walking,” but their actual motions are very different. One is upright on two legs; the other is on all fours. According to Harithas, MotionGlot can translate the meaning of walking from one embodiment to another. So a user commanding a figure to “walk forward in a straight line” will get the correct motion output whether they happen to be commanding a humanoid figure or a robot dog.

이 접근법의 한 가지 과제는 한 신체 유형의 움직임이 다른 신체 유형에 대해 매우 다를 수 있다는 것입니다. 예를 들어, 사람이 길을 따라 개를 걷는 경우, 사람과 개는“걷기”라는 일을하고 있지만 실제 움직임은 매우 다릅니다. 하나는 두 다리에 똑바로 세워집니다. 다른 하나는 네 가지 모두에 있습니다. Harithas에 따르면 MotionGlot은 한 실시 예에서 걷는 의미를 한 구체 예에서 다른 구체 예로 번역 할 수 있습니다. 따라서 "직선으로 앞으로 걸어 가기"라고 그림을 명령하는 사용자는 휴머노이드 인물 또는 로봇 개를 지휘하는지 여부에 관계없이 올바른 모션 출력을 얻습니다.

To train their model, the researchers used two datasets, each containing hours of annotated motion data. QUAD-LOCO features dog-like quadruped robots performing a variety of actions along with rich text describing those movements. A similar dataset called QUES-CAP contains real human movement, along with detailed captions and annotations appropriate to each movement.

연구자들은 모델을 훈련시키기 위해 두 개의 데이터 세트를 사용했으며 각각의 주석이 달린 모션 데이터를 포함했습니다. Quad-Loco는 개와 같은 4 차 로봇이 특징이 있으며, 이러한 움직임을 설명하는 풍부한 텍스트와 함께 다양한 행동을 수행합니다. Ques-Cap이라는 유사한 데이터 세트에는 실제 인간 운동이 포함되어 있으며 각 운동에 적합한 상세한 캡션 및 주석이 포함되어 있습니다.

Using that training data, the model reliably generates appropriate actions from text prompts, even actions it has never specifically seen before. In testing, the model was able to recreate specific instructions, like “a robot walks backwards, turns left and walks forward,” as well as more abstract prompts like “a robot walks happily.” It can even use motion to answer questions. When asked “Can you show me movement in cardio activity?” the model generates a person jogging.

이 교육 데이터를 사용 하여이 모델은 텍스트 프롬프트에서 적절한 동작을 안정적으로 생성하며, 이전에는 본 적이없는 조치조차도 생성됩니다. 테스트 에서이 모델은“로봇이 뒤로 걸어 가고 좌회전하고 앞으로 걸어가는 것”과 같은 특정 지침을 재현 할 수 있었으며“로봇이 행복하게 걷는 것”과 같은 더 추상적 인 프롬프트를 재현 할 수있었습니다. 모션을 사용하여 질문에 답할 수도 있습니다. "심장 활동의 움직임을 보여줄 수 있습니까?"라고 물었을 때. 이 모델은 사람을 조깅합니다.

“These models work best when they’re trained on lots and lots of data,” Sridhar said. “If we could collect large-scale data, the model can be easily scaled up.”

Sridhar는“이 모델은 많은 데이터에 대해 훈련을받을 때 가장 잘 작동합니다. "대규모 데이터를 수집 할 수 있다면 모델을 쉽게 확장 할 수 있습니다."

The model’s current functionality and the adaptability across embodiments make for promising applications in human-robot collaboration, gaming and virtual reality, and digital animation and video production, the researchers say. They plan to make the model and its source code publicly available so other researchers can use it and expand on it.

연구원들은이 모델의 현재 기능과 실시 예의 적응성은 인간-로봇 협업, 게임 및 가상 현실, 디지털 애니메이션 및 비디오 제작에서 유망한 응용 프로그램을 만듭니다. 그들은 다른 연구자들이 그것을 사용하고 확장 할 수 있도록 모델과 소스 코드를 공개적으로 제공 할 계획입니다.