ABot-World-0은 키보드로 조작하는 가상 세계 영상을 RTX 5090 한 장에서 720p·최대 16FPS로 생성했다고 보고했다. 오늘은 영상 속 움직임으로 제어하는 월드 모델, 4D 장면 복원, 생성 영상의 물리값 제어, 이미지·SVG 수정, 아바타와 장편 영상, 코딩 에이전트 복구, Scratch 프로그램 분석, 긴 음성·영상 추론 연구를 함께 전한다.

밤사이 달라진 점

  • arXiv가 7월 22일 공개한 새 논문 목록에 실시간 상호작용 월드 생성, 시각 동작 제어, 4D 장면, 영상 물리값, 제작 도구, 코딩 에이전트, Scratch 분석, 긴 음성·영상 추론 연구가 올라왔다.
  • LEARNTEC 공식 사이트에는 2027년 2월 2~4일 메세 카를스루에 행사 일정이 나와 있으며 기업 전시 신청을 받고 있다. 개인 전시·컨벤션 관람권 판매 일정은 아직 발표하지 않았다.

상호작용 월드와 물리 제어

ABot-World-0, 데스크톱 GPU 한 장에서 720p 생성 보고

Fan Jiang을 비롯한 연구진 40명은 키보드 입력으로 장면을 돌아다니거나 3인칭 캐릭터를 움직일 수 있는 행동 입력형 영상 모델 ABot-World-0을 공개했다. 게임, 시뮬레이션 엔진, 인터넷 영상에서 학습 자료를 모았다. 자료 처리 과정에는 규칙 기반 품질 검사 14종, 시각·언어 모델 평가, 행동·문장 주석 동기화가 포함된다.

연구진에 따르면 저비트 연산에 맞춰 최적화한 모델은 RTX 5090 한 장에서 720p 영상을 최대 16FPS로 출력한다. 사용자가 행동을 입력한 뒤 첫 프레임이 나오기까지 1.2초가 걸리고, VRAM은 최대 약 19GiB를 쓴다. 긴 상호작용 영상과 캐릭터 외형을 기억하는 장치를 선보였지만, 실제 이용자 시험이나 목표·점수·규칙이 이어지는 완성 게임은 아직 제시하지 않았다.

Masked Visual Actions, 영상 속 움직임으로 결과 예측

Hadi Alzayer, Wenlong Huang, Haonan Chen을 비롯한 연구진은 영상에서 일부 물체의 움직임만 남겨 모델에 행동을 전달했다. 로봇 움직임을 보여주면 주변 장면이 어떻게 반응할지 예측한다. 반대로 물체가 움직여야 할 경로를 보여주면 그 결과를 만들 수 있는 로봇 동작을 영상으로 생성한다.

하나의 모델을 실제·시뮬레이션 영상에서 뽑은 15시간 분량의 사례로 추가 학습했다. 학습 때 보지 못한 로봇 형태에도 적용했고, 여러 미래 장면을 비교해 계획을 고르거나 원하는 물체 움직임에서 로봇 행동을 역으로 만드는 모습을 공개했다. 미세한 접촉을 처리할 때나 첫 화면에서 가려진 물체 부분을 그릴 때는 오류가 남았다.

IGGT4D, 긴 영상에서 공간 구조와 물체를 함께 추적

Zhengyu Zou를 비롯한 연구진은 프레임을 차례로 처리하면서 카메라 움직임과 공간 구조를 갱신하고, 시간에 따라 같은 물체가 이어지는지도 추적하는 트랜스포머를 개발했다. 함께 만든 InsScene4D-147K에는 실제·합성, 정적·동적 장면이 들어 있다. 깊이, 카메라 자세, 시간에 따라 같은 물체를 잇는 마스크도 제공한다.

논문은 3D 복원, 자세 추정, 물체 추적, 자유 문장 기반 분할에서 기존 스트리밍 방식보다 좋은 결과를 보고했다. IGGT4D는 관찰한 장면을 복원하는 기술이다. 물체 행동을 만들거나 플레이어 입력에 반응하는 기능은 다루지 않았다.

PhyParam, 힘·질량·마찰·반발계수·중력을 직접 지정

Yanxun Li를 비롯한 연구진은 강체 움직임 5종을 담은 시뮬레이션 영상 13만 개를 만들고 각 영상에 물리값을 붙였다. 이미지로 영상을 만드는 모델에는 물체별 힘, 질량, 마찰, 반발계수와 장면 전체의 중력을 입력할 수 있다.

PhyParam-Bench는 시간에 따른 움직임, 공간 안정성, 지정한 물리값과 생성 결과가 맞는지를 평가한다. 연구진은 화질을 유지하면서 물리 일관성을 높였다고 보고했다. 공개 요약에는 전체 개선 폭을 하나로 합친 수치가 없으며, 자료와 평가 도구, 코드는 추후 공개할 예정이다.

제작 도구와 시각 일관성

Appearance Pointers, 지정한 영역에 재질과 정체성 반영

Rahul Sajnani를 비롯한 연구진은 사용자가 그린 마스크에 문장이나 참고 이미지 정보를 연결하는 작은 토큰을 만들었다. 기반 확산 트랜스포머 전체를 처음부터 다시 학습하지 않고도 원하는 영역에 특정 재질, 물체 정체성, 공간 지시를 적용하는 방식이다.

모델 하나로 여러 영역에 문장과 이미지를 함께 적용했고, 논문의 각 지표에서 용도별 비교 모델과 같거나 더 높은 결과를 냈다. 결과는 지표별로 제시됐으며 하나로 합친 점수는 없다. 실제 제작 편집기에 연결한 시험도 아직 나오지 않았다.

Vector-Bench, 고친 부분과 건드리지 말아야 할 부분을 함께 검사

Vector-Bench는 SVG 수정 과제 40개로 구성됐다. 망가진 SVG 코드, 화면에 보이는 문제를 설명한 문장, 비공개 정답 코드가 한 묶음이다. 과제마다 평균 5.05개를 고쳐야 하며, 평균 60.55개 물체는 그대로 보존해야 한다. 평가기는 요청한 수정뿐 아니라 앱에서 의미가 있는 SVG 구조가 바뀌지 않았는지도 확인한다.

모델 34종이 1,360번 작업한 결과, 가장 높은 성능을 기록한 모델도 지시를 모두 지킨 비율은 15.0%였다. 평균 수정 진척도는 43.7%였다. 화면이 어느 정도 고쳐진 듯 보여도 관계없는 물체나 코드가 함께 바뀔 수 있다는 뜻이다.

FlexiAvatar, 카메라에 보인 신체 부위부터 복원

Yihalem Yimolal Tiruneh를 비롯한 연구진은 한 대의 카메라 영상에 전혀 나오지 않은 신체 부위까지 한꺼번에 최적화하는 방식을 피했다. FlexiAvatar는 실제로 보인 부위를 추적하고 세부 형태를 보강한다. 등처럼 한 번도 보이지 않은 부분은 확산 모델로 질감을 완성한다.

ECCV 2026 논문은 전신, 부분 신체, 얼굴 영상 자료에서 기존 방식보다 PSNR이 평균 약 3% 높았다고 보고했다. 보이는 부위만 먼저 처리하기 때문에 일부만 나온 영상에서는 계산해야 할 3D 가우시안 수도 줄었다.

FilmWorld, 소설 15편을 여러 에이전트가 장면으로 구성

Jialong Zuo를 비롯한 연구진은 소설을 영상으로 만드는 과정을 세계 구성과 세계 변화 두 단계로 나눴다. 첫 에이전트 집단은 문장을 지속되는 인물·사물 상태와 촬영 계획으로 옮긴다. 다른 집단은 장면 사이에서 상태를 이어가며 생성 결과가 앞뒤와 맞는지 검사한다.

FilmEval은 소설 15편을 대상으로 영상 표현, 장면 일관성, 원작 충실도를 자동 지표 9개로 평가한다. FilmWorld는 비교한 영상 생성 에이전트보다 좋은 결과를 냈다고 논문은 보고한다. 개선 폭을 판단할 세부 지표와 사람이 직접 영상을 본 평가는 추가 확인이 필요하다.

개발 에이전트·학습 도구·미디어 추론

CodeRescue, 저렴한 모델로 다시 시도할지 상위 모델로 넘길지 결정

Qijia He를 비롯한 연구진은 코드 실행 실패에서 나온 정보를 다음 대응을 정하는 데 활용했다. 라우터가 저렴한 모델에 복구 작업을 한 번 더 맡길지, 더 강하고 비싼 모델로 넘길지 고른다. 배포할 때 비용 가중치를 바꿀 수 있어 예산이 달라져도 모델을 다시 학습할 필요는 없다.

코딩 평가 5종의 실패 사례를 시험한 결과, GPT-5.4-nano와 GPT-5.4를 조합한 한 설정은 매번 강한 모델로 넘기는 방식보다 더 높은 해결률을 기록하면서 평균 복구 비용은 35%만 썼다. 논문이 제시한 보장은 전체 평균 비용에 관한 것이며 개별 작업의 해결을 보장하지 않는다.

AgentDebugX, 문제가 드러난 곳보다 앞선 원인 추적

Kunlun Zhu를 비롯한 연구진은 실패를 감지하고, 원인을 찾고, 복구안을 만든 뒤 다시 실행하는 오픈소스 도구를 개발했다. 전체 작업 기록을 읽고 실행 구조를 따라가며, 가능한 원인을 서로 대조해 어느 에이전트의 몇 번째 단계에서 문제가 시작됐는지 찾는다.

Who and When 평가에서 공개 가중치 모델을 쓴 최고 설정의 에이전트·단계 동시 정답률은 28.8%였다. 가장 강한 단일 분석 방식은 21.7%였다. GAIA에서는 실패한 작업 73개 가운데 13개를 한 차례 재실행으로 복구해 전체 정확도를 55.8%에서 63.6%로 높였다.

EmbeddedKittens, Scratch 프로그램 표현 방식 9종 비교

Benedikt Fein과 Gordon Fraser는 언어 모델 4종과 전용 임베딩 방식 5종을 Scratch 토큰 예측과 분류 과제 2종에 적용했다. 공개 Scratch 자료로 학습한 모델은 학생 프로그램의 구조와 의미를 파악해 기능상 정답인지 같은 속성을 예측할 수 있었다.

교실에서 얻을 수 있는 작은 자료를 가정했으며, 과제별 추가 학습 없이 학습 분석에 쓸 수 있는지를 살폈다. Scratch 임베딩의 활용 가능성은 확인했지만 모든 프로그램 분석에서 한 방식이 가장 좋다는 결과는 아니다.

OmniReasoner, 긴 음성·영상에서 필요한 구간만 확대

Yu Chen을 비롯한 연구진은 긴 음성·영상을 먼저 낮은 비용으로 훑은 뒤 근거가 더 필요하면 특정 시간대를 자세히 불러오도록 모델을 학습했다. TimeAnchor는 처음 훑을 때와 확대할 때 프레임 간격이 달라도 요청한 시간대가 어긋나지 않도록 맞춘다.

논문은 여러 음성·영상 평가에서 정답률과 근거 시간대 찾기 성능이 높아졌다고 보고했다. 모델별 개선 폭은 공개 요약에 나오지 않았다. 녹화 자료에 관한 질문에 답하는 기술이며 실시간 게임 장면을 조작하는 기능은 아니다.

일정표에 새로 추가

Wonder News 2027년 일정표에 LEARNTEC 2027을 추가했다. 디지털 교육 전시·컨벤션은 2월 2~4일 독일 메세 카를스루에에서 열린다. 기업 부스와 스타트업 구역 신청을 받고 있으며 마감일은 발표되지 않았다. 개인 전시·컨벤션 관람권 판매 일정도 아직 나오지 않았다.

다음에 확인할 것

  • ABot-World-0 모델·시험 코드 공개와 입력 지연, 프레임 속도, 긴 생성 중 오류 누적에 대한 독립 측정.
  • 더 다양한 물체와 접촉 상황에서 Masked Visual Actions의 예측 영상과 실제 로봇 실행 결과가 얼마나 맞는지.
  • InsScene4D-147K와 PhyParam 자료·평가 도구·코드 공개.
  • 화면 결과와 SVG 구조를 함께 확인하는 편집기 연동 에이전트의 Vector-Bench 성적.
  • FilmWorld의 시청자 평가와 Appearance Pointers·FlexiAvatar의 실제 제작자 시험.
  • 더 큰 소프트웨어 저장소에서 CodeRescue와 AgentDebugX의 비용·복구 성능을 독립적으로 재현한 결과.
  • LEARNTEC 2027 개인 관람권 판매와 프로그램 발표.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.