DreamStyle3D가 3D 형상과 시각 스타일을 나눠 처리해 스타일 3D 자산을 10초 안에 생성했다고 보고했다. 오늘은 기존 영상의 카메라를 바꾸는 기술, 영화 제작 문법을 적용한 영상 벤치마크, 빨라진 장편 아바타, 화면 변화를 학습하는 인터페이스 에이전트, 에이전트 메모리와 자기 검증 실험, 촉각 월드 모델, 실제 로봇 평가, PAX East 2027 일정도 살펴본다. 별도 설명이 없는 수치는 새 사전 공개 논문의 저자 보고이며 독립적으로 재현되지 않았다.

밤사이 달라진 것

  • arXiv가 7월 28일 발표 목록에 스타일 3D 자산, 카메라 제어 영상, 영화 영상 평가, 아바타, 인터페이스 에이전트, 메모리, 코드 수정, 월드 모델, 로봇 평가 연구를 추가했다.
  • PAX는 PAX East 2027을 4월 22~25일 보스턴에서 연다고 확정했다. 기업 전시 문의는 받고 있지만 개인 배지 판매 일정은 발표하지 않았다.

게임 자산과 영상 연출

DreamStyle3D, 스타일 3D 자산을 10초 안에 생성

Kai Wang, Ziheng Ouyang, Xuying Zhang, Ming-Ming Cheng, Qibin Hou는 3D 형상과 스타일을 서로 다른 교차 어텐션 경로로 처리하는 DreamStyle3D를 개발했다. 요청한 외형을 입히면서 물체 구조를 지키도록 설계해, 이미지를 먼저 만든 뒤 3D로 옮기는 간접 방식에서 벗어났다.

연구진은 자동화 절차로 원본 콘텐츠, 스타일, 스타일을 입힌 결과물 약 1만5천 묶음을 만들었다. 형상이 일관된 고품질 자산을 10초 안에 생성한다고 보고했으며 코드와 데이터도 공개했다. 다만 논문 초록에는 속도를 잰 하드웨어나 생성한 자산을 리깅·애니메이션하고 상용 게임 엔진으로 가져온 결과가 나오지 않는다.

CameraAnything, 한 번의 영상 편집으로 시점·렌즈·화면비 변경

Yixuan Li 연구팀이 ECCV 2026 논문으로 공개한 CameraAnything은 기존 영상에서 카메라 위치, 초점거리, 출력 해상도를 함께 바꾼다. 완전한 3D 장면을 먼저 복원하지 않고도 새로운 시점과 렌즈, 화면비, 여러 장면 전환을 만들 수 있다.

연구진은 여러 카메라와 초점거리, 장면 구성을 적용한 합성 동영상을 만들어 학습 자료로 썼다. 프로젝트 페이지에는 16:9 영상을 4:3, 정사각형, 세로형, 9:16으로 바꾼 사례가 나온다. 다만 논문 초록은 카메라 제어 정확도를 하나로 합친 수치를 제시하지 않는다.

FilmBench, 생성 영상이 영화 제작 문법을 따르는지 평가

FilmBench는 20개 장르의 수상 실사 영화에서 1,169개 프롬프트를 역으로 만들었다. 감독들이 참고 영상을 고르는 데 참여했으며, 프롬프트 1,056개는 한 장면이 아니라 여러 장면을 요구한다.

텍스트 기반 영상 모델 9개와 참조 영상 기반 모델 7개를 3개 축, 12개 구성 요소, 35개 핵심 세부 지표로 평가했다. 자동 평가기의 모델 순위는 사람 평가와 각각 0.95, 0.96의 스피어먼 상관관계를 보였다. 연구진은 모든 모델에서 단일 장면보다 여러 장면 과제의 성적이 낮아졌다고 보고했다.

AptAvatar, 장편 720p 아바타 생성 속도 60배 향상 보고

Hengyuan Zhang, Jingna Sun, Meiguang Jin, Junfeng Ma는 음성으로 영상을 만드는 140억 매개변수 모델 AptAvatar를 개발했다. 노이즈 제거를 두 단계로 압축하고, 학습 도중 이전 모델의 출력물을 재사용해 아바타가 자기 영상을 이어 만드는 상황에 익숙해지도록 했다.

연구진은 인물의 일관성과 움직임 품질을 유지하면서 장편 720p 영상을 60배 빠르게 생성했다고 보고했다. 코드는 공개됐지만 논문 초록에는 구동 하드웨어, 실시간 초당 프레임 수, 입 모양 일치에 대한 시청자 평가가 나오지 않는다.

인터페이스 에이전트, 메모리, 검증

화면 상태의 변화를 먼저 익힌 GUI 에이전트

Xiangyan Liu 연구팀은 두 화면 사이에서 어떤 동작이 일어났는지 맞히고, 현재 화면에서 동작을 실행하면 다음 화면이 어떻게 될지 예측하도록 하나의 멀티모달 모델을 사전 학습했다. 이후 작업 지시와 전체 실행 경로를 이용해 모델을 다듬었다.

직접 실행 경로만 학습한 비교 모델보다 AgentNetBench, AndroidControl, GUIOdyssey에서 꾸준히 높은 성적을 냈다고 연구진은 보고했다. 화면 변화 학습 자료가 늘수록 성능도 상승했다. 다만 초록에는 여러 벤치마크의 향상 폭을 하나로 합친 수치가 없다.

InMind, 장기 메모리 검색의 간접 연관성 약점 확인

InMind는 생활 10개 분야에서 전문가가 검증한 과제 125개로 구성됐다. 나무 견과류 알레르기와 아몬드 가루가 들어가는 디저트처럼, 저장한 사실과 나중 질문에 같은 단어가 거의 없어도 배경지식을 통해 둘을 연결해야 한다.

필요한 기억을 문맥에 그대로 두면 시험한 기반 모델의 간접 질문 정답률은 84.0%였다. 같은 기억을 검색해야 할 때는 벡터·그래프·에이전트 방식의 메모리 시스템 6개가 최고 14.4%에 그쳤다. 직접 물으면 최대 100%까지 기억을 찾았고, 임베딩 차원을 8배 늘려도 정답 격차는 거의 줄지 않았다.

코드 수정을 반복하면 맞는 패치를 덮어쓸 수 있다

Xueping Gao, Jianwei Yang, Qiang Yang은 HumanEval 코드 수정 과제에서 세 차례 수정을 강제한 실행 경로 900개를 분석했다. 현재 코드가 맞고 현재 실행 기록도 뒷받침하는 비율은 첫 수정 뒤 82.0%에서 두 번째 수정 뒤 67.3%로 내려갔다. 한 번이라도 맞았던 비율은 오히려 84.7%로 올랐다.

별도의 140억 매개변수 모델 재현 시험에서는 낡은 실행 기록을 썼을 때 올바른 시작 코드 135개 중 34개가 손상됐다. 현재 코드에 맞는 기록을 쓰면 손상은 4개였다. 연구진은 검증 근거를 정확한 코드 상태에 묶는 참고 구현을 제공하지만, 이 구현이 에이전트의 수정 능력 자체를 높인다고 주장하지는 않는다.

에이전트가 볼 수 없는 승인 시험으로 성능 퇴행 점검

Diandian Guo 연구팀은 에이전트가 작업 규칙과 이후 수정을 승인할 시험을 모두 다시 쓰는 상황을 살폈다. 에이전트가 만든 시험에서는 높은 점수를 유지해도, 에이전트가 볼 수 없는 배포 평가에서는 성능이 떨어질 수 있었다.

연구팀의 SEAL은 에이전트 자체 시험을 유지하되, 후보와 현재 버전을 에이전트가 열람할 수 없는 고정 시험으로 비교한다. 6개 모델과 무작위 시드 3개를 사용한 실험에서 보호 장치가 없는 비교 방식보다 높은 성적을 냈다. 자기 검증을 없애기보다 승인 판단 하나는 에이전트 외부에 둬야 한다는 결론이다.

월드 모델과 실제 로봇 평가

FeelWorld, 접촉 계획 전에 촉각까지 예측

FeelWorld는 미래의 시각 특징과 함께 접촉 여부, 힘 정보를 담은 3차원 촉각 표현, 미끄러짐을 예측한다. 접촉 전에는 불필요한 촉각 값이 시각 예측을 방해하지 않도록 막고, 물체에 닿은 뒤 두 정보를 합친다.

칩 집기, 과일 집기, USB 꽂기에서 10단계 영상 오차는 LPIPS 0.084에서 0.058로 줄었다. 80단계까지 예측했을 때는 시각 정보만 쓴 비교 모델보다 오차가 61% 낮았다. 촉각을 반영한 계획은 평균 81.7%의 제로샷 성공률을 기록했다.

ArmnetBench, 저가 로봇 여러 대에서 정책 2,518회 시험

ArmnetBench v0.1은 저가 SO-101 로봇 여러 대로 정책 7개를 단일 팔·양팔 과제 12개에서 평가한다. 모든 정책은 같은 환경에서 과제별 시범 50개로 학습하거나 추가 학습했다.

공개 자료에는 정책 실행 2,518회와 참고 시범 600회가 들어 있다. 사람이 전체 3,118회를 성공, 미흡, 실패로 나눠 표시했다. 같은 장비 구성에서 정책을 비교하고, 성공과 실패가 섞인 실행 기록으로 정책이나 보상 모델을 다시 학습할 수 있다.

WorldDiT, 동작 생성과 미래 화면 예측을 하나의 모델로 결합

WorldDiT는 하나의 확산 트랜스포머로 연속된 로봇 동작과 미래 카메라 화면의 이미지 조각을 함께 만든다. 동작 생성의 기반으로 거대한 사전 학습 비전·언어 모델을 쓰지 않는다.

연구진은 네 가지 LIBERO 시뮬레이션 모음에서 모델 크기와 평균 성공률을 함께 비교했다. 전체 결과를 공개한 방법 가운데 10억 개 미만 매개변수로 파레토 전선에 올랐다고 보고했다. 작은 모델의 출발점은 제시하지만 실제 로봇 성능을 입증한 결과는 아니다.

SHARE, 사람과 로봇이 함께 쓰는 공간에서 AR 지연 단축

SHARE는 한 공간을 공유하는 로봇의 추적 정확도를 유지하면서 증강현실 헤드셋 사용자가 필요한 지도 갱신을 먼저 처리한다. 엣지 서버로 보내기 전에 서로 겹치는 시각 특징도 줄인다.

상용 AR 헤드셋과 지상 로봇을 사용한 시험에서 평균 AR 지연은 13.22밀리초로, 비교 방식보다 43.3% 낮았다. 추적 오차는 2센티미터 아래로 유지했다. 사용자 연구에서도 통계적으로 유의한 개선이 나왔지만 초록에는 참가자 수가 적혀 있지 않다.

행사 일정

PAX East 2027, 기업 전시 문의 접수

PAX East는 2027년 4월 22~25일 미국 보스턴 토머스 M. 메니노 컨벤션·전시센터에서 열린다. 주최 측은 기업 전시·광고 문의를 상시 받고 있다. PAX Rising 등 다른 프로그램 신청은 2026년 말 열릴 예정이며 개인 참가 배지는 아직 판매하지 않는다.

2027년 게임·에듀테크 행사 일정 보기.

다음에 볼 것

  • DreamStyle3D가 공개한 코드와 데이터로 논문에 나온 생성 속도가 여러 GPU에서도 나오는지, 완성 메시를 리깅하고 게임 엔진에 가져올 수 있는지 확인할 수 있다.
  • CameraAnything과 FilmBench에는 카메라 제어 정확도와 여러 장면 점수가 실제 제작 절차에서 어떤 결과로 이어지는지 보여 주는 공개 평가가 더 필요하다.
  • InMind는 간접적으로 관련된 기억을 언제 문맥에 남길지 측정할 길을 열었다. 문맥을 불필요한 정보로 채우지 않고 이를 해결할 수 있는지가 다음 과제다.
  • ArmnetBench 공개 자료를 활용하면 장비 장소와 운영자, 과제가 늘어나도 정책 순위가 유지되는지 시험할 수 있다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.