Wonder가 한 장의 이미지나 영상을 카메라로 탐색할 수 있는 1분 이상 세계로 이어 만들며 초당 16장을 생성한다고 보고했다. 오늘은 탐색 없이 동작을 정하는 월드 모델, 카메라 화면만 보는 자율주행 학습, 이미지·영상 생성 가속, GUI와 저장소 단위 코드 추론 평가, 에이전트 메모리, 반응이 빨라진 로봇 정책, 공연 제어 안전장치, 3D 장면 스트리밍, 새 테이블톱 게임 행사도 살펴본다. 별도 설명이 없는 수치는 새 사전 공개 논문의 저자 보고이며 독립적으로 재현되지 않았다.

밤사이 달라진 것

  • arXiv가 7월 29일 발표 목록에 상호작용 영상 세계, 월드 모델 제어, 시각 기반 자율주행, 생성 속도, GUI 화면 변화, 코드 추론·최적화, 에이전트 메모리, 로봇 제어, 동적 3D 전송 연구를 추가했다.
  • Twin Cities Tabletop Games Expo가 2027년 4월 16~18일 미국 미네소타주에서 열리는 행사 전시 신청과 개인 배지 판매를 시작했다.

탐색 가능한 세계와 생성 미디어

Wonder, 1분 이상 탐색 영상을 초당 16장 생성

Jiacong Xu 연구팀은 이미지나 영상의 다음 장면을 상호작용 가능한 세계로 이어 만드는 Wonder를 개발했다. 카메라 좌표를 화면 전체에 표시해 시점 이동을 전달하고, 생성 기록이 길어져도 관련 있는 부분만 골라 참고한다. 연구진은 앞서 지나간 곳을 다시 찾을 수 있는 1분 이상 영상을 초당 16장 속도로 만들고 기존 영상을 다른 카메라 시점으로 다시 촬영할 수 있다고 보고했다. 다만 게임 규칙, 물체 상호작용, 지속되는 시뮬레이션 상태, 플레이어 목표는 입증하지 않았다. 여기서 ‘플레이 가능’은 완성된 게임이 아니라 카메라 탐색을 뜻한다.

INTACT, 원하는 화면 변화를 동작으로 바로 변환

Junhan Sun, Hao Zhao, Guofeng Zhang은 보상 없이 동작이 표시된 실행 기록으로 INTACT를 학습했다. LeWM 공식 과제 4개에서 탐색 없는 추론 성공률은 85.78%, 100%, 97.67%, 97.89%였고 계산에는 2.9~5.5밀리초가 걸렸다. 주변을 추가로 탐색하면 후보 384개로 평균 96.86%에 도달했다. 순수 CEM 탐색은 후보 9천 개를 썼다. 결과는 논문에 제시된 과제 범위에 한정된다.

Pictura, 실제 배치 때 보는 카메라 화면으로 자율주행 학습

Pictura는 정확한 위치와 속도 같은 숨은 벡터를 정책에 주지 않고 모든 가상 차량의 1인칭 카메라 화면을 렌더링한다. H100 한 대에서 초당 최대 50만 번의 에이전트 동작과 이미지 200만 장을 처리한다. Alberti 정책은 500억 단계, 약 3,500만㎞에 해당하는 가상 주행을 학습하고 Waymo 도로 배치를 다시 그린 환경에 추가 학습 없이 적용됐다. 숨은 정보를 쓰는 정책에 근접하고 전이 시험에서는 이를 앞섰다고 보고했지만 실제 도로 시험은 아니다.

Parallel Decoding Distillation, 한 번에 여러 노이즈 제거 단계 예측

Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner는 모델을 한 번 실행할 때 노이즈 제거 여러 단계를 예측하도록 학습했다. 추론 횟수를 바꿔 쓸 수 있으며 LTX-2.3 영상·음향 생성, Wan 14B 영상 생성, Qwen-Image 이미지 생성에서 4~8회 실행으로 최고 수준의 결과를 보고했다. 연구진은 다른 소수 단계 방식보다 영상 다양성도 높아졌다고 밝혔다. 움직임과 지시 준수는 다양한 제작 작업에서 공개 비교가 더 필요하다.

인터페이스, 코드, 에이전트 메모리

Desktop-Delta Bench, 에이전트가 화면 변화를 이해하는지 측정

Desktop-Delta Bench는 리눅스 앱 약 15개와 작업 분야 50개에서 모은 사람이 검증한 사례 2,013개로 구성됐다. 화면 순서를 맞히는 463개 문제 중 105개에는 다른 실행 기록에서 가져온 무관한 화면이 섞여 있다. 나머지 1,550개는 전후 화면으로 동작 5종과 입력 내용을 맞힌다. 모델 8개 계열을 시험한 결과 최고 정확도는 무관한 화면이 없을 때 65.1%, 있을 때 65.7%였다. 클릭 F1은 0.96이지만 드래그 판별은 0.76이었다.

RepoReasoner, 파일을 넘나드는 코드 추론 한계 확인

RepoReasoner는 pytest 실행을 추적해 저장소 단위 출력 예측과 호출 경로 문제를 만들고, 암기 영향을 줄이기 위해 입출력을 다시 썼다. 모델 7개를 시험했으며 필요한 코드만 제공해도 최고 모델의 출력 예측 Pass@1은 69.1%였다. 호출 경로 답변은 맞힌 항목의 정확도는 높았지만 빠뜨리는 항목이 많았다. 관련 없는 코드가 섞이면 문맥을 더 길게 줘도 항상 도움이 되지는 않았다.

코드 최적화 보상에는 실행 시간만으로 부족

Pierre Chambon 연구팀은 큰 최적화 시험, 보정된 실행 환경, 정답과 속도를 함께 보는 보상을 결합했다. DMC-Optim의 상위 50% 속도 기준 Pass@1은 Qwen 2.5 7B에서 18.0%→31.3%, CWM 32B에서 30.7%→50.4%로 올랐다. CWM이 알고리즘 복잡도 자체를 낮춘 비율은 14%로, 가장 빠른 인간 제출의 28%에는 미치지 못했다.

UniMem, 경험을 언제 모델 기억으로 옮길지 결정

UniMem은 새롭거나 드문 경험은 검색 가능한 저장소에 두고 반복해서 성공한 실행 방식은 확장 가능한 모델 매개변수로 옮긴다. 배치 중 과제 경계를 따로 알려 주지 않아도 된다. 긴 연속 과제와 기반 모델 3개에서 비교 방식보다 평균 4.0 정확 일치 점수가 높았다고 연구진은 보고했다. 논문 초록에는 추가 학습 비용과 오래된 방식이 된 기억을 얼마나 잘 정리하는지는 나오지 않는다.

MemLens, 저장한 대화가 실제로 얼마나 기여했는지 표시

MemLens는 에이전트 기억을 검사할 수 있는 데이터로 다룬다. 학습 도우미 앱에서 각 기록의 기여도를 추정하고 기억 구조를 보여 주며, 답변 품질과 검색 지연, 토큰 사용량을 비교한다. 완결된 관리 도구를 제시했지만 샤플리 값에 가까운 기여도 추정이 여러 종류의 도우미와 변하는 사용자에게도 통하는지는 추가 검증이 필요하다.

로봇 제어, 실시간 시스템, 3D 전송

πR², 실제 로봇에서 40밀리초마다 반응

Sungjae Park과 Shubham Tulsiani는 로봇의 관절·힘 정보는 빠르게 받고 영상·언어 특징은 더 느리게 갱신하도록 입력을 나눴다. GR00T-N1.7을 추가 학습한 πR²는 A5000에서 약 25Hz로 계획을 갱신해 기존 정책보다 약 4배 빨랐다. 시뮬레이션에서는 최대 23%, xArm6와 XHand 실제 로봇에서는 최대 30% 높은 성공률을 보고했다. 이는 모든 과제를 합친 점수가 아니라 과제별 최대 향상 폭이다.

LLM4OSC, 자연어와 공연 장비 사이에 규칙 기반 검사 배치

LLM4OSC에서는 모델이 사람이 검토한 장비 설정표에 맞춰 구조화된 명령을 제안한다. 이후 일반 코드가 주소, 자료형, 범위, 최종 UDP 메시지를 검사한다. Max/MSP 설정 하나를 대상으로 한 고정 시험에서 네 방식 모두 기호 처리 뒤 의미 정확도 100%, 잘못 전송한 비율 0%를 기록했다. 규칙 방식은 약 0.05밀리초로 기본 선택을 유지했고 언어 모델 방식은 약 3~4초가 걸렸다.

SplatStream, 통신 상태에 맞춰 동적 3D 장면을 층별 전송

SplatStream은 움직이는 3D 가우시안 스플래팅 장면을 화질과 해상도 층으로 나누고, 시간과 층 사이의 중복을 예측해 줄인다. 시각적으로 중요한 요소를 먼저 보내며 MPEG-DASH 하위 표현으로 구성해 대역폭 변화에 대응한다. 초록에는 비트 전송률, 지연, 화질 수치가 없어 기존 전송 방식보다 얼마나 나은지는 아직 정량적으로 판단하기 어렵다.

행사 일정

Twin Cities Tabletop Games Expo, 배지·전시 신청 시작

Twin Cities Tabletop Games Expo는 2027년 4월 16~18일 미국 미네소타주 브루클린센터 헤리티지 센터에서 열린다. 약 1,208㎡ 규모 전시장 참가 신청과 개인 배지 판매가 열려 있으며 주최 측은 두 접수의 마감일을 발표하지 않았다. 예약 게임 세션 등록은 1월 15일 시작한다.

2027년 게임·에듀테크 행사 일정 보기.

다음에 볼 것

  • Wonder는 카메라 제어와 화면 기억을 넘어 물체, 규칙, 플레이어 행동이 지속되는지 공개 상호작용 시험이 필요하다.
  • Pictura는 카메라만 보는 정책과 숨은 시뮬레이터 정보를 쓰는 정책을 폐쇄형 안전 시험과 드문 상황에서 비교할 수 있다.
  • RepoReasoner와 Desktop-Delta Bench는 상태 추적 개선이 코드 에이전트와 컴퓨터 조작 에이전트 모두에 도움이 되는지 확인할 시험대다.
  • πR²는 영상 입력이 늦기만 한 상황을 넘어 장면이 갑자기 바뀔 때도 빠른 관절 정보 경로가 효과적인지 확인해야 한다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.