WorldWeaver는 두 플레이어가 등장하는 생성 세계에 공유 상태 기억을 넣었다. Minecraft 실험의 세계 종합 점수는 기준 모델 81.0에서 105.1로 올랐다. 오늘은 에이전트가 만드는 물리 장면, 미래 시점의 3D 형상 평가, 빠른 영상 생성과 여러 물체의 움직임 제어, 3D 텍스처 복원, 로봇 학습 자료 수집, 에이전트 실행 환경 학습, 코딩 추론 비용 절감, 로컬 코딩 에이전트, 의료 교육용 이야기 게임, Meta AI의 앱 연동 업무도 전한다.

밤사이 달라진 점

  • arXiv가 7월 24일 공개한 새 논문 목록에 여러 플레이어가 공유하는 생성 세계, 물리 장면 제작, 미래 3D 형상 복원, 영상 생성, 3D 자산, 로봇 학습 자료, 에이전트 학습, 코딩, 게임형 교육 연구가 올라왔다.
  • Meta는 일부 국가의 Meta AI 앱과 meta.ai에서 계획 세우기, 정기 요약, 자료 조사, 슬라이드 만들기, 이메일·일정 앱 연동 업무를 배포하기 시작했다고 밝혔다.

공유 세계와 물리 장면

WorldWeaver, 두 플레이어가 하나의 세계 상태를 이어받는다

Sicheng Mo, Yuheng Li, Ziyang Leng, Krishna Kumar Singh, Bolei Zhou는 스트리밍 영상 확산 모델에 지속 상태 기억을 추가했다. 이 기억은 공통 장면과 각 플레이어의 정보를 저장하고, 생성 영상 묶음이 끝날 때마다 갱신된다. 최근 프레임 몇 장만 보고 세계를 다시 추정할 필요가 줄어든다.

연구진은 두 플레이어가 동시에 움직이는 Minecraft 영상을 생성해 평가했다. 상태 기억만 넣었을 때 세계 종합 점수는 81.0에서 93.8로 올랐다. 플레이어 위치·속도·방향, 위에서 본 지도, 장면 설명까지 학습하자 105.1을 기록했다. 함께 건설한 구조와 위치 정보를 더 일관되게 유지했지만, 플레이어가 세 명 이상인 경우나 다른 게임 장면에서도 같은 효과가 나는지는 확인되지 않았다.

GS-Agent, 문장으로 지시한 4D 장면의 시뮬레이션 코드를 작성

Hongxin Zhang을 비롯한 연구진은 3D 자산, 재질, 배치, 움직임, 카메라, 조명을 여러 에이전트에 나눠 맡겼다. 에이전트는 코드로 물리 엔진을 실행하고 영상과 데이터를 확인한 뒤 장면을 고친다.

프로젝트 페이지에는 강체가 액체, 모래, 천을 비롯한 변형 물체와 상호작용하는 예제가 나온다. 결과물은 렌더링한 영상에 그치지 않고 3D 형상, 입자, 실행 코드가 남는 시뮬레이션 장면이다. 첫 보고에는 전체 과제 성공률이나 사람이 직접 만들 때와 비교한 작업 시간은 나오지 않는다.

FutureSurf, 그럴듯한 미래 화면과 정확한 미래 형상을 따로 평가

Yukun Shi와 Minglun Gong은 움직이는 장면의 앞부분 75%로 복원 모델을 학습하고, 남겨 둔 미래 구간에서 표면 형상을 평가했다. 자료에는 수학적으로 정의한 움직임 8종과 반증용 사례 3종이 들어 있으며 모든 프레임의 정확한 3D 메시를 제공한다.

DG-Mesh는 관찰 구간의 규칙만으로 예측할 수 있는 움직임에서도 미래 구간 오차가 관찰 구간보다 2.7–4.1배 컸다. 애니메이션 자산 6개와 Deformable-3DGS를 포함한 추가 시험에서는 2.0–6.6배 차이가 났다. 미래 화면의 렌더링 품질과 미래 표면 정확도 사이에는 통계적 연관성이 없었다. 화면이 그럴듯해도 미래 3D 형상이 정확하다는 뜻은 아니다.

영상과 3D 자산 제어

SANA-Video 2.0, 선형 어텐션 사이에 전체 어텐션 배치

Junsong Chen을 비롯한 연구진은 대부분의 층에 선형 어텐션을 쓰고, 세 번마다 한 번씩 전체 소프트맥스 어텐션을 넣었다. 전체 어텐션이 만든 특징은 잔차 연결을 통해 뒤쪽 선형 층으로 전달한다.

40단계로 영상을 만들었을 때 H100 한 장에서 480p VBench 84.30점을 13.2초에 기록했다고 연구진은 보고했다. 최적화한 50억 매개변수 모델은 5초짜리 720p 영상을 13.06초에 만들었다. 같은 H100 한 장 시험에서 Wan 2.2-A14B보다 120배 빨랐다. 제작자가 쓰는 일반 GPU나 게임 특유의 움직임을 대상으로 한 수치는 공개하지 않았다.

GraphVid, 경로를 일일이 그리지 않고 물체 관계로 움직임 제어

Vedant Shah를 비롯한 연구진은 이미지로 영상을 만들 때 여러 물체와 그 관계를 그래프로 입력한다. 물체가 겹치거나 가려지는 장면에서도 각 물체의 이동 경로를 정밀하게 하나씩 그리지 않고 상호작용을 지정할 수 있다.

Motion-I2V와 비교해 FID는 최대 39.9%, FVD는 37.6% 낮췄다고 보고했다. PSNR은 9.87에서 15.98, SSIM은 0.38에서 0.61로 올랐다. 논문은 물체 관계가 표시된 GraphVid-Bench도 소개하지만, 공개 요약에는 자료 규모와 배포 방식이 없다.

Texture++, 오래된 3D 텍스처의 필요한 부분만 복원

Shuaiwei Wang을 비롯한 연구진은 3D 자산을 자동으로 고른 여러 각도에서 렌더링하고, 지정한 영역을 확산 모델로 선명하게 만든 뒤 다시 텍스처 맵에 합친다. 사분 트리 방식으로 어느 부분을 개선할지 구분한다.

UV 텍스처가 여러 조각으로 흩어진 저해상도 영화·게임 자산을 대상으로 삼았다. 시험한 다른 초해상도 방식보다 세부 표현과 연결성이 나아졌다고 보고했지만, 공개 요약에는 전체 개선 수치, 처리 시간, 공개 일정이 없다.

로봇 자료와 에이전트 학습

AXIS, 브라우저에서 로봇 시연 자료 수집

Mengfei Zhao를 비롯한 연구진은 원격 참여자가 브라우저에서 시뮬레이션 로봇을 조작하게 했다. 자동 처리 과정은 성공 여부를 확인하고, 시연 경로를 걸러 다듬으며, 화면과 물리 환경에 변화를 추가한다.

AXIS에는 현재 과제 207종과 로봇 조작 경로 5만 개 이상이 들어 있다. 논문에 따르면 이 자료로 π0.5를 계속 학습하자 전체 성공률이 5.8% 올랐고, RoboCasa365로 미리 학습한 비교 모델을 37.3% 앞섰다. 배치, 카메라, 센서 잡음이 바뀌는 시험에서 개선 폭이 가장 컸다.

OpenForgeRL, 실제 에이전트 실행 환경 안에서 강화학습

Xiao Yu를 비롯한 연구진은 에이전트 실행 도구와 모델 호출 사이에 중계기를 두고, 실행 기록을 강화학습 자료로 바꾼다. 각 과제는 별도의 Kubernetes 컨테이너에서 실행한다. 도구 호출, 브라우저, 컴퓨터 조작 에이전트와 Codex·OpenClaw 같은 실행 도구를 시험했다.

OpenForgeGUI는 OSWorld-Verified 37.7점, Online-Mind2Web 63.0점, WebVoyager 72.3점을 기록했다. OpenForgeClaw는 ClawEval에서 pass³ 31.7, pass@3 55.9를 기록했다. 강화학습 뒤 스스로 확인하는 행동과 도구 사용 범위는 좋아졌지만, 오류 복구는 여전히 약했다고 연구진은 밝혔다.

오류 지점을 찾아 실패 전까지의 풀이를 재사용

Rajiv Shailesh Chitale을 비롯한 연구진은 과제 피드백이 있을 때와 없을 때의 토큰 확률을 비교해 추론이 처음 어긋난 지점을 찾는다. 그 지점까지만 되돌아가 새로운 풀이를 이어 쓰기 때문에 앞서 맞게 푼 부분을 버리지 않는다.

Qwen3-8B로 LiveCodeBench를 풀었을 때 pass@64 71.0%를 기록하면서 약 36만400개 토큰을 생성했다. 서로 독립된 풀이를 계속 만드는 방식은 73만5천 개를 썼다. 이 방식은 실행 결과처럼 실패 여부를 알려 주는 피드백을 받을 수 있을 때 적용할 수 있다.

로컬 오픈 가중치 코딩 에이전트, 자료 정리 과제 최대 87.9% 완료

Mack Nixon을 비롯한 연구진은 로컬 컴퓨터에서 작동하는 코딩 에이전트에 장기간 수집한 연구 자료 정리 과제 20개를 맡겼다. 여섯 차례 조사 자료를 합쳐 변수 102개를 만드는 작업이다. 개인 정보를 외부 클라우드로 보내지 않는 사용 사례를 겨냥했다.

시험한 310억–350억 매개변수 모델 가운데 가장 성능이 높은 모델은 일반 소비자용 하드웨어에서 평균 과제 완료율 최대 87.9%를 기록했다. 평가 범위는 R 자료 정리, 범주 통일, 여러 조사 시점의 자료 합치기이며 일반적인 소프트웨어 저장소 작업은 다루지 않았다.

제품과 학습

MedGame, 의료 사례를 선택형 이야기 게임으로 구성

Qian Wu를 비롯한 연구진은 하나의 모델이 의료 사례를 상태와 선택지로 나누고, 다른 모델이 이를 대화형 화면에서 실행할 수 있는 멀티모달 계획으로 바꾸게 했다. MedGame Bench에는 이야기 생성과 진행 구성 평가용 의료 사례 5천 건이 들어 있다.

연구진은 과제에 맞춰 추가 학습한 오픈 모델이 상용 모델과의 격차를 줄였다고 보고했다. 학생 대상 예비 조사 참여자는 글로만 학습할 때보다 더 흥미롭고 유용하다고 답했다. 공개 요약에는 참여자 수와 학습 성과 측정치는 나오지 않는다.

Meta AI, 정기 업무와 연결 앱 작업 실행

Meta는 Muse Spark 1.1을 적용한 Meta AI가 여러 단계의 계획을 세우고, 이메일과 일정 앱을 연결하고, 정기 요약과 자료 조사를 수행하며, 슬라이드를 만들 수 있다고 밝혔다. 보고서나 계획을 만드는 도중에도 사용자가 방향을 바꿀 수 있다.

Meta는 이 기능을 7월 24일부터 일부 국가의 Meta AI 앱과 meta.ai에 배포하기 시작했다고 밝혔다. WhatsApp과 다른 국가에는 몇 주 안에 확대할 예정이다. 발표문에는 첫 배포 국가, 지원하는 이메일·일정 서비스, 성능 평가 결과, 전체 권한 관리 방식이 나오지 않는다.

새로 추가한 행사 일정

ISTE+ASCD Conference 2027을 일정표에 추가했다. 교육기술 행사는 2027년 6월 27–30일 보스턴에서 열린다. 교육자 프로그램 심사위원 신청을 받고 있으며 주최 측은 8월 15일부터 선발한다고 안내했지만 마감일은 명시하지 않았다. 발표 제안은 9월 1–30일 받을 예정이고 개인 참가 등록 일정은 아직 발표하지 않았다.

다음에 볼 것

  • WorldWeaver 코드, 세 명 이상이 참여하는 시험, Minecraft 밖의 장면 평가.
  • GS-Agent의 전체 과제 성공률, 제작 시간, 물리 장면 재현 시험.
  • 관찰하지 않은 미래 구간의 3D 형상을 직접 예측하는 방법이 FutureSurf에서 내는 결과.
  • 제작자용 하드웨어와 게임형 움직임에서 확인한 SANA-Video 2.0의 품질과 속도.
  • GraphVid-Bench 공개 범위와 물체가 많이 가려지는 장면의 제어 비교.
  • Texture++ 코드, 처리 시간, 게임 엔진에서 확인한 이음새와 재질 품질.
  • 새로운 과제와 오류 복구를 포함한 AXIS·OpenForgeRL 독립 재현.
  • MedGame의 학습 성과와 Meta AI의 지원 국가·연동 서비스·권한 관리.
  • ISTE+ASCD의 심사위원 신청 마감일, 9월 발표 제안, 개인 참가 등록 시작.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.