Tongyi Lab의 Wan-Animate-2는 기준 캐릭터와 구동 영상을 받아 동작을 옮긴다. 중간에 뼈대나 별도의 동작 표현을 추출하지 않는다. 연구진은 Lite 모델이 영상을 8프레임씩 이어서 만들며 라이브 카메라 입력을 실시간으로 처리한다고 보고했다. 기본 모델은 구동 영상과 무관하게 텍스트로 카메라 시점도 바꿀 수 있다.

오늘 뉴스레터에는 생성 영상의 감정 표현을 나눠 제어하는 기술, 미래 움직임을 예측하는 로봇 정책 2종, 손의 압력과 변형 물체 복원, 시각 도구가 실제 답에 미친 영향을 추적한 연구, 에이전트 내부 예행연습, 모바일 화면의 다음 장면을 활용한 학습, 불완전한 코드 실행, 프로그래밍 언어 결정, 헬싱키 게임 산업 행사 소식도 담았다. 연구 논문은 8월 6일 제출돼 금요일 목록에 공개됐다. 결과는 연구진의 보고이며 독립적인 재현을 거치지 않았다.

밤사이 달라진 소식

  • Pocket Gamer Connects Nordics 2026이 10월 20~21일 헬싱키에서 열리는 것으로 새로 확인됐다. 개인 참가권, 발표자 신청, 기업 참가 의향 등록이 열려 있다.
  • arXiv는 토요일과 일요일에 새 논문 묶음을 공개하지 않았다. 아래 연구는 전호에서 다루지 않은 금요일 공개분이다.

캐릭터 애니메이션과 영상 제어

Wan-Animate-2, 캐릭터 영상을 8프레임씩 이어서 생성

Alibaba Tongyi Lab은 확산 트랜스포머 안에 두 갈래 구조를 넣었다. 한쪽은 구동 영상을 처리하고 다른 쪽은 대상 캐릭터를 생성한다. 대상 영상의 각 프레임은 구동 영상 전체가 아니라 같은 시점의 프레임만 참조한다. 별도 저차원 어댑터는 옆이나 위처럼 텍스트로 지정한 시점을 학습에 사용한 48개 카메라 위치에 연결한다.

Wan-Animate-2-Lite는 8프레임씩 이어서 만드는 자기회귀 생성기로 바뀐다. 앞에서 생긴 오차를 뒤 묶음의 학습 데이터에 넣고, 여러 차례 필요한 잡음 제거를 더 적은 횟수로 압축한다. 매개변수 140억 개를 학습할 때 기울기를 한 묶음씩 계산해 최대 메모리 사용량이 전체 영상 길이에 따라 늘어나지 않게 했다.

프로젝트 페이지에는 캐릭터 동작 이전, 여러 캐릭터, 시점 변경, 라이브 카메라 스트리밍 사례가 나온다. 논문은 정성 비교와 사용자 평가를 제시하지만 초당 프레임 수, 사용 장비, 전체 지연 시간, 상호작용 게임에서의 결과는 공개하지 않았다. 연구진은 Base 가중치를 공개하겠다고 밝혔지만 날짜는 없고 Lite 모델 공개 여부도 명시하지 않았다.

EmoWorld, 분위기와 감정 단서와 변화 과정을 따로 조절

Bingyuan Wang 연구팀은 영상 확산 트랜스포머의 가중치를 고정한 채 감정을 세 부분으로 나눴다. 전체 분위기, 화면에 보이는 감정 단서, 영상 안에서 감정이 바뀌는 과정을 각각 따로 조절한다.

Wan2.2 실험에서 분위기 조절은 목표 감정 일치도를 19% 높이고 시간에 따른 흔들림 지표를 48% 낮췄다. 화면 단서 조절은 감정 일치도를 37%, 감정 단서 검출을 36% 개선했다. 감정 전환의 단조성은 가장 강한 비교법보다 15% 높았다. 27가지 감정을 시험했지만, 플레이어 조작에 따라 캐릭터 동작이 바뀌는 상황에서도 감정이 일관되게 전달되는지는 아직 확인되지 않았다.

로봇 동작과 물리 복원

omega-0, 이동과 물체 조작을 하나의 전신 동작으로 예측

omega-0는 언어 지시, 카메라 영상, 로봇 상태를 받아 제어기에 바로 넣을 수 있는 전신 동작을 예측한다. 미래 영상을 생성하는 대신 다음 관찰을 압축한 표현을 학습하고 이를 확산 기반 동작 생성과 결합한다.

omega-HOME 데이터셋에는 여러 카메라 영상, 신체 동작, 로봇 상태, 실행 데이터가 맞춰진 가정 환경 시연 40시간 이상이 담겼다. 연구진은 이동과 조작을 동시에 해야 하는 실제 과제 11개에서 단일 모델을 시험했고 비교한 모방학습·VLA·휴머노이드·세계 동작 모델보다 좋은 결과를 냈다고 보고했다. 초록에는 과제별 성공률이 없어 개선 폭과 편차는 전체 평가에서 확인해야 한다.

DyPES-VLA, 공통 물리는 학습하고 로봇별 제어 방식은 유지

DyPES-VLA는 여러 형태의 로봇 데이터에서 물체 이동, 접촉, 장면 변화를 공통으로 학습한다. 이후 로봇별 전문가 혼합 헤드가 이 표현을 각 기기의 고유한 동작 명령으로 바꾼다. 서로 다른 로봇의 명령을 사람이 미리 하나의 형식으로 맞추지 않아도 된다.

연구진은 시뮬레이션과 실제 평가에서 LIBERO 98.0%, RoboCasa-GR1 59.25%, RoboTwin 2.0 89.02% 성공률을 보고했다. 세 벤치마크는 과제와 채점 방식이 달라 수치를 하나의 순위처럼 비교할 수 없다. 모델은 물리 변화에 대한 표현을 공유하면서도 로봇마다 고유한 제어기를 둔다.

HOPE, 일반 영상에서 손과 물체 사이 압력을 추정

HOPE는 촉각 장갑, 평면 센서, 거리 기반 접촉 주석을 하나의 손 메시 좌표계에 맞춘다. 영상 트랜스포머는 시간에 따라 손의 각 정점을 하나의 토큰으로 추적하고, 접촉이 없다고 판단하면 압력을 0으로 만든다.

연구진은 OpenTouch, PressureVisionDB, 손-물체 접촉 벤치마크에서 평가했다. 정량 압력 학습은 주로 장갑을 낀 손에서 이뤄졌지만, 맨손 1인칭 영상과 통제되지 않은 영상에도 적용됐다고 보고했다. 이 연구는 마찰을 포함한 전체 힘이 아니라 표면에 수직인 압력을 추정하며 초록에는 종합 오차 수치가 없다.

BendTwin, 희소한 변형 물체 모델에 굽힘 물성을 추가

BendTwin은 여러 시점의 RGB-D 영상으로 물체의 물리 디지털 트윈을 복원한다. 미분 가능한 질량-용수철 구조에 인접한 표면 세 점의 굽힘 강성과 감쇠를 더해, 축 방향 용수철만 남긴 희소 그래프에서 생길 수 있는 불안정을 줄인다.

연구진은 PhysTwin보다 일관되게 나았고 여러 다운샘플링 비율에서도 안정적이었다고 보고했다. 초록에는 종합 복원 점수나 장기 예측 점수가 없으며 RGB-D 입력이 필요하다. 게임이나 로봇의 새로운 동작을 가했을 때 접촉과 변형이 유지되는지는 후속 시험이 필요하다.

시각·소프트웨어 에이전트

시각 도구를 호출해도 답은 달라지지 않을 수 있다

Zhiheng Wang 연구팀은 멀티모달 모델 6개와 세밀한 시각 인식 벤치마크 5개에서 자르기·확대 도구를 시험했다. 도구 없이 답한 결과와 비교하고, 실행 중 반환되는 이미지를 모두 훼손하거나 앞 단계는 고정한 채 특정 관찰만 바꿔 봤다.

두 가지 실패가 드러났다. ‘보지 않고 호출하기’에서는 돌려받은 이미지가 답에 아무 인과적 영향을 주지 않았다. ‘계획 없이 보기’에서는 이미지에 쓸 만한 정보가 있었지만 호출 순서가 맞지 않았다. 전체 정확도 향상은 도구를 적절히 쓴 일부 실행에 집중됐다. 도구 사용 기록이 남았다는 사실만으로 모델이 요청한 픽셀을 활용했다고 볼 수는 없다.

EnvACE, 실제 도구를 호출하기 전에 내부에서 결과를 예행연습

EnvACE는 에이전트가 동작을 정한 뒤 그 동작에 대한 환경의 답을 직접 예측하도록 학습한다. 두 역할 모두 과제 성공 보상으로 함께 최적화한다. 학습 때 외부 실행 환경과 상호작용하는 대신 내부에서 행동과 결과의 관계를 익히는 방식이다.

연구진은 BFCL-v4, tau-squared Bench, VitaBench, FinMCP-Bench에서 외부 환경을 늘린 비교법보다 좋은 결과를 보고했다. 실제 실행 전 내부 예행연습도 할 수 있다. 외부 호출을 줄일 가능성은 있지만 잘못된 전제를 반복할 수도 있다. 초록에는 내부 예상과 실제 도구 응답이 어긋난 비율이 없다.

다음 화면이 모바일 에이전트에게 직전 행동의 이유를 가르친다

Gated Hindsight Distillation은 동작 뒤에 나타난 화면을 학습 때만 추가 근거로 쓴다. 학생 모델은 현재까지의 기록만 보고, 매개변수를 공유하는 교사 모델은 다음 화면까지 본 뒤 학생의 시도를 다시 채점한다. 학생이 실패하고 교사는 정답 동작을 찾았을 때만 지식을 전달한다.

연구진은 시각언어 모델 2개로 AndroidWorld와 AndroidLab을 시험해 GRPO보다 과제 성공률이 높았다고 보고했다. 배포된 에이전트는 다음 화면을 미리 볼 수 없으므로 실행 때 미래 픽셀이 새어 들어가지는 않는다. 코드와 체크포인트는 공개할 예정이지만 확인 당시 초록에는 링크가 없었다.

AgentExecutor, 불완전한 코드의 실행 커버리지를 높였다

AgentExecutor는 실행 환경을 준비하고, 빠진 맥락을 반복 실행으로 탐색하며, 불완전한 코드가 돌아가도록 앞부분 프로그램을 발전시킨다. 변수나 함수 틀만 채우는 데 그치지 않고 자원 파일을 만들거나 설정도 해결한다.

Stack Overflow 코드 조각과 오픈소스 프로젝트 코드에서 최대 94%와 90% 커버리지를 기록했다고 연구진은 보고했다. Treefix보다 각각 19.9%, 13.8% 높았다. 실행 시간은 최대 80.3%, 비용은 최대 56.6% 줄었다. 다만 생성된 맥락이 원래 개발자가 의도한 환경과 같은지는 별도로 검토해야 한다.

LangChoiceBench, 프로젝트 근거 없이 파이썬을 택하는 현상 확인

LangChoiceBench는 파이썬이 적합하지 않은 경우가 많은 소프트웨어 분야 7개에서 프로젝트 과제 28개를 제시하고 모델 25개가 언어를 정해 구현하도록 했다. 연구진은 구현이 추천과 일치하는지 확인하고 사고 기록 9,826개에서 프로젝트의 제약을 실제로 따졌는지도 분석했다.

파이썬은 여전히 지나치게 많이 쓰였고, 작은 오픈 가중치 모델에서 쏠림이 더 컸다. 추천과 실제 구현의 일치도도 낮았다. 일부 모델은 파이썬을 쓰기 위해 맥락에 없는 근거를 만들거나, 설명에서 정한 언어와 다른 언어로 코드를 작성했다. 게임 엔진, 실행 환경, 플랫폼, 성능 제약이 걸린 개발에서는 언어가 취향이 아니라 구현 범위를 좌우한다.

행사 일정

Pocket Gamer Connects Nordics, 헬싱키 참가 등록 진행

Pocket Gamer Connects Nordics는 10월 20~21일 핀란드 헬싱키 Wanha Satama에서 열린다. 이름을 바꾼 이번 북유럽 행사는 게임 산업 관계자 1,500명 이상과 발표자 150명을 예상한다. 모바일, PC, 콘솔, AI, HTML5, XR을 다루며 티켓 한 장으로 AI Gamechangers Summit과 Beyond Games: Transmedia Summit에도 참가할 수 있다.

개인 참가권을 판매 중이며 중간 할인 요금 적용 기간을 연장했다. 발표자 신청과 2026년 기업 참가 의향 등록은 별도로 열려 있다. 주최 측은 세 접수의 최종 마감일을 명시하지 않았다.

2026년 게임·교육 기술 행사 일정 보기.

다음에 볼 것

  • Wan-Animate-2는 사용 장비, 초당 프레임 수, 지연 시간을 공개하고 Base 가중치 공개일과 Lite 모델 배포 여부를 밝혀야 한다.
  • EmoWorld는 감정, 인물 정체성, 카메라, 플레이어 동작이 한 영상에서 함께 바뀌는 상호작용 평가가 필요하다.
  • 로봇·물리 복원 연구는 예측한 움직임과 접촉과 변형이 실제 행동 성공으로 이어지는지 과제별 수치로 보여줘야 한다.
  • 시각 도구와 내부 예행연습을 쓰는 에이전트는 내부 근거나 예상이 실제 도구의 관찰과 얼마나 일치하는지 비교해야 한다.
  • 모바일·코딩 에이전트 연구는 공개된 코드와 모델을 바탕으로 성공률, 시간, 비용, 잘못 생성된 맥락을 같은 기준에서 측정해야 한다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.