ATSplat은 이미지 12장으로 1초 안에 3D 장면을 복원하고 가우시안 31만1천 개로 512×960 크기의 새 시점을 초당 1,136장 렌더링했다고 보고했다. 오늘은 확산 로봇 정책 가속, 소형 휴머노이드의 VR 조작, 문장으로 지시하는 로봇 잡기, 긴 영상 기억, 인물 일관성, 장편 음악 생성, 멀티모달 모델 연산 조절, AI 라이선스 추적, 여러 로봇의 장기 계획, 이미지 수정 평가를 함께 전한다.

밤사이 달라진 점

  • arXiv가 7월 23일 공개한 새 논문 목록에 간결한 3D 복원, 로봇 제어, 영상 생성·설명, 멀티모달 추론, AI 공급망 라이선스, 장기 계획, 음악 생성, 이미지 수정 평가 연구가 올라왔다.
  • 뉴욕주 기술·공학 교육자 협회는 2027년 3월 18~19일 SUNY 뉴팔츠에서 여는 행사 참가 등록을 시작했다. 등록과 결제는 3월 13일 마감한다.

3D 공간 복원과 제어

ATSplat, 불확실한 부분에 가우시안을 더 배치

Cho In, Jeonghwan Cho, Mijin Yoo, Gim Hee Lee, Seon Joo Kim은 드문드문 놓인 3D 기준 토큰에서 시작하는 순전파형 3D 가우시안 스플래팅 방식을 개발했다. 불확실성 점수가 확장할 토큰을 정한다. 입력 이미지의 모든 픽셀에 조밀한 가우시안을 배치하는 대신 복원이 어려운 부분에 더 많이 쓴다.

RealEstate10K와 DL3DV에서 조밀한 방식보다 가우시안 수를 5.7분의 1 이하로 줄이면서 시험한 다른 순전파 방식과 같거나 더 나은 렌더링 품질을 냈다고 연구진은 보고했다. 512×960 이미지 12장을 입력하면 상용 GPU 한 장에서 1초 안에 장면을 복원한다. 가우시안 31만1천 개로 새 시점을 초당 1,136장 렌더링했다. 상호작용하거나 계속 변하는 게임 장면은 공개 요약의 시험 대상에 들어 있지 않다.

EVO, 확산 로봇 정책의 캐시 갱신 순서 탐색

확산 로봇 정책은 동작 묶음의 잡음을 여러 차례 없애기 때문에 실시간 제어 연산량이 커질 수 있다. Siying Wang, Kangye Ji, Di Wang, Fei Cheng은 모델 블록과 잡음 제거 단계별 캐시 갱신을 하나의 계획으로 보고 진화 탐색을 적용했다. 정책을 다시 학습하지 않고도 재사용할 계산을 찾는다.

여러 조작 평가에서 과제 성능을 거의 유지하면서 동작 생성 속도를 최대 8.05배 높였다고 연구진은 보고했다. 연산량이 가장 적은 설정은 15.77G FLOPs를 1.96G FLOPs로 줄였다. 탐색은 미리 수행하며, 찾은 설정은 학습을 마친 확산 정책에 붙일 수 있다.

소형 휴머노이드, VR 원격 조작과 학습한 보행 결합

Nicolas Kosanovic, Jordan Dowdy, Jean Chagas Vaz는 ROBOTIS OP3를 위한 전신 원격 현장감 시스템을 개발했다. VR 헤드셋을 쓴 사람이 상체를 조작하면 강화학습 제어기가 균형을 잡고 다리를 움직인다.

로봇은 팔을 움직이면서 초속 최대 0.45미터로 걸었다. 숙련된 조작자가 정육면체를 옮기는 시험에서는 10분 안에 평균 40그램짜리 정육면체 2개를 옮기고 5미터를 이동했다. 로봇이 스스로 과제를 계획한 것이 아니라 사람이 멀리서 조작한 실험이다.

SeededGrasp, 문장 의도와 잡기 자세 계산 분리

Yang Xu를 비롯한 연구진은 시각·언어 모델이 지시에 맞는 기준점을 찾게 한 다음, 작은 3D 잡기 생성 모델에 그 점을 넘겼다. 어떤 물체를 왜 집어야 하는지와 손이나 집게의 최종 자세 계산을 나눈 덕분에 하나의 시스템을 여러 로봇 형태에 적용할 수 있다.

연구진은 복잡한 탁상 장면의 잡기 동작 250만 개 이상을 담은 자료를 공개한다. 시험한 비교 방식보다 높은 시뮬레이션 72%, 실제 환경 78%의 성공률을 보고했다. 프로젝트 페이지에서 코드와 자료를 제공한다.

영상·인물·음악 생성

Self Gradient Forcing, 뒤쪽 영상의 오류를 앞쪽 기억 학습에 반영

자기 모델이 만든 과거 영상을 이어서 학습하는 자동회귀 영상 모델에서도, 나중 프레임의 오류가 앞선 프레임에 유용한 맥락을 저장하는 법까지 가르치지는 못할 수 있다. Junhao Zhuang을 비롯한 연구진은 앞선 맥락 표현을 다시 계산하는 두 번째 병렬 학습 단계를 추가했다. 뒤쪽 영상에서 생긴 오류가 이 기억 표현까지 바꾸도록 했다.

프레임 단위와 묶음 단위 시험에서 Self Forcing보다 인물 정체성, 화면 구성, 시간에 따른 안정성이 좋아졌다고 연구진은 보고했다. 5초 길이 영상으로 학습한 모델이 수 분짜리 결과를 만들었다. 연구진은 코드와 모델을 공개할 예정이라고 밝혔다.

PercepCap, 설명문보다 물체 경로와 사건 시간을 먼저 생성

Yifan Xu를 비롯한 연구진은 영상 설명 모델이 최종 문장에 앞서 인식 기록을 만들도록 했다. 기록에는 물체가 움직인 경로와 사건이 일어난 시간이 들어간다. 설명이 틀렸을 때 공간이나 시간 인식 가운데 어디서 오류가 시작됐는지 확인할 수 있다.

학습은 인식한 뒤 설명하는 예제와 인식 기록·최종 문장을 함께 평가하는 강화학습을 결합한다. 직접 영상 설명과 설명을 이용한 질의응답에서 Qwen3-VL보다 꾸준히 나은 결과를 냈다고 연구진은 보고했다. 공개 요약에는 평가별 수치가 없다.

Vera, 한 명과 여러 명이 나오는 영상의 얼굴·역할 뒤섞임 완화

Yulong Xu를 비롯한 연구진은 서로 다른 영상에서 같은 사람을 찾아 인물 정체성을 맞춘 이미지·영상 100만 쌍을 구성했다. Vera는 학습할 때 인물을 알아보는 데 중요한 영역을 강조하고, 참고 이미지 정보가 확산 트랜스포머의 각 층에 들어가는 양을 조절한다.

연구진은 인물의 정체성, 여러 사람의 역할 연결, 움직임의 자연스러움이 좋아졌고 인물이 서로 바뀌거나 참고 이미지를 지나치게 베끼는 현상은 줄었다고 보고했다. 공개 요약에는 전체 개선 수치나 공개 일정이 없다.

장편 음악 생성, 토큰 계획과 흐름 기반 렌더링 결합

Junyu Dai를 비롯한 연구진은 가사로 노래 만들기, 연주곡 만들기, 기존 곡을 다른 방식으로 부르는 커버 생성에 한 시스템을 적용했다. 계층형 언어 모델이 압축한 오디오 토큰을 계획하고, 확산 트랜스포머가 연속 오디오 표현을 만든다. 커버 생성에서는 2단계 멜로디 모듈이 원곡의 선율 단서를 유지한다.

여러 보상 기반 사후 학습 방식을 비교했으며, 다국어 자동 평가와 Artificial Analysis Music with Vocals 순위표에서 경쟁력 있는 결과를 냈다고 연구진은 밝혔다. 공개 요약에는 전체 점수와 사람이 직접 들은 평가가 나오지 않는다.

제작 도구·계획·평가

데이터셋에서 앱까지 가는 동안 라이선스 표기가 끊긴다

James Jewitt를 비롯한 연구진은 Hugging Face 데이터셋에서 모델을 거쳐 GitHub 앱으로 이어지는 경로 23만2,270개를 추적했다. 상위 자료에 라이선스가 없는데 아래 단계에서 확정적인 라이선스를 붙이거나, 배포 과정에서 라이선스 종류를 다른 것으로 바꾼 경우를 라이선스 세탁으로 분류했다.

전체 경로의 62.3%는 라이선스가 표시되지 않은 자료를 하나 이상 거쳤다. 의무가 붙은 모든 라이선스 종류는 처음부터 끝까지 유지된 비율이 7% 미만이었지만 허용 범위가 넓은 라이선스는 95.1%였다. 모델이나 도구 페이지에 적힌 라이선스가 상위 학습 자료의 의무까지 온전히 보여준다고 단정할 수 없다.

SmartVL, 이미지 토큰과 언어 모델 연산에 하나의 예산 배분

Pengcheng Wang을 비롯한 연구진은 멀티모달 모델이 남길 이미지 토큰 수와 언어 모델이 수행할 연산량을 함께 조절했다. 두 제어기는 같은 예산 표현과 미분 가능한 지연 시간 추정치를 이용해 입력 난이도에 맞춰 자원을 나눈다.

이미지 토큰이나 언어 모델 연산 한쪽만 줄이는 방식보다 정확도와 효율의 균형이 좋았다고 연구진은 보고했다. 프로젝트 페이지는 공개돼 있지만 요약에는 개선 폭을 대표하는 지연 시간이나 정확도 수치가 하나로 제시되지 않았다.

다음 로봇이 일하기 쉬운 상태로 남기는 장기 계획

Md Ridwan Hossain Talukder를 비롯한 연구진은 집이나 식당에서 로봇이 과제를 하나씩 받는 상황을 시험했다. 계획기는 지금 이동하는 비용과 앞으로 모든 로봇이 부담할 것으로 예상되는 비용을 함께 계산한다. 다른 로봇이 되돌릴 수 없는 상태도 고려한다.

긴 과제 묶음에서 두 로봇이 있는 집의 전체 비용은 눈앞의 과제만 푸는 방식보다 10.43%, 자기 미래만 보는 방식보다 4.03% 줄었다. 세 로봇이 있는 식당에서는 각각 17.41%, 13.24% 감소했다. 실제 로봇이 아니라 상태가 이어지는 PDDL 시뮬레이션에서 얻은 결과다.

RS-RIE-Bench 엄격 기준 최고 정답률 24.28%

RS-RIE-Bench는 원격 탐사 이미지를 시간·인과·공간 규칙에 맞게 고치도록 지시한다. 수정 대상 영역이 그럴듯한지, 건드리지 말아야 할 영역이 보존됐는지, 센서 이미지의 특성이 유지됐는지를 따로 평가한다.

공개·비공개 모델 8종 가운데 모든 기준을 한꺼번에 통과한 최고 정답률은 24.28%였다. 완화한 공동 성공률의 모델 평균은 32.23%였고, 일부 공개 모델은 인과·공간 과제에서 0%에 가까웠다. 위성 영상 평가지만 수정하지 않은 장면과 자산을 보존해야 한다는 점은 제작 도구 시험과 닮았다.

일정표에 새로 추가

Wonder News 2027년 일정표에 NYSTEEA Conference 2027을 추가했다. 기술·공학 교육 행사는 3월 18~19일 미국 뉴욕주 SUNY 뉴팔츠에서 열린다. 교육자와 전문가 등록을 받고 있으며 조기 등록 요금은 1월 15일, 최종 등록과 결제는 3월 13일 마감한다. 주최 측은 기업 전시가 열린다고 안내했지만 별도 전시 신청 기간은 공개하지 않았다.

다음에 확인할 것

  • ATSplat 코드와 메모리 사용량, 계속 변하는 장면이나 제작자가 직접 촬영한 게임 공간에서의 시험.
  • 탐색에 쓴 평가 밖의 과제와 실제 로봇에서 EVO가 제어 지연을 얼마나 줄이는지.
  • 같은 문장, 난수값, 길이로 비교한 Self Gradient Forcing 공개 모델의 긴 영상 결과.
  • PercepCap, Vera, 장편 음악 시스템의 평가별 수치와 실제 제작자 시험.
  • 데이터셋, 모델, 생성 자산, 출시 앱까지 상위 라이선스 근거를 보존하는 저장소 도구.
  • 실제 공간에서 여러 로봇이 수행한 장기 계획 시험과 수정하지 않은 부분을 보존하는 제작 편집기 평가.
  • NYSTEEA 기업 전시 신청 안내와 2027년 최종 프로그램.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.