경로 안내와 전체 지도를 없앤 장거리 드론 비행 벤치마크가 나왔다. 시각 정보만 쓰는 첫 기준 모델은 처음 보는 환경의 어려운 에피소드 가운데 1.8%에 성공했다. 오늘은 체화 에이전트의 지속 기억, 실시간 가우시안 지도, 로봇 데이터와 물리 상호작용, 에이전트·비디오 안전, 인터페이스 생성, 실시간 음성 합성, 교육기술 행사 신청 일정도 전한다. 별도 표시가 없는 수치는 최근 사전 공개 논문에서 연구진이 보고한 결과이며 독립적으로 재현되지는 않았다.

밤사이 확인된 소식

  • 주말 동안 arXiv에 새 컴퓨터과학 논문 묶음은 올라오지 않았다. 오늘 다루는 연구 12건은 7월 24일 공개분에서 Wonder News가 새로 확인했으며 전날 뉴스레터에는 싣지 않았다.
  • 2027년 3월 열리는 SITE 교육기술 행사가 발표 제안을 받고 있다. 마감일은 10월 26일이며 개인 참가 등록은 별도로 진행한다.

길 찾기, 지도 제작, 지속 기억

VoLN은 장거리 비행에서 경로 설명을 없앴다

Vision-Only Long-Horizon Navigation은 글로 된 경로 대신 목표 이미지만 준다. 에이전트는 GPS, 전체 지도, 거리와 방향을 알려 주는 경로 설명 없이 큰 시점 변화를 견디며 비행하고, 현장에서 보이는 표지를 찾아 해석해야 한다.

VoLN-UAV에는 가상 비행 에피소드 7,210개가 들어 있다. 연구진의 첫 멀티모달 모델은 처음 보는 환경 5곳에서 쉬운 에피소드의 7.4%, 보통의 4.5%, 어려운 에피소드의 1.8%에 성공했다. 현재 평가는 항공 시뮬레이션만 다루며 지상 길 찾기 에이전트나 실제 드론은 시험하지 않았다.

이동 경로만 남기는 지도보다 3D 시각 기억이 나았다

Zikui Cai 연구진은 같은 장면에서 여러 질문에 답하는 동안 기억을 초기화하지 않고 체화 질의응답 에이전트를 평가했다. 2차원 점유 지도만 저장한 에이전트는 지나온 위치는 기억했지만 나중 질문에 필요한 시각·의미 정보를 잃었다.

연구진은 관찰 내용을 실제 거리 단위의 3D 공간에 배치한 기억이 답변 정확도를 높이고 이동 비용을 줄였다고 보고했다. 이동형 로봇에서도 시험했다. 논문 초록에는 전체 개선 폭을 하나로 합친 수치가 없으며 더 긴 세션이나 장면이 바뀌는 상황은 확인하지 않았다.

GLAM-SLAM은 긴 야외 영상을 실시간으로 지도화한다

GLAM-SLAM은 가벼운 특징 기반 위치 추적과 희소 앵커 격자로 만든 가우시안 지도를 분리한다. 큰 공간을 여러 국소 장면으로 나누고, 에피폴라 기하를 이용해 가우시안 앵커를 촘촘하게 만든다.

KITTI Odometry, Oxford RobotCar, Málaga 데이터셋에서 시험했다. 연구진은 긴 영상에서도 실시간 처리를 유지하면서 두 번째로 좋은 비교 대상보다 복원 품질이 15% 높았다고 보고했다. 코드는 공개했지만 초록에는 GPU 메모리 사용량이나 초당 처리 프레임 수가 없다.

TableVerse는 인터넷 이미지로 가상 탁상 환경 10만 개를 만든다

TableVerse는 인터넷에서 수집한 이미지의 물체 배치, 실제 크기, 연결 관계를 복원하고 기계적 안정성을 검사해 시뮬레이션용 탁상 환경으로 바꾼다. 다음 단계에서는 충돌 없는 집기·놓기 동작도 자동으로 만든다.

TableVerse-100K에는 서로 다른 환경 10만 개와 조작 궤적이 들어 있다. 로봇 정책 학습용 데이터지만 논문 초록에는 원본 이미지의 이용 허가, 데이터 공개 시점, 이 자료로 학습한 정책의 성공률이 나와 있지 않다.

물리 상호작용과 학습한 동역학

BiCompoDiff는 집기부터 건네기와 최종 배치까지 함께 계획한다

BiCompoDiff는 미리 학습한 집기 확산 모델에 충돌 회피, 부드러운 동작, 양팔 사이 물체 전달, 안전한 재집기를 평가하는 에너지 함수를 결합한다. 역확산 과정에서 후보 집기를 조정하고, 담금질 샘플링으로 두 팔의 전체 동작을 다듬는다.

가정용 물체를 돌려 놓는 시뮬레이션에서 비교한 샘플링 방식보다 성공률이 20% 넘게 높았고 관절 이동량으로 잰 궤적은 최대 37% 부드러웠다. 실제 로봇으로 옮긴 결과도 보고했지만 초록에는 물리 시험 횟수와 사용한 물체 수가 없다.

FELT는 RGB 영상으로 촉각을 예측한다

FELT는 고정한 시각 인코더와 가벼운 디코더로 일반 RGB 영상에서 왼손가락과 오른손가락의 압력 영상을 따로 만든다. 닦기, 끼우기, 손안에서 돌리기처럼 접촉면이 가려질 수 있는 작업을 겨냥했다.

접촉이 많은 조작 작업 4종에서 생성한 촉각 이미지와 잠재 촉각 특징을 더했을 때 시각 정보만 쓴 기준보다 정책 성공률이 높아졌다. 초록에는 전체 개선 폭이 없다. 잠재 특징을 쓰는 방식은 학습과 실행 때 실제 촉각 센서가 필요하지 않다.

PhysCoRe는 물리 시뮬레이터의 오차를 신경망으로 고친다

PhysCoRe는 미분 가능한 Material Point Method 시뮬레이터에 입자별 탄성을 추정하는 신경망과 시뮬레이터 내부 동역학의 오차를 보정하는 신경망을 붙인다. 불확실성이 높은 부분을 더 만져 보도록 다음 탐색 위치를 정할 수도 있다.

연구진은 실제 변형 물체 조작 영상에서 비교 방식보다 예측 정확도가 높았고 처음 보는 물체의 재질도 실행 중 파악했다고 보고했다. 초록에는 전체 오차 감소율과 실행 시간이 없다.

편향을 고려해 약한 지시 요소에 시연 데이터를 더 배정했다

Yu Qi 연구진은 로봇 기반 모델 6종이 색상, 물체, 공간, 동사, 크기 지시에서 지름길을 택하는지 시험했다. 색상 의존도가 가장 높았고 동사와 크기는 지시와 행동의 연결이 가장 약했다.

연구진은 정해진 데이터 수집 예산을 약한 요소에 더 배정했다. 시뮬레이션과 실제 로봇 모두에서 기존 비교 방식보다 나은 결과를 냈으며 필요한 시연은 절반이었다. 비교 범위는 논문이 정한 지시 요소와 조작 작업으로 한정된다.

에이전트, 인터페이스, 비디오 안전, 음성

MV-Bench에서는 화면 모양보다 데이터와 상호작용 구현이 훨씬 약했다

MV-Bench는 Tableau 작업 파일에 담긴 데이터 연결, 시각 표현, 상호작용을 정답으로 삼는다. 기본 디자인 92개를 조합해 검증된 웹 인터페이스 1,048개를 만들고 멀티모달 모델 5종에 한 번씩 생성하게 했다.

가장 좋은 모델은 화면 배치 재현 정확도 75.45%를 기록했지만 데이터 연결은 21.71%, 상호작용 완성도는 11.68%였다. 반복 수정으로 코드 실행률은 높아졌지만 데이터 의미와 상호작용 격차는 크게 줄지 않았다.

GuardianAgentBench는 도구형 에이전트를 580개 상황에서 시험했다

GuardianAgentBench는 6개 분야, 에이전트 프레임워크 3종, 모델 6종, 적대적 공격 5종을 아우르는 580개 상황으로 구성된다. 가장 좋은 조합의 전체 정확도는 74.8%였다. 강한 모델은 필요한 도구 호출을 건너뛰는 일이 많았고 약한 모델은 도구를 잘못 고르거나 불필요하게 호출하는 일이 많았다.

실행 중 개입하는 보호 장치는 오탐률 0.5%에서 실패 사례의 19.9%를 바로잡아 시스템 프롬프트 방어보다 나았다. 다만 배포된 에이전트를 외부에서 감사한 결과가 아니라 연구진이 만든 벤치마크에서 나온 수치다.

V-DEAL은 무해한 질문이 유해 영상의 거부 반응을 약화할 수 있음을 보였다

V-DEAL은 공개 벤치마크 3개에서 비디오 언어 모델 6종을 시험했다. 모델은 유해 영상을 81% 넘는 정확도로 알아봤지만, 유해 영상과 무해한 질문을 함께 주면 평균 공격 성공률이 48.33%에 달했다.

연구진은 시각 정보로 이해한 유해성이 노골적인 악성 문장보다 약한 거부 반응을 일으킨다고 분석했다. 이들이 제안한 프롬프트 개입은 공격 성공률을 평균 48.24%포인트 낮췄다. 다른 모델과 영상에서도 통하는 일반적인 안전 장치로 보려면 더 넓은 검증이 필요하다.

Faster IndexTTS-2는 제로샷 음성에 스트리밍과 일괄 처리를 더했다

Faster IndexTTS-2는 원본 모델의 자기회귀 언어 구성요소, 확산 트랜스포머, 보코더를 NVIDIA TensorRT와 TensorRT-LLM으로 가속한다. 빠른 대화형 응답을 위한 스트리밍과 처리량을 높이는 일괄 실행도 지원한다.

영어·중국어 Seed-TTS 벤치마크에서 자기회귀 구성요소는 최대 5배, 전체 과정은 최대 3.6배 빨라졌다. 연구진은 단어 오류율, 화자 유사도, 자연스러움의 저하는 작았다고 보고했다. GPU에서 진행한 시험이므로 모바일이나 브라우저 성능은 알 수 없다.

행사 일정표 새 소식

Wonder News 2027년 일정표에 SITE 2027을 추가했다. Society for Information Technology and Teacher Education 행사는 3월 15~19일 미국 내슈빌에서 열린다. 교육자와 연구자는 논문, 워크숍, 시연, 라운드테이블, 기업 쇼케이스 제안을 2026년 10월 26일까지 낼 수 있다. 개인 참가 등록도 열려 있다. 주최 측은 조기 등록 요금 마감일을 2월 27일로 안내하지만 상세 일정표에는 아직 2026년 날짜가 남아 있다.

다음 확인할 소식

  • VoLN의 실제 드론·지상 길 찾기 에이전트 시험과 첫 기준 모델 이후의 개선 결과.
  • 더 긴 세션과 움직이는 물체, 바뀌는 장면에서 연속 기억이 유지되는지.
  • GLAM-SLAM의 초당 처리량, 메모리 사용량, 일반 제작자용 하드웨어 시험.
  • TableVerse 데이터 공개 범위와 10만 개 환경으로 학습한 조작 정책의 성능.
  • BiCompoDiff의 물리 시험 횟수, FELT의 촉각 정책 개선 폭, PhysCoRe의 실행 시간.
  • 생성한 데이터 연결과 상호작용을 직접 검사하고 고치는 에이전트의 MV-Bench 결과.
  • 새로운 도구, 프레임워크, 비디오, 공격 유형에서 GuardianAgentBench와 V-DEAL을 독립적으로 재현한 결과.
  • 더 작은 GPU와 긴 다국어 대화에서 Faster IndexTTS-2의 지연 시간.
  • SITE의 상세 장소 안내와 등록 페이지에 남은 2026년 날짜 수정.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.