AI 에이전트가 개방형 연구 과제 두 건에 6일과 수천 달러의 연산 비용을 썼다. 개발 작업은 모두 끝냈지만 두 논문의 핵심 질문에는 충분히 답하지 못했다. 오늘은 코드를 쓰기 전에 동작 명세부터 만드는 에이전트, 경제성을 함께 재는 사무 업무 평가, 메모리 오염 시험, 2분짜리 자동회귀 영상, 카메라 복원과 이동 경로 생성, 관절이 움직이는 3D 물체, 몸을 쓰는 AI 평가, 가벼운 로봇 정책, 실제 로봇 학습 가속, 공개형 자율주행 경주차, 새 에듀테크 행사도 살펴본다. 별도 설명이 없는 수치는 새 사전 공개 논문의 저자 보고이며 독립적으로 재현되지 않았다.

밤사이 달라진 것

  • arXiv가 7월 30일 발표 목록에 개방형 연구 에이전트, 코딩·사무 업무 에이전트, 메모리 보안, 영상·3D 제작, 신체 행동 평가, 로봇 정책, 교육용 하드웨어 연구를 추가했다.
  • ASU+GSV가 2027년 4월 4~7일 열리는 행사 개인 등록을 시작했다. 초기 디지털 학습·직무 역량 스타트업을 위한 GSV Cup 참가 의향 등록도 받고 있다.

에이전트, 코딩, 메모리

AI 에이전트, 개발은 끝냈지만 연구 질문에는 답하지 못했다

Peter Kirgis, Sayash Kapoor, Arvind Narayanan 연구팀은 미공개 NeurIPS 2026 논문 두 편의 핵심 질문을 에이전트에게 맡기는 ‘그림자 평가’를 설계했다. AI가 쓴 논문을 일반 동료 심사에 보내는 대신 원 논문 저자들이 결과를 직접 평가했다.

에이전트에는 6일과 수천 달러의 연산 비용이 주어졌다. 사람의 도움 없이 개발 작업은 모두 마쳤지만 원 저자들은 두 결과 모두 연구 질문에 의미 있는 진전을 내지 못했다고 판단해 명확히 탈락시켰다. 다른 모델과 실행 도구로 다시 시험해도 비슷했다. 논문은 출판 가능한 증거를 가리는 판단력 부족, 연구 설계 문제에 대한 단조로운 대응, 막다른 길에서 제대로 돌아오지 못하는 행동, 자원 관리 실패, 지시 이탈을 반복 원인으로 꼽았다. 사례가 두 건뿐이어서 전체 연구 능력의 성공률로 일반화할 수는 없지만 저장소, 실행 기록, 평가문, 설문이 공개돼 있어 후속 검증은 가능하다.

SpecFirst, 코딩 전에 프로그램 동작부터 문서화

Yihao Chen 연구팀은 프로그램 생성을 두 단계로 나눴다. 첫 에이전트가 문서와 실행만 가능한 기준 프로그램을 살펴 구조화된 동작 명세를 만든다. 다음 에이전트가 이 문서를 기준으로 코드를 작성한다.

ProgramBench 문제 200개 전체와 모델 4개를 시험한 결과, SpecFirst는 한 에이전트가 탐색과 구현을 함께 하는 방식보다 테스트 통과율을 6.9%~21.3%, 기준 프로그램 탐색 범위를 9.4%~18.5% 높였다. 기존 저장소 수정 과제와는 달리, 이 평가는 문서와 실행 결과만 보고 처음부터 프로그램을 만들게 한다.

OmegaUse, 긴 사무 업무의 품질과 비용을 함께 측정

Jingbo Zhou 연구팀은 실무자가 제안한 사무 프로그램 작업을 개인정보가 드러나지 않게 다듬어 OmegaUse-OfficeVal 문제 100개를 만들었다. 사람이 끝내는 데 평균 2.32시간이 걸리는 작업이며, 각 문제에는 사람의 작업 시간과 가격 추정치가 함께 붙는다. 세부 채점 기준은 코드로 검사한다.

시험한 최신 모델들은 사람보다 빠르고 추론 비용도 적게 들었지만 결과물 품질은 인간 기준에 미치지 못했다. 평가 자료와 코드는 공개됐다. 모델별 품질·비용 차이를 정확히 비교하려면 논문의 상세 표를 확인해야 한다.

MemSecBench, 오염된 기억이 행동과 복구까지 미치는 과정 추적

MemSecBench는 코드·과학, 일상, 사무 업무 48개 상황에서 만든 사례 310개로 구성됐다. 악성 내용을 기록하고, 이를 불러 실제 행동에 반영하는지 본 뒤, 해당 내용만 지울 수 있는지 확인한다. 에이전트 실행 도구 2종, 메모리 저장 방식 4종, 언어 모델 3종을 조합한 24개 구성을 같은 절차로 시험했다.

전체 사례의 84.2%에서 악성 내용이 기억에 남았다. 기록부터 실제 행동까지 공격이 이어진 비율은 50.3%였다. 오염에 성공한 사례 가운데 해당 기억만 골라 고친 비율은 56.1%였다. 기본 메모리 구성과 비교한 차이는 공격 성공률에서 최대 16.1%포인트, 선별 복구에서 최대 41.3%포인트였다. 어떤 메모리 방식을 붙이는지가 보안 결과에도 직접 영향을 줬다.

영상, 3D, 카메라 제어

FreqForcing, 낮은 주파수 정보를 붙잡아 긴 영상 붕괴 억제

Jiatong Li 연구팀은 자동회귀 영상이 길어질수록 색이 흐트러지고 움직임이 멈추다 결국 화면이 무너지는 현상을 낮은 주파수 대역의 에너지 오차 누적으로 분석했다. 추가 학습이 필요 없는 Spectral Self-Anchoring은 오래 유지해야 할 화면 정보는 기준 프레임의 낮은 주파수에서 가져오고, 움직임은 가까운 화면의 높은 주파수 정보를 쓴다.

FreqForcing은 5초 영상으로 학습한 Self-Forcing을 2분 생성에 적용했다. 길이가 24배 늘었다. 연구팀은 별도 학습이 없는 다른 방식보다 나은 결과를 보고했고 일부 학습 기반 방식과도 비슷한 성능을 냈다. 인물, 장면 전환, 공간 상태가 2분 내내 유지되는지는 실제 제작 작업으로 더 확인해야 한다.

VidMap, 영상의 시간 순서까지 카메라 복원에 활용

Zador Pataki, Paul-Edouard Sarlin, Marc Pollefeys는 SLAM의 연속 화면 제약과 오프라인 3D 복원의 전체 최적화를 결합했다. VidMap은 영상 순서를 이용해 다시 방문한 장소를 찾고, 시점 차이가 큰 화면을 촘촘히 맞추며, 단안 깊이 추정값을 더해 길고 카메라 정보가 없는 영상에서도 실제 거리 단위의 카메라 위치와 보정값을 구한다.

연구팀은 움직임이 크거나 비슷한 무늬가 반복되는 데이터에서 시험한 기존 SLAM·3D 복원 방식보다 정확하고 안정적이었다고 보고했다. 코드는 공개됐다. 다만 초록에는 하나로 묶은 성능 차이나 처리 시간이 없어 대량 자산 변환에 드는 비용은 아직 판단하기 어렵다.

CinemaTraj, 촬영 용어를 충돌 없는 3D 카메라 경로로 변환

Qianru Li 연구팀은 RGB-D 화면과 구조화된 3D 장면 그래프를 언어 모델 에이전트에 제공한다. 에이전트는 지시를 달리, 오빗, 크레인, 팬, 틸트, 줌, 아크 같은 촬영 움직임으로 나누고 장애물을 피하도록 조정할 수 있는 카메라 경로를 만든다. 내레이션과 자막도 카메라 움직임에 맞춘다.

실제 ScanNet++ 공간에서 시험했으며 연구팀은 비교 방식보다 지시 일치도, 경로 품질, 안전성, 촬영 품질이 높았다고 밝혔다. 초록에는 수치 차이나 제작자 대상 사용성 시험이 나오지 않는다.

StructureGS, 움직이는 부품의 모양과 연결 관계 보존

Gahye Lee 연구팀은 3D 가우시안 스플래팅으로 관절형 물체를 복원할 때 부품별 방향성 경계 상자를 더했다. 한 손실 함수는 각 부품의 형상을 맡은 공간 안에 모으고, 다른 손실 함수는 맞닿은 부품 사이의 연결을 유지한다.

논문 비교에서는 부품 형상과 경계가 더 또렷한 관절형 물체 복원 성능을 기록했다. 여러 부품이 움직이는 상호작용 자산에 적용할 수 있지만, 리깅 결과를 내보내거나 애니메이션을 재생할 때의 안정성, 게임 엔진 성능은 초록에서 측정하지 않았다.

몸을 쓰는 AI와 교육용 하드웨어

HumanCLAW, 모델이 자기 몸의 위치를 놓치는 문제 드러내

Siyao Li 연구팀은 행동 판단과 모터 제어를 분리했다. 시각언어모델은 짧은 단위 행동을 고르고, 제어기가 이를 중력과 충돌이 적용되는 1초 미만의 전신 움직임으로 바꾼다. 균형 상실 같은 실행 오차는 따로 걷어내 모델이 다음 행동을 제대로 골랐는지 평가한다.

HumanCLAW-Bench에는 실내 공간 41곳에서 목표를 찾고 이동해 상호작용하는 1인칭 장기 과제 1,218개가 들어 있다. 시각언어모델 9개 가운데 완주한 모델은 없었고 최고 성공률은 16.8%였다. 논문은 물체를 알아보는 능력보다 자기 몸의 위치, 목표 도착 여부, 장애물 충돌을 추적하지 못한 점을 주된 실패 원인으로 짚었다.

TurboVLA, 로봇 정책 중심에서 거대 언어 모델 제거

Hengyi Xie 연구팀은 시각과 언어를 따로 인코딩한 뒤 가벼운 양방향 모듈에서 정보를 주고받게 했다. 매 화면을 거대 언어 모델에 통과시키지 않고 작은 디코더가 연속 동작 묶음을 예측한다.

매개변수 2억 개짜리 정책은 LIBERO 평균 성공률 97.7%를 기록했다고 보고했다. RTX 4090에서 추론 시간은 31.2밀리초, 메모리 사용량은 0.9GB였다. 초당 약 32번 정책을 갱신할 수 있는 속도다. 결과는 가상 조작 과제에서 나왔으며 실제 로봇에서는 시험하지 않았다.

SymmGrid, 대칭 변환으로 실제 로봇의 학습 경험 확대

Gabe Everett 연구팀은 이미지와 동작이 담긴 전체 실행 기록을 공간적으로 일관된 대칭 형태로 바꾼다. 외부 카메라 화면도 원근 변환을 적용해 로봇 자세와 맞춘다. 이렇게 늘린 실행 기록을 실제 로봇 강화학습의 재생 메모리에 넣었다.

핀 끼우기, 케이블 정리, 물체 이동에서 비교 방식 대비 학습 수렴 속도 비율은 1.372.17배, 평가 성공률 비율은 1.091.27배였다. 세 과제의 학습 시간은 각각 16.6분, 10.9분, 79.3분이었다. 시험 범위는 접촉 과제 몇 가지로 좁지만 실제 로봇에서 학습 시간을 쟀다.

NeoRacer, 연구실과 교실을 위한 공개형 자율주행 경주차

Koneshka Bandyopadhyay 연구팀은 완제품으로 제공하는 1:12 크기 공개형 자율주행 경주차를 소개했다. 67 TOPS 성능의 Jetson Orin Nano, 270도 라이다, 초당 120장을 찍는 글로벌 셔터 카메라, 9축 관성 센서를 쓴다.

가격은 2,699달러다. 연구팀은 가장 가까운 완제품 비교 기종의 절반보다 낮은 가격으로 3배가 넘는 연산 성능을 제공한다고 밝혔다. MIT 학생 15명과 보스턴대 학생 10명이 참여한 수업에서 먼저 사용했다. 하드웨어는 CERN-OHL-S v2, 소프트웨어는 GPLv3로 공개됐고 설계 파일, 펌웨어, ROS 2 구성 요소도 내려받을 수 있다.

행사 일정

ASU+GSV, 2027년 참가권과 스타트업 접수 시작

ASU+GSV Summit 2027은 4월 4~7일 미국 샌디에이고 맨체스터 그랜드 하얏트에서 열린다. 참가권이 남아 있는 동안 개인 등록을 받으며 주최 측은 최종 판매 마감일을 공개하지 않았다.

별도 GSV Cup 참가 의향 등록은 디지털 학습과 직무 역량 분야의 자격을 갖춘 프리시드·시드 단계 기업을 대상으로 한다. 이 접수의 마감일도 아직 발표하지 않았다.

2027년 게임·에듀테크 행사 일정 보기.

다음에 볼 것

  • 그림자 평가 연구팀이 실행 기록과 평가문을 공개했다. 같은 전문가 평가 방식으로 더 많은 연구 질문, 모델, 실행 도구를 시험할 수 있다.
  • SpecFirst는 명세가 계속 바뀌는 큰 프로그램에서 검증할 필요가 있다. OmegaUse는 모델이 사람 수준의 결과물을 내도록 요구해도 비용 우위가 유지되는지 보여줘야 한다.
  • 장편 영상과 3D 카메라 기술은 화면 연속성, 편집 가능성, 충돌 수정, 제작 도구 내보내기를 실제 제작자 작업으로 평가해야 한다.
  • HumanCLAW는 행동 판단과 모터 제어를 분리했다. 몸의 상태를 따로 기억하게 했을 때 16.8%의 벽을 넘는지 확인할 수 있다.
  • TurboVLA와 SymmGrid는 더 다양한 실제 장비 시험이 필요하다. NeoRacer는 공개 설계를 이용한 다른 연구실이 가격과 성능 주장을 재현하는지가 다음 검증 대상이다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.