Qwen-CUA는 전체 매개변수 3,970억 개 가운데 170억 개를 활성화하는 전문가 혼합 모델로, 화면만 보고 소프트웨어를 조작한다. 연구진은 기본 모델이 OSWorld-Verified 86.2, 더 큰 Max 모델이 87.6을 기록했다고 밝혔다. 두 모델 모두 DOM 트리, 접근성 정보, 과제 전용 API를 받지 않는다.
오늘은 이 밖에도 세계모델이 장면 변화에 제대로 반응하는지 보는 평가, 사용자와 같은 파일을 고치는 코딩 에이전트, 가벼운 장애 탐지와 복구, 이름을 숨긴 도구의 사용법 추론, 에이전트 기능 학습, 실행 프로그램 자동 수정, 빠른 영상 생성, 사람 영상을 바꿔 만든 로봇 학습 자료, 휴머노이드 낙상 복구, 프로그래밍 실습, 새로 확인한 2027년 교육 행사를 다룬다. 연구 논문들은 8월 3일 제출됐으며, 결과는 저자들이 보고한 수치로 독립 재현 전이다.
밤사이 달라진 것
- Qwen-CUA, WorldExam, SWE-Touch를 비롯해 새로 등록된 논문 11편이 컴퓨터 조작, 상호작용 세계, 코딩, 에이전트 안정성, 영상 생성, 로봇, 프로그래밍 교육 결과를 공개했다.
- National ESEA Conference 공식 안내서에 따르면 행사는 2027년 2월 23~25일 루이빌과 온라인에서 열린다. 개인 참가 등록과 기업 전시 신청이 열려 있다.
컴퓨터 조작과 상호작용 세계
Qwen-CUA, 화면만 보고 OSWorld-Verified 86.2 보고
Qwen 연구팀은 전체 397B·활성 17B 규모의 전문가 혼합 모델을 바탕으로 Qwen-CUA를 만들었다. 에이전트가 받는 시각 정보는 화면뿐이며, 행동은 키보드와 마우스 입력으로 보낸다. 실행 프로그램은 최근 화면을 최대 20장까지 유지한 뒤 오래된 화면 기록을 일정한 크기로 묶어 압축한다. 최근 상황은 자세히 남기면서 앞선 맥락도 계속 참고하기 위한 구조다.
학습에는 가상 CPU 약 10만 개, 동시에 실행하는 환경 수만 개, 결과를 자동으로 확인할 수 있는 과제 약 4만 개가 쓰였다. 기본 모델은 OSWorld-Verified 86.2를 기록했다. OSWorld 2.0에서는 완전 성공률 18.5%, 부분 성공률 48.4%였다. 매개변수가 1조 개를 넘는 Qwen-CUA-Max는 같은 시험에서 각각 87.6과 21.2%·53.3%를 기록했다.
RedTeamCUA 공격 성공률은 Qwen3.7의 36.6%에서 Qwen-CUA의 16.4%로 내려갔다고 저자들은 밝혔다. 그렇다고 화면만 보는 조작 방식이 모든 계정, 권한, 거래, 삭제 동작에서 안전하다는 뜻은 아니다. 성능 향상 중 모델 크기, 대규모 실행 환경, 학습 과제, 실행 프로그램이 각각 얼마나 기여했는지도 분리돼 있지 않다.
WorldExam, 시각 품질이 높아도 장면 변화에 반응하지 못했다
Yuxue Yang 연구팀은 사례 1,474개를 과제 8개와 평가 단계 4개로 나눴다. 시각 품질, 조작 지시 준수, 공간 일관성에 이어 마지막에는 세계가 장면에 맞게 반응하는지 본다. 입력에 직접 적어 주지 않은 변화까지 주변 상태를 바탕으로 자연스럽게 만들어야 한다.
모델 20개를 시험한 결과, 카메라 중심 모델은 시점 조작을 잘 따랐지만 장면 속 동적 상호작용을 지원하지 못했다. 행동 중심 모델은 주체를 더 정확하게 움직였으나 주변 환경이 그대로인 경우가 많았다. 언어 중심 모델은 상호작용을 더 자주 만들었지만 복잡한 조작 지시는 덜 정확하게 따랐다. 넓은 과제를 다루면서 모든 평가에서 꾸준히 높은 성능을 낸 모델은 없었다고 연구진은 밝혔다.
공동 코딩과 에이전트 장애 대응
SWE-Touch, 사용자가 코드를 함께 고치자 해결률 7.7%포인트 하락
Yuqiao Tan 연구팀은 에이전트가 저장소 문제를 푸는 도중 사용자가 같은 코드의 핵심 부분을 수정하는 상황을 만들었다. 사용자의 수정은 그럴듯하지만 과제 해결과 충돌하며, 당시 맥락을 설명하는 메시지와 함께 들어온다. 에이전트가 작업 도중 바뀐 코드를 알아차리는지 보는 시험이다.
코딩 모델 9개를 SWE-bench Verified에서 평가하자 평균 해결률이 7.7%포인트 낮아졌다. 더 긴 SWE-Bench Pro와 DeepSWE 과제에서도 하락이 이어졌다. 실패한 에이전트는 충돌하는 코드를 남겨 두거나, 저장소를 다시 살펴보고 관련 기능을 집중 검사하지 않은 채 사용자의 코드를 덮어쓰기도 했다.
한 실험에서 가벼운 검사와 재실행으로 에이전트 성공률 52%에서 73%로 상승
Sunny Dubey는 에이전트 실행 2,823건을 이용해 실행 정보를 감시하는 가벼운 모델을 평가했다. 자료는 에이전트 프레임워크 3개, 로컬 모델 3개, Gemini 2.5 Flash에서 모았다. 에코 상태 네트워크를 묶은 감시 모델은 오경보 허용치 5%에서 장애의 71%를 찾았고, 한 단계 검사에 약 200마이크로초가 걸렸다.
도구가 반환한 값으로 에이전트의 합계를 다시 계산하고 필수 호출이 모두 있었는지 확인하는 규칙 기반 검사도 함께 시험했다. 63건에서 오경보 없이 장애의 60%를 찾았고, 필수 호출 검사까지 합치면 96%를 잡았다. 문제가 감지된 실행을 이전 상태로 돌려 다시 실행하자 장애의 45%를 복구했다. 단순히 다시 생성한 비교군은 16%였다. 실행당 모델 호출이 약 한 번 늘어나는 동안 과제 성공률은 52%에서 73%로 올랐다. 다만 학습형 감시 모델은 새 환경에 그대로 옮기면 AUROC가 0.527이었고, 해당 환경의 정상 실행으로 다시 맞춘 뒤 0.885가 됐다.
ScrambleToolBench, 추론을 늘리자 더 오래 전수 탐색했다
ScrambleToolBench는 터미널 도구에서 의미를 알 수 있는 이름을 지우고, 에이전트가 직접 써 보며 기능을 알아내게 한다. 이후 도구와 행동의 연결을 바꾸고, 무작위 실패를 넣고, 특정 시간에만 실행되는 행동도 추가한다.
저자들에 따르면 현재 모델은 연결 방식이 바뀐 뒤에도 앞선 믿음을 고수하거나 모든 가능성을 차례로 시험했다. 앞서 모은 정보만 따라가도 더 짧게 답을 찾을 수 있는 상황에서도 마찬가지였다. 추론 시간을 늘리면 구조 변화를 알아내기보다 비싼 탐색이 더 길어졌다. 장기 기억은 누적 실수를 줄였지만 바뀐 구조를 효율적으로 추론하지는 못했다.
SKT, 공개 에이전트 기능 2,000개로 검증된 실행 기록 2만7,164건 제작
Zelin Tan 연구팀은 하나 또는 여러 기능을 골라 실행 가능한 과제를 만들고, 실패한 생성을 고친 뒤, 모든 필수 기능을 실제로 사용해 과제를 끝낸 실행만 남기는 절차를 만들었다. 공개된 에이전트 기능 2,000개에서 과제 묶음 4,000개와 검증된 실행 기록 2만7,164건을 만들었다.
별도 기능 모음으로 평가 자료 SkillEval도 구성했다. 생성한 실행 기록으로 지도 미세조정한 뒤 여러 모델과 에이전트 실행 환경에서 기능 사용 성능이 올랐다고 연구진은 밝혔다. 논문 요약에는 향상 폭을 한 숫자로 합친 결과가 없어, 구체적인 비교는 논문 안의 개별 시험 설정을 확인해야 한다.
Harness-R1, 실패 기록을 보고 에이전트 실행 프로그램 수정
Harness-R1은 별도의 90억 매개변수 모델을 학습해 에이전트 주변 실행 프로그램을 고친다. 이 프로그램은 입력 맥락을 만들고, 도구를 연결하고, 행동을 검사하고, 실패 뒤 복구를 맡는다. 대상 에이전트의 실패 묶음에서 수정안을 만든 뒤 실제로 다시 실행한 성공 여부를 보상으로 쓴다. 이 단계에서는 대상 모델의 가중치를 바꾸지 않는다.
WebShop, ALFWorld, DBBench에서 수정한 실행 프로그램은 Qwen3.5-9B의 평균 성공률을 44.3%에서 53.6%로 올렸다. 대상 에이전트 자체를 미세조정한 뒤에는 그 에이전트에 맞춘 수정 모델이 59.2%를 64.2%로 높였다. 세 시험 환경의 결과이며, 자동으로 바뀐 실행 코드가 실제 제품에서 오래 관리 가능한지, 새로운 보안 문제를 만들지 않는지는 확인되지 않았다.
영상 생성 효율과 로봇 제어
Token Radius Attention, 영상 어텐션 연결의 9~19%만 유지
Jiayu Chen 연구팀은 영상 토큰마다 필요한 어텐션 계산량이 다르다는 점에 주목했다. 추가 학습이 필요 없는 Token Radius Attention은 각 질의의 어텐션 엔트로피로 계산량을 정하고, 모든 키의 순위를 매기지 않은 채 시간이 지날수록 줄어드는 주변 범위를 만든다.
Wan 2.1, Wan 2.2, HunyuanVideo의 텍스트·이미지 기반 영상 생성 구성 7개에서 전체 어텐션 연결 중 919%만 남기고 생성 속도를 1.562.05배 높였다고 연구진은 밝혔다. 품질은 비교 모델과 비슷한 수준이었다. 창작자가 체감하는 지연 시간, 메모리 사용량, 긴 영상 품질은 같은 하드웨어에서 따로 비교할 필요가 있다.
Ego2Robot, 사람 영상을 로봇 학습 자료 1만8,561시간으로 변환
Ego2Robot은 사람이 1인칭 시점으로 물체를 다루는 영상을 로봇 행동으로 옮기고, 화면 속 팔을 로봇 팔로 바꾼 뒤 여러 단계로 품질을 거른다. 이렇게 만든 자료는 로봇 몸체 15종과 영상 1만8,561시간으로 구성된다.
연구팀은 RoboTwin 2.0을 확장해 겉모습, 장면 배치, 로봇 몸체, 과제 의미를 따로 바꿔 시험했다. 합성 자료와 기존 로봇 자료를 함께 사전 학습하자 여러 변화에서 처음 보는 조건의 성능이 좋아졌고, 실제 로봇 시험에서도 효과를 확인했다고 연구진은 밝혔다. 사람 동작을 로봇 행동으로 옮기고 화면 속 팔을 바꾸는 과정에서 생기는 오류는 자료 양이 많아져도 남을 수 있다.
StableMimic, 밀어서 넘어뜨린 시험 100회 모두 일어섰다
StableMimic은 평소 동작 추적 범위를 넘어 엎드림, 바로 누움, 균형을 잃은 자세, 땅과 접촉하는 중간 자세에서도 휴머노이드를 학습한다. 동작 추적과 회복을 맡는 별도 전문가 모델의 출력을 로봇 몸 상태에 따라 섞는다. 실제 실행 때는 일어나기 참고 동작이나 외부 복구 명령을 받지 않는다.
LAFAN1 춤 동작을 로봇에 맞춘 자료에서 StableMimic은 비교 기법 5개 가운데 추적 지표 4개 모두 오차가 가장 낮았다. 기법마다 같은 조건으로 100번 밀어 넘어뜨린 시험에서는 100번 모두 회복했고, 낙상 뒤 움직임과 하중 지표 7개 중 6개가 가장 낮았다. 실제 Unitree G1 시연도 다시 일어나 명령을 이어 가는 모습을 보여 줬다. 다만 100% 수치는 통제된 동일 조건 시험 결과이며 현실의 모든 낙상을 뜻하지 않는다.
프로그래밍 교육과 행사
Java 학습에서는 직접 코드 쓰기가 사후 평가와 가장 강하게 연결
Arun Balajiee Lekshmi Narayanan 연구팀은 Java 입문·중급 수업 11학기에서 학생 334명의 학습 기록을 분석했다. 실습 시스템에는 코드 쓰기, 실행 과정 추적, 코드 완성, 시각화, 설명 활동이 들어 있었다.
능동 실습은 수동 활동보다 학습 결과와 3.2배 강한 관련성을 보였다. 능동 활동 중에는 직접 코드 쓰기가 사후 평가 향상과 가장 강하게 연결됐고, 다른 활동은 비슷한 관련성을 보이지 않았다. 한 수업 시스템에서 얻은 관찰 자료이므로 코드 쓰기만으로 성적이 올랐다는 인과관계를 입증한 무작위 비교는 아니다.
National ESEA Conference 2027, 개인 참가와 기업 전시 신청 시작
National ESEA Conference는 2027년 2월 23~25일 미국 루이빌 켄터키 국제컨벤션센터와 온라인에서 열린다. 교육 기회가 충분하지 않은 학생을 지원하는 미국 연방 교육 프로그램을 중심으로 다루는 행사다.
현장 또는 온라인 참가를 위한 개인·단체 등록을 받고 있다. 신규 기업의 전시 부스 신청은 7월 16일 시작됐다. 주최 측은 개인 참가와 부스 신청의 최종 마감일을 공개하지 않았고, 일반 발표 제안은 6월 16일 마감했다.
다음에 볼 것
- Qwen-CUA는 모델 크기, 학습 자료, 화면 기억, 실행 프로그램이 성능에 미친 영향을 나눈 독립 시험과 함께 삭제 동작·인증 정보 위험을 측정해야 한다.
- WorldExam과 SWE-Touch는 모델이 장면 반응을 놓치거나 사용자가 바꾼 코드를 덮어쓰는 시점을 보여 주는 실행 기록을 공개할 필요가 있다.
- 에이전트 감시, 기능 학습, 실행 프로그램 자동 수정은 장기간 실제 제품에서 오경보, 관리 비용, 권한, 기능 퇴행을 함께 측정해야 한다.
- 영상·로봇 시스템은 같은 하드웨어에서 지연 시간, 에너지 사용량, 실제 실패를 비교해야 한다.
이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.