Agogic은 모델 계열과 데이터, 학습량, 생성 방식을 그대로 두고 기호 음악을 표현하는 방법만 바꿨다. 연구진은 연주 단위 토큰을 쓴 매개변수 8억 개 모델이 프레셰 음악 거리(FMD)에서 비트 격자 토큰을 쓴 270억 개 모델보다 앞섰다고 보고했다. 같은 계열 모델을 34배 키웠을 때는 이 지표가 거의 달라지지 않았다.

오늘 뉴스레터는 기호 음악, 실시간 영상 편집, 수정 가능한 이미지 레이어, 컴파일러 최적화, 경험을 쌓는 에이전트, 기술 재사용, 워크플로 복구, 터미널 화면 시험, 저사양 장치의 로봇 제어, 3차원 정보를 활용한 로봇 학습, 맞춤형 영어 튜터링, 새로 확인된 2027년 교육 행사를 다룬다. 연구 논문은 모두 8월 4일 제출됐으며, 수치는 저자 보고 결과로 아직 독립 재현되지 않았다.

밤사이 달라진 것

  • Agogic을 비롯한 새 논문 11편이 창작 도구, 에이전트 기억, 소프트웨어 시험, 로봇, 교육 분야 결과를 공개했다.
  • UPCEA는 2027년 4월 13–15일 미국 애너하임에서 여는 연례 컨퍼런스의 개인 참가와 기업 전시 신청을 시작했다. 회원 세션 제안은 2026년 8월 14일 마감한다.

음악·영상·수정 가능한 디자인

Agogic, 연주 단위 토큰으로 FMD 159…비트 격자는 272–286

Agogic은 사전 학습된 Qwen3.5 모델, 데이터, 학습량, 생성 방식을 고정하고 기호 음악 토큰 7가지를 비교했다. 연주 단위 표현은 10밀리초 간격의 타이밍, 음표별 세기, 여러 트랙의 질감을 609개 기호로 기록한다.

매개변수 8억 개 모델에서 연주 단위 표현의 FMD는 159였다. 비트 격자 표현은 272–286이었다. 매개변수 2,600만 개 모델을 처음부터 학습했을 때와 다른 연주 단위 토큰을 썼을 때도 순위가 같았다. 생성 단계에 가벼운 제약을 넣자 악기 F1은 0.28에서 0.60으로, 조성을 맞힌 비율은 0.16에서 0.35로 올랐다.

FMD는 생성 음악의 분포가 데이터와 얼마나 비슷한지 재는 지표로, 사람이 어느 쪽을 더 좋아하는지는 알려주지 않는다. 연구진은 청취 시험을 사전 등록했고, 문장 설명을 따르는 능력은 아직 약하다고 밝혔다. 이 연구는 토큰 표현과 모델 크기의 효과를 같은 조건에서 따로 비교했다.

JoyAI-Video-Edit, B200 한 장에서 720p 영상을 초당 약 30장 편집

징둥닷컴의 JoyAI-Video-Edit은 매개변수 160억 개를 쓴 자기회귀 확산 모델이다. 미래 프레임을 미리 보지 않고, 정해진 영상 길이 없이 들어오는 화면을 차례로 편집한다. 각 구간을 두 단계로 만들고, 원본 보존과 장시간 누적 오차를 각각 줄이는 학습법을 사용했다.

연구진은 엔비디아 B200 GPU 한 장에서 720p 영상을 처음부터 끝까지 초당 약 30장으로 편집했다고 보고했다. 비교한 스트리밍 편집기보다 자동 평가와 사람 평가에서 나았고, 오프라인 편집 모델과도 경쟁할 만한 결과를 냈다고 밝혔다. 다만 일반 창작용 PC나 모바일 기기, 실시간 게임 제작 과정에서도 같은 속도가 나오는지는 확인되지 않았다.

UniWorld-Design, 완성 이미지를 온전한 RGBA 레이어로 나눈다

UniWorld-Design은 문장으로 독립 RGBA 소재를 만드는 모델과 완성 이미지를 순서가 있는 의미 단위 레이어로 나누는 모델로 구성된다. 이미지 분해 모델은 전체 지시와 레이어별 설명을 함께 받는다. 장면 전체를 나누거나, 한 레이어를 다시 쪼개거나, 지정한 요소만 뽑을 수 있다.

Crello 벤치마크에서 레이어별 RGB L1 오차는 Qwen-Image-Layered보다 37% 낮았고, Alpha Soft IoU는 상대적으로 34% 높았다. 화면에 보이는 조각만 떼는 것이 아니라 가려진 부분까지 포함한 사물을 학습해, 레이어를 옮기거나 다른 레이어를 지운 뒤에도 쓸 수 있게 설계했다. 실제 제작 파일에서는 경계 정리, 레이어 이름, 반복 수정의 안정성, 내보내기 방식을 더 시험해야 한다.

에이전트와 개발자 도구

SeGaBench, 컴파일러가 보지 못한 의미를 모델이 찾아 최적화하는지 시험

SeGaBench는 합성 사례 100개와 실제 소스에서 가져온 사례 20개로 구성된다. C·C++ 코드를 최적화하려면 컴파일러가 분석하는 표현 안에는 없는 의미를 주변 맥락에서 찾아야 한다. 모델이 만든 결과물은 정확성, 의미 보존, 성능 검사를 모두 통과해야 한다.

모델 5개가 사례마다 답 5개를 냈다. 가장 강한 모델은 답의 94.8%에서 정확한 결과물을 만들었고, 83.3%에서 1.05배 이상의 속도 향상을 기록했다. 전체 사례의 93.3%에서는 벤치마크의 성능 성공 기준을 통과했다. 정답인 결과물도 최선의 최적화 속도에는 못 미치는 경우가 많았다. 이 벤치마크는 모델이 제안한 최적화를 반드시 실행 검사로 확인한다.

PAST-Bench, 경험을 저장한 것과 실제 자기 개선을 구분한다

PAST-Bench는 개인용 에이전트가 경험을 남긴 경우와 남기지 않은 경우를 같은 조건의 새 세션에서 비교한다. 기억, 작업 절차 재사용, 정보 수집, 내용 갱신에 걸쳐 26개 상황과 204개 실행을 담았다. 나중 작업의 성능 향상이 실제로 저장·검색·갱신 과정에서 나왔는지도 확인한다.

기반 모델 7개와 에이전트 프레임워크 4개의 향상 폭은 제각각이었다. 겉으로 드러난 성능 향상이 비슷해도, 저장한 경험이 그 변화를 설명하는 정도는 달랐다. 연구진이 Hermes에 다섯 가지 수정을 더한 Hermes+는 오래된 정보를 새 정보로 바꿔야 하는 작업에서 가장 뚜렷하게 나아졌지만, 효과는 모델과 능력에 따라 달라졌다.

ContinualSkillBench, 평균적으로는 긴 문맥이 별도 기술 목록과 비슷했다

ContinualSkillBench는 5개 분야에 각각 연결된 하위 작업 100개를 두고, 앞선 작업이 뒤의 작업을 도울 수 있도록 난이도순으로 실행한다. 순서대로 풀면 대체로 성능이 좋아졌지만, 평균 결과에서는 긴 문맥을 그대로 활용하는 방법과 기술 목록을 따로 관리하는 방법이 비슷했다.

정확한 형식이나 재사용 절차가 필요한 작업에서는 별도 기술이 도움이 됐다. 성능이 낮은 모델일수록 특정 작업에만 맞는 잘게 쪼개진 기술을 더 많이 쌓았다. 기술 수가 늘었다는 사실만으로 경험을 다른 작업에 옮겨 쓸 수 있게 됐다고 보기는 어렵다.

에이전트 워크플로 프레임워크 5개, ‘재개’ 동작이 모두 달랐다

RESUME CONTRACT 연구는 체크포인트 저장, 중단, 재개가 지켜야 할 성질 6가지를 정의했다. 이어 언어 모델을 쓰지 않는 결정론적 시험 도구로 에이전트 워크플로 프레임워크 5개를 조사했다. 같은 결과를 보인 프레임워크 조합은 없었다.

고정된 버전에서 LangGraph 1.2.9는 두 번째 재개 값을 저장하고도 사용하지 않았고, 스키마에 맞지 않는 상태도 그대로 저장했다. 실제로 프로세스를 강제 종료한 뒤에는 이미 기록한 작업을 다시 실행했다. CrewAI 1.15.2도 완료된 외부 효과 작업을 재실행했고, pydantic-graph 1.x는 노드 실행 중 장애가 나면 이어서 실행할 수 없었다. 여러 프로세스가 멈춰 있던 작업 하나를 동시에 재개했을 때는 같은 동작이 여러 번 실행됐다. 연구진은 실행 전에 공유 저장소에서 재개 권한을 한 호출자만 차지하는 방식도 제시했다.

터미널 화면 시험에서는 무작위 탐색도 강한 비교 기준이었다

터미널 사용자 인터페이스 앱 197개를 조사한 결과, 화면을 실제로 조작하는 시험 코드는 전체의 12%였다. 그중 45%는 입력을 한 번도 보내지 않고 정지 화면만 확인했다. 연구진은 프레임워크 4개로 만든 앱을 계측 컨테이너에 담고, 같은 시간 안에 최상위 언어 모델 4개와 무작위 탐색을 비교했다.

모델 하나가 모든 시험에서 앞서지는 않았다. 무작위 탐색은 더 많은 입력을 시도해 충돌을 많이 찾았다. 반면 모델은 입력 한 번당 효율이 높았고, 특정 입력을 해야만 나타나는 오류를 찾아냈다. 실행에 필요한 초기 입력을 자동으로 만드는 기능이 가장 큰 실용적 향상을 냈다. 코드 실행 줄 비율은 충돌 발견과 잘 맞지 않아 화면 시험 품질을 대신하는 지표가 되기 어려웠다.

로봇과 학습 시스템

두 팔 로봇, INT8 변환 뒤에도 20번 중 19번 성공

연구진은 8GB Jetson Orin Nano Super만으로 두 팔 SO-101 로봇을 작동시켰다. 학습에는 RTX 3070을 썼다. 콩주머니를 집어 옮기는 작업에서 Action Chunking Transformer는 20번 중 19번 성공했다. 별도로 학습한 Diffusion Policy는 학습 단계를 두 배로 늘렸지만 10번 시험에서 쓸 만한 정책으로 수렴하지 못했다.

TensorRT FP16 변환으로 평균 추론 시간은 114.02밀리초에서 17.93밀리초로 줄었고, INT8에서는 12.65밀리초가 됐다. 성공 횟수는 원본 19/20, FP16 18/20, INT8 19/20이었다. INT8 변환기는 트랜스포머 레이어 145개를 하나도 양자화하지 못했다. 이 때문에 FP16보다 모델 크기는 0.9%만 더 줄었지만 지연 시간은 28% 더 짧아졌다.

Track4Action, 학습할 때만 미래의 3차원 움직임을 본다

Track4Action은 시범 영상의 미래 프레임을 3차원 추적기로 분석한 뒤, 그 특징을 현재 화면만 보는 로봇 정책이 따라 배우게 한다. 미래 영상과 추적기는 학습할 때만 사용한다. 실제 작동할 때는 현재 관찰만으로 행동을 예측한다.

연구진은 처음 보는 LIBERO-Plus 작업에서 82.3%를 기록했다고 보고했다. 3차원 정렬을 쓰지 않은 자체 모델보다 7.6%포인트, LaMP보다 3.0%포인트 높았다. RoboTwin 2.0의 일반 환경과 무작위 환경에서는 각각 80.44%와 81.48%였다. 실제 두 팔 로봇 작업 4개에서는 평균 성공률 67.5%로, 3차원 정렬을 쓰지 않은 모델보다 25%포인트 높았다.

TACT, 영어 튜터의 가르치는 방법 13가지를 기준으로 추가 학습

TACT는 튜터가 답하는 방법 13가지와 학습자 행동 분류를 함께 정의했다. 실제 교사와 학생의 대화 260개에 주석 3만2,379개를 붙였다. 이어 지도학습과 강화학습으로 매개변수 40억 개 Qwen3.5 모델을 학습해, 학생 반응에 맞는 도움을 주도록 했다.

실제 튜터링 상황 78개로 만든 TACTBench에서 기반 모델보다 20.30% 나아졌고, 같은 방법으로 평가한 상용 모델보다 높은 점수를 냈다고 연구진은 보고했다. 학습자 50명이 참여한 블라인드 평가에서도 전체 평균이 가장 높았다. 다만 시험 규모가 작고 제2언어로서의 영어 학습에 한정됐다. 교실에서 실제 학습 성과가 좋아지는지, 같은 학생을 오래 가르칠 때도 맞춤 대응이 이어지는지는 아직 확인되지 않았다.

행사 일정

UPCEA 2027, 미국 애너하임에서 개인 참가·기업 전시 신청 시작

UPCEA Annual Conference 2027은 4월 13–15일 미국 캘리포니아주 애너하임 메리어트에서 열린다. 전문·평생·온라인 교육을 다루며, 교수 설계, 자격 과정, 학생 모집, 교육 과정 운영 등이 프로그램에 포함된다.

기업 전시 신청을 받고 있으며 할인 부스 요금은 2026년 12월 8일까지다. 개인 참가 등록도 열렸다. 조기 등록 요금은 12월 8일, 일반 요금은 3월 2일, 후기 온라인 등록은 4월 12일 끝난다. UPCEA 회원은 2026년 8월 14일까지 세션을 제안할 수 있다.

2027년 게임·교육기술 행사 일정 보기.

다음에 볼 것

  • Agogic의 사전 등록 청취 시험에서는 FMD 차이가 실제로 들리는지, 생성 제약이 음악의 다양성을 줄이지 않으면서 설명을 더 잘 따르게 하는지 확인할 수 있다.
  • JoyAI-Video-Edit과 UniWorld-Design은 일반 장비, 긴 편집, 레이어 재사용, 파일 내보내기, 결과 수정 과정에서 시험할 필요가 있다.
  • SeGaBench, PAST-Bench, ContinualSkillBench는 실행 검사를 그대로 유지한 독립 재현과, 저장된 작업 절차와 일시적인 문맥 효과를 구분하는 평가가 필요하다.
  • 워크플로와 터미널 화면 도구는 중복 실행, 장애 복구, 입력 처리량, 오류 심각도를 함께 재는 버전별 시험이 필요하다.
  • 저사양 장치 로봇과 Track4Action은 물체, 조명, 카메라 위치, 작업 길이, 실패 뒤 복구를 바꾼 실제 환경에서 비교해야 한다.
  • TACT는 여러 수업에 걸친 학습 성과, 교사 업무량, 반복 세션의 맞춤 대응을 확인해야 한다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.