12개 프로그래밍 언어의 프로젝트형 과제 480개로 코딩 에이전트를 평가한 새 벤치마크가 나왔다. 오늘은 3D 공간을 이해하는 비전 모델, 움직이는 가우시안 장면, 확산 모델과 영상 편집 제어, 멀티모달 안전, 공동 스케치, AI의 학습 개입, 접근성 영상 연구도 전한다. 별도로 밝힌 경우를 제외하면 모두 새 사전 공개 논문이 보고한 결과이며 독립적인 재현은 아직 이뤄지지 않았다.

밤사이 달라진 점

  • 주말 동안 arXiv 컴퓨터과학 새 논문 목록은 올라오지 않았다. 오늘 다루는 연구 12건은 가장 최근인 7월 24일 공개 목록에서 골랐으며 어제 뉴스레터와 겹치지 않는다.
  • 행사 일정 검토 과정에서 2027년 1월 유네스코 지속가능발전교육 세계회의의 기관 신청 일정을 확인했다. 개인 참가 등록은 아직 시작하지 않았다.

코딩 에이전트와 공간 이해

ICAE-Bench, 12개 언어의 프로젝트 제작 능력을 평가

ICAE-Bench는 실제 오픈소스 저장소를 바탕으로 만든 과제 480개로 구성되며 프로그래밍 언어 12종을 다룬다. 처음에는 불완전한 제품 요구사항만 주고, 코딩 에이전트가 모의 사용자에게 질문해 빠진 내용을 확인하도록 한다. 완성한 저장소는 블랙박스 테스트로 평가한다.

전체 시험은 코딩 모델 6종을 Claude Code에서 실행했다. Claude Opus 4.8의 테스트 통과율이 38.2%로 가장 높았고 GPT-5.5가 37.2%로 뒤를 이었다. Claude Opus 4.8은 공개 테스트에서 48.5%를 통과했지만 보강 테스트에서는 35.5%에 그쳤다. 모든 테스트를 통과한 저장소는 모델에 따라 480개 중 1-13개였다. 일부 기능을 구현하는 것과 프로젝트 전체를 완성하는 것 사이에 큰 차이가 있었다.

VLM-IE3D, 영상 이해 모델에 3D 형상 정보를 결합

VLM-IE3D는 일반 RGB 영상에서 비전·언어 모델이 얻은 공간 특징과 명시적인 3D 형상 토큰을 함께 쓴다. 두 정보를 3D 어댑터로 합친 뒤 질문에 답하거나 장면을 설명한다.

3D 물체 탐지, 위치 지시, 자세한 장면 설명, 공간 추론으로 평가했다. 비교한 영상·언어 모델보다 성능이 나아졌지만, 논문은 전체 개선 폭을 한 수치로 제시하지 않는다. ECCV 2026 채택 논문이며 코드와 모델을 공개했다.

자기지도 모델, 카메라 움직임과 물체 움직임을 분리

Structured Dynamics Model은 고정한 이미지 모델의 특징에서 영상의 시간 변화를 읽는다. 화면 전체에 크게 나타나는 카메라 움직임과 개별 물체의 작은 움직임을 나눠 표현한다. 실제 영상은 별도 라벨 없이 학습하고, 합성한 Kubric 장면에서는 제한적인 정답 정보를 함께 썼다.

연구진은 움직임 구조를 평가하는 ProbeMotion도 함께 만들었다. CLS 토큰이나 평균 풀링한 이미지 특징보다 좋은 결과를 냈고, 일부 항목에서는 지도학습한 VGGT와 견줄 만했다. 전체 차이를 요약한 수치는 없으며, 학습 과정에 합성 자료가 들어간다.

장면 복원과 생성 제어

GrainGS, 움직이는 가우시안 장면을 4.67MB로 압축

GrainGS는 움직이는 장면을 작은 가우시안 뼈대와 각 가우시안의 변형 정보로 나타낸다. 렌더링할 때 큰 변형 신경망을 실행하지 않으면서도 작은 부분의 세부 표현을 남기려는 방식이다.

합성 장면 시험에서 평균 PSNR 36.98dB, 초당 435.6프레임, 모델 용량 4.67MB를 기록했다. 실제 촬영 장면, 모바일 기기, 게임 엔진에서의 결과는 아직 제시하지 않았다.

3D-GIMP, 한 화면의 지운 자리를 3D 장면 전체로 전파

3D-GIMP는 3D Gaussian Splatting 장면에서 물체를 지운다. 먼저 대표 화면 한 장의 빈 곳을 생성 모델로 채운 뒤, 3D 공간을 고려한 PatchMatch로 다른 시점에 퍼뜨린다. 카메라 화면마다 확산 모델을 따로 실행하지 않아도 된다.

비교 실험에서는 화질을 비슷하게 유지하면서 처리 속도와 시점 간 일관성이 좋아졌다. 다만 전체 속도 향상이나 화질 차이를 하나로 요약한 수치는 없다. 장면과 카메라 수, 지우는 영역의 크기에 따라 실제 효과가 달라질 수 있다.

Scene Parameter Saliency, 렌더링 결과에 영향을 준 장면 요소를 추적

Scene Parameter Saliency는 조명 시뮬레이션을 미분해 어떤 장면 매개변수가 특정 화면 특성에 큰 영향을 주는지 계산한다. 역방향 계산 한 번으로 눈부심, 평균 밝기, 신경망 기반 지각 점수에 대한 중요도를 얻는다.

중요도 순서는 측정 기준에 따라 바뀌었다. 평균 밝기에 큰 영향을 주는 요소가 눈부심의 주된 원인은 아닐 수 있다. 제작 시간을 줄였는지 확인하는 사용자 연구나 실시간 엔진 구현은 논문에 없다.

Progressive Seed Pruning, 가능성 높은 확산 경로에 연산 집중

Progressive Seed Pruning은 많은 무작위 시드로 생성을 시작한 뒤, 중간 결과를 평가해 가능성이 낮은 경로를 일찍 멈춘다. 정해진 모델 실행 횟수 안에서 살아남은 후보만 끝까지 생성한다.

같은 연산량으로 비교했을 때 GenEval과 사람이 평가한 문장 일치도에서 best-of-N, 중요도 표집, 트리 탐색보다 나은 결과를 냈다. 이 방식이 잘 작동하려면 중간 결과의 점수가 원하는 최종 그림을 제대로 가려내야 한다. 코드와 프로젝트 페이지는 공개했다.

ElasticTTT, 기본 모델을 다시 학습하지 않고 원본 영상 편집

ElasticTTT는 미리 학습한 영상 확산 모델을 입력 영상 하나에 맞춰 실행 중에 조정한다. 목표 분포 정규화, 대조형 classifier-free guidance, 서로 다른 잡음 일정을 사용해 원본 구조를 지키면서 프레임을 그대로 외우는 문제를 줄인다.

연구진은 한 영상만으로 편집하는 시험에서 기존 최고 수준의 결과를 냈고, 사전분포 붕괴와 원본 암기가 줄었다고 보고했다. 전체 점수, 실행 시간, 메모리 요구량은 공개 요약에 없어 제작자용 하드웨어의 비용은 판단하기 어렵다.

인터페이스, 안전, 학습

ResponseGuard, 이미지 요청과 생성 답변을 한 번에 검사

ResponseGuard는 20억 매개변수 비전·언어 모델로 요청의 유해성, 이미지만의 유해성, 생성 답변의 유해성을 한 번에 판단한다. 학습·평가 자료, 코드, 모델 가중치도 함께 공개했다.

생성 답변의 유해성 평가에서는 시험한 30억 매개변수 추론형 안전 모델보다 높은 점수를 냈고 처리 시간은 약 150분의 1이었다. 반면 추론형 모델은 요청과 이미지만 평가하는 항목에서 앞섰다. 쓰임새에 따라 모델을 나눠야 한다는 결과다.

Thinkink, 사용자와 언어 모델이 한 캔버스에서 함께 작업

Thinkink는 사용자와 LLM이 같은 2차원 캔버스에서 글을 쓰고, 그림을 그리고, 생각을 묶거나 옮기게 한다. 대화가 위에서 아래로 흐르는 채팅 대신 공간을 활용해 생각을 정리하도록 설계했다.

참여자 12명의 초기 조사, 6명의 진단 조사, 10명의 최종 조사로 기능을 다듬었다. 참여자가 적고 결과는 정성 평가 중심이지만, 글과 도형을 함께 쓰는 사람-AI 협업에서 어떤 동작이 필요한지 구체적으로 보여 준다.

AI 도우미, 사용자가 스스로 풀겠다고 해도 일찍 개입

Int-Bench는 수학, 디버깅, 두뇌 문제를 각각 500개씩 모아 총 1,500개로 구성했다. 연구진은 일반 지시와 사용자가 스스로 풀도록 기다리라는 지시를 나눠 모델 네 종의 실행 3만6천 건을 수집했다.

GPT-5.2, GPT-OSS-120B, DeepSeek-V3.2는 문제의 90%가 넘는 경우에 개입했다. GPT-5.2와 GPT-OSS-120B는 사용자가 글자 100개를 쓰기 전부터 끼어드는 경우가 많았고, 답 전체를 제시하는 경향이 있었다. 50명 대상 사용자 연구에서는 이런 도움의 일반화 효과가 일관되게 나타나지 않았다. 도움을 주는 시점과 양을 사용자가 정했을 때 결과가 달라지는지는 후속 검증이 필요하다.

Sonic Stage, 소리로 영상 속 공간을 탐색

Sonic Stage는 공간감 있는 대사, 장면 안의 효과음, 조작할 수 있는 설명, 이동 단서를 묶어 시각장애·저시력 시청자에게 사건의 내용과 위치를 함께 전달한다.

시각장애·저시력 참여자 12명 대상 시험에서 내용 이해, 공간감, 이야기 몰입도가 유의하게 높아졌다. 표본이 작아 장르가 달라지거나 긴 영상을 볼 때도 같은 결과가 나는지는 알 수 없다. UIST 2026 발표 예정이다.

새로 추가한 행사 일정

유네스코 지속가능발전교육 세계회의 2027을 일정표에 추가했다. 행사는 2027년 1월 13-15일 케냐 나이로비에서 열린다. 기관은 2026년 8월 31일까지 주제 세션 공동 기획안을 낼 수 있다. 유네스코는 개인 참가 등록을 곧 시작한다고 안내했지만 날짜는 공개하지 않았다.

다음에 볼 것

  • 다른 에이전트 실행 도구와 질문 횟수로 재현한 ICAE-Bench 결과, 저장소별 세부 점수.
  • 낯선 카메라 움직임, 긴 영상, 물체가 많은 장면에서 확인한 VLM-IE3D와 Structured Dynamics 성능.
  • 촬영 장면과 모바일 GPU에서 측정한 GrainGS 속도와 모델 파일 밖의 전체 메모리 사용량.
  • 3D-GIMP, Progressive Seed Pruning, ElasticTTT의 재현 가능한 품질·속도 비교.
  • 새로운 안전 분류와 공격적인 이미지·문장 조합에서 확인한 ResponseGuard 성능.
  • 더 많은 참여자와 긴 콘텐츠로 확인한 Thinkink, AI 개입 시점 설정, Sonic Stage의 효과.
  • 유네스코 개인 참가 등록 시작일과 별도의 전시·후원 신청 공고.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.