AI가 만든 게임 세계는 몇 초 동안 그럴듯하게 보이면서도 방금 지나온 장소를 잊을 수 있습니다. 한참 돌아 출발점으로 오면 문이나 나무, 방의 모습이 달라지기도 합니다. WorldTrace는 영상 월드 모델이 예전 장소를 새로 지어내지 않고 다시 떠올리도록 만든 메모리 시스템입니다.
이 문제는 그래픽 품질만의 이야기가 아닙니다. 아이는 게임 속에서 집이 어디인지, 어느 길로 돌아가야 하는지, 내가 떠난 사이 무엇이 바뀌었는지를 기억하며 공간을 이해합니다. 이런 관계가 유지되지 않으면 화면은 멋져도 탐험하거나 만들고, 긴 이야기를 이어가는 세계가 되기는 어렵습니다.
이번 호에 소개한 논문은 2026년 8월 7일 제출됐습니다. 수치는 연구진이 보고한 결과이며 아직 독립적으로 재현되지 않았습니다.
오늘의 리드: 생성된 세계에 장소의 기억을 더하다
무슨 일이 있었나
대부분의 대화형 영상 생성 모델은 최근 프레임 일부만 기억합니다. WorldTrace는 오래된 장면을 압축하고 중요한 장소에 안정적인 주소를 붙여 나중에 다시 찾을 수 있게 합니다. 장면을 떠났다가 우회한 뒤 돌아오는 LoopBench에서 연구진은 영상 생성 모델을 재학습하지 않고도 이동 경로 일관성이 15.5%, 장면 회상률이 19.5% 높아졌다고 보고했습니다.
쉽게 말하면
지금의 모델이 최근 몇 번의 갈림길만 기억하며 미로를 걷는 사람이라면, WorldTrace는 작은 수첩을 더해주는 방식입니다. 한쪽에는 지나온 길을 요약하고, 다른 쪽에는 장면이 크게 바뀐 순간의 표식을 좀 더 선명하게 남깁니다. 그러면 최근 화면의 흐릿한 흔적에만 기대지 않고 예전 장소를 찾아볼 수 있습니다.
가족에게 왜 중요한가
AI 생성 게임은 짧은 시연을 넘어 아이가 직접 탐험하고 만드는 공간으로 발전하고 있습니다. 그런 공간에서 건축, 퀘스트, 공동 이야기를 이어가려면 보기 좋은 화면만으로는 부족합니다. 다시 돌아온 방은 같은 방이어야 하고, 앞서 옮긴 물건도 슬그머니 원래 자리로 돌아가면 안 됩니다.
WorldTrace가 해결한 것은 그중 일부입니다. 제한된 영상 생성 모델과 정해진 귀환 경로를 시험했을 뿐, 물체 상태가 오래 유지되고 여러 사람이 자유롭게 움직이는 완성형 게임을 검증한 것은 아닙니다. 그래서 “이제 AI가 게임을 만들 수 있나?”보다 “이번 시연은 무엇을 얼마나 오래 기억하나?”라고 묻는 편이 정확합니다.
함께 볼 네 가지 소식
1. 더 다양한 이야기를 만들었지만, ‘창의적’이라는 말에는 기준이 필요하다
CreativeInstruct는 언어 모델이 덜 뻔한 생각으로 갈라져야 할 구간을 표시하도록 학습합니다. 단어가 얼마나 다른지만 보지 않고 이야기 구조의 차이도 비교합니다. 사람 평가에서는 70.3%가 일반 사후 학습 모델보다 CreativeInstruct의 결과를 더 창의적이라고 골랐고, 연구진은 전반적인 생성 품질도 유지됐다고 밝혔습니다.
아이가 만화나 게임 아이디어를 떠올릴 때 다양한 선택지는 도움이 됩니다. 하지만 뜻밖의 가지를 많이 내놓는 모델이 곧 좋은 이야기꾼은 아닙니다. 등장인물, 규칙, 결과가 서로 맞아야 합니다. AI는 대안을 넓혀주고, 무엇을 고르고 연결하고 고칠지는 아이가 맡는 방식이 좋습니다.
2. 사람과 AI가 섞인 음악은 ‘둘 중 하나’로 나누기 어려웠다
연구진은 사람이 연주한 소리와 신경망 오디오 코덱으로 복원한 소리를 섞어 음악을 만들었습니다. 완전히 사람 연주이거나 완전히 복원된 곡에서는 정확도가 99%를 넘던 판별기도 혼합 음원에서는 불안정해졌습니다. AI 처리 비율을 추정하도록 만든 회귀 모델은 같은 제작 방식의 별도 음원에서 평균 절대 오차 0.076, 결정계수 0.85를 기록했습니다.
실제 창작은 섞여 있는 경우가 많습니다. 사람이 곡을 쓰고 연주하면서 소프트웨어가 일부 소리를 편집하거나 생성하고 바꿀 수 있습니다. 그래서 AI 음악이라는 한 줄 표시는 오히려 중요한 내용을 감출 수 있습니다. 아이와 AI 음악 이야기를 할 때는 누가 만들었는지만 묻기보다 어느 부분을 사람이 연주·지휘했고, 어느 부분을 생성하거나 변형했는지 살펴볼 필요가 있습니다.
3. 시각 AI는 눈앞의 그림보다 익숙한 상식을 따르기도 했다
SABRE-Prior는 익숙한 장면에 예상 밖의 재질이나 부품 수를 넣은 이미지 600장과 질문 1,000개로 구성됐습니다. 상식과 실제 화면이 충돌하는 문제에서 비전 언어 모델 6개의 정확도는 17.8~31.3%, 평균은 22.6%였습니다.
문제 일부를 AI가 만들고 걸러냈기 때문에 다음 버전에서도 사람이 타당성을 계속 확인해야 합니다. 그래도 일상적인 AI 리터러시 한 가지는 분명히 보여줍니다. 모델은 실제로 보이는 것보다 보통 그 자리에 있을 법한 것을 말할 수 있습니다. “AI가 봤다”는 말이 “그림이 증명한다”는 뜻은 아닙니다.
4. 시험 조건을 공정하게 바꾸자 AI 순위가 뒤집혔다
AutoML 시스템 Orcetra는 처음에는 데이터셋 대부분에서 경쟁 모델 두 개를 앞선 것처럼 보였습니다. 하지만 가장 좋은 후보를 테스트 데이터로 골랐고, 실행 도중에는 정해진 시간 제한을 강제로 적용하지 않았습니다. 후보 선택을 검증 데이터로 옮기고 외부 시간 제한과 같은 컴퓨터 자원을 적용하자 재실험한 데이터에서 승률은 59.4%에서 34.3%로 낮아졌습니다. 경쟁 모델과의 차이도 더는 통계적으로 유의하지 않았습니다.
앞으로 학습 도구, 검색, 창작 서비스에도 수많은 AI 점수가 붙을 것입니다. 점수는 쓸모가 있지만 누구를 대상으로 무엇을, 어떤 조건에서 시험했는지와 함께 봐야 합니다. 큰 숫자는 질문의 끝이 아니라 시작입니다.
일정 하나
ATD 2027 국제 컨퍼런스·엑스포는 5월 16~19일 보스턴에서 열리며 현장·온라인 참가 등록을 받고 있습니다. 학습 기술과 교수 설계를 다룹니다. 발표 제안 기간은 끝났고, 주최 측은 2027년 기업 전시 신청의 별도 최종 마감일을 공개하지 않았습니다.
오늘의 가족 관점
AI 소식을 따라갈 때 모든 기술을 좋거나 나쁜 것으로 나눌 필요는 없습니다. 무엇이 달라졌고, 어떤 시험으로 확인했으며, 시험 밖에는 무엇이 남아 있는지 물으면 됩니다. WorldTrace는 생성된 세계가 장소를 기억하는 데 도움을 줄 수 있습니다. 그렇다고 AI가 게임 전체를 오래 유지할 수 있다는 뜻은 아직 아닙니다. 가능성 있는 부품과 완성된 경험 사이의 거리를 보는 데서 판단이 시작됩니다.
이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.