Microsoft의 Project Perception이 오늘 공개 시험에 들어갔다. Project Perception은 Microsoft의 사이버 보안 모델 MAI-Cyber-1-Flash를 회사의 MDASH 취약점 분석 시스템 안에서 활용한다. Microsoft는 이 구성이 CyberGym에서 96%를 기록해 Mythos보다 12%포인트 높았고, 현재 판매 중인 MDASH 구성보다 비용이 약 50% 적게 들었다고 밝혔다.

오늘 뉴스레터에는 안전한 코드 생성, 상용 시스템 프롬프트 대규모 감사, 보안 경보 분류, 머신러닝 개발 에이전트, 컴퓨터 조작 에이전트의 연산 확대, 캐시 재현 정확도, 생성형 화면 평가, 경량 시각 모델, 긴 영상 프레임 추출, 실시간 이상 탐지, 농업 로봇 길 찾기, 고등교육 보안 컨퍼런스 소식도 담았다. 논문은 모두 7월 30일 제출됐으며, 별도의 설명이 없으면 수치와 결론은 저자 보고로 아직 독립 검증되지 않았다.

밤사이 달라진 것

  • Project Perception은 8월 3일 공개 시험을 시작했다. 첫 활용 분야는 MAI-Cyber-1-Flash와 MDASH를 이용한 소프트웨어 취약점 관리다. 기반 시스템인 MDASH는 앞서 제한된 비공개 시험을 진행했다.
  • SecurED Conference 2027은 미국 애틀랜타에서 4월 7~9일 열린다. 개인 참가권과 기업 스폰서·전시 참가 창구가 열렸다.

보안 에이전트와 코드, 시스템 프롬프트

Microsoft, Project Perception으로 CyberGym 96% 보고

Project Perception은 Microsoft의 사이버 보안 모델과 MDASH를 결합한다. MDASH에서는 전문 에이전트들이 소프트웨어 결함을 찾고, 서로 검토하고, 중복을 제거하고, 실제 재현 여부를 입증한 뒤 수정 작업을 돕는다. Microsoft는 MAI-Cyber-1-Flash를 넣은 새 구성이 오픈소스 프로젝트 188개의 취약점 재현 과제 1,507개로 구성된 CyberGym에서 96%를 기록했다고 밝혔다. Mythos보다 12%포인트 높고 현재 판매 중인 MDASH 구성보다 비용이 약 50% 적다는 것이 회사 설명이다.

이는 Microsoft가 구성하고 실행한 시스템 시험으로 독립 제품 비교가 아니다. 회사는 비용 절감 주장을 확인할 수 있는 전체 가격표나 작업량별 자료를 공개하지 않았다. 고객은 공개 시험에서 이 취약점 분석 기능을 써볼 수 있다. Microsoft는 이후 Project Perception을 다른 보안 업무로 넓힐 계획이라고 밝혔다.

MDASH는 앞서 일반 제공 모델과 에이전트 100개 이상을 사용해 CyberGym 88.45%를 기록했다. Microsoft는 이 시스템이 5월 공개한 Windows 취약점 16개를 찾는 데도 도움을 줬다고 보고했다. 이번 96%는 새 전문 모델과 주변 에이전트 시스템을 함께 시험한 결과이므로 MAI-Cyber-1-Flash만의 기여도는 알 수 없다.

CoGate, 보안 전문 모델이 확신할 때만 영향력 키웠다

Minghao Hu 연구팀은 작은 보안 전문 모델이 더 큰 코드 모델의 다음 토큰 생성을 안내하는 공동 디코딩을 연구했다. 기존 방법은 전문 모델이 낯선 코드를 만나 확신이 낮을 때도 그 판단을 따를 수 있다. CoGate는 이때 전문 모델의 개입을 줄인다.

연구진은 CodeGen, DeepSeek-Coder, Qwen-Coder, StarCoder를 HumanEval, 보안 시험 모음, CWEval에서 평가했다. CoGate는 생성 코드의 기능성과 보안을 함께 보는 Func-Sec@10에서 CoSec+보다 최대 12.6% 높은 결과를 냈다고 보고했다. 이 시험만으로 저장소 전체의 취약점을 잡아내거나 실행·의존성·통합 시험을 대신할 수 있다는 뜻은 아니다.

별도 보정 모델이 확신 높은 보안 경보 분류를 개선

다른 연구에서는 사람이 판정한 Windows 단말 보안 경보로 추론 모델을 학습시킨 뒤, 각 판정이 맞을 확률을 추정하는 별도 보정 모델을 만들었다. 분류 정확도는 82.6%였다. 자동 분류에 쓰는 높은 확신 기준에서는 바로 답만 내는 언어 모델보다 정상 경보 재현율이 43.0%, 악성 경보 재현율이 18.3% 높았다고 연구진은 밝혔다.

학습하지 않은 확신 판정 모델을 붙이면 높은 확신 구간의 재현율이 0으로 떨어졌다. 이 시험에서는 추론 설명을 생성하는 것만으로 확신을 믿을 수 없었고, 전체 추론 기록을 읽는 보정 모델을 따로 학습해야 했다. 자료는 Windows 단말 경보에서 나왔으며 코드 검토, 게임 운영, 실제 사고 대응을 측정하지는 않았다.

상용 AI 제품 약 40%의 시스템 프롬프트에서 사용자 이익에 어긋나는 지시 발견

AISPA 연구팀은 상용 AI 제품 88개의 시스템 프롬프트에서 지시문 3,249개를 검토했다. 사용자 보호와 관련된 영역 8개에 따라 지시를 분류하고, 사용자를 보호하는지 사용자 이익에 어긋나는지 판정했다. 제품의 98.9%에는 보호 지시가 하나 이상 있었지만 8개 영역을 모두 다룬 제품은 24%였다. 약 40%에서는 사용자 이익에 어긋나는 지시가 하나 이상 발견됐다.

시간이 지나면서 시스템 프롬프트는 길어졌고 보호 지시도 늘었다. AISPA는 공개됐거나 연구진이 확보한 프롬프트 문구를 평가했으며, 실제 제품이 그 지시를 일관되게 따르는지는 시험하지 않았다. 이 지시는 에이전트의 행동을 좌우하지만 사용자와 외부 연구자에게 보이지 않는 경우가 많다.

에이전트 학습과 재현, 평가

Frontis-MA1, MLE-Bench Lite에서 기본 모델을 39.39%에서 60.61%로 높였다

Frontis AI는 머신러닝 프로그램을 새로 작성하고, 개선하고, 디버깅하고, 여러 해법을 합치는 350억 매개변수 모델을 학습시켰다. 이 네 가지 작업을 긴 탐색 과정에도 활용했다. 작업마다 12시간, 메모리를 12GB로 제한한 RTX 4090 한 대를 사용했을 때 Frontis-MA1과 OpenMLE-Evo는 기본 모델의 Medal Average 39.39%를 60.61%로 높였다. 과거 경험과 비동기 탐색을 추가한 방식은 71.21%를 기록했다.

저자들은 이 결과가 자체 시험에서 GPT-5.5와 Codex의 조합보다 높고 GPT-5.6 Sol·Kimi K3에 가까웠다고 밝혔다. 별도로 떼어 둔 NatureBench Lite에서는 탐색 틀을 고정하고 학습 모델만 바꿨을 때 Match-SOTA가 50%에서 70%로 올랐다. 모델을 고정하고 탐색 틀만 OpenMLE-Evo로 바꾸면 20%에서 50%로 상승했다. 가중치와 OpenMLE 전체 도구가 공개돼 같은 연산 예산으로 다시 시험할 수 있다.

로컬 컴퓨터 조작 에이전트는 연산을 늘려도 잘못된 행동을 더 오래 이어갔다

연구진은 Qwen3-VL-8B, Qwen3-VL-30B-A3B, UI-TARS-1.5-7B, OpenCUA-7B를 OSWorld에서 시험하며 추론 연산을 늘리는 여러 방법을 비교했다. 더 긴 작업 기록은 행동을 안정시켰지만, 개선 폭은 곧 줄었고 실패 양상은 너무 일찍 성공했다고 선언하는 쪽으로 옮겨갔다. 허용 단계를 늘리면 최대 단계에 걸려 멈추는 사례는 줄었지만 과제 성공률은 크게 오르지 않았다.

계획과 행동을 나누면 로컬 모델의 부담이 커졌고, 여러 시도를 병렬 실행하면 일부 성능을 되찾는 대신 연산량이 크게 늘었다. 토큰, 단계, 구조, 병렬 시도만 늘려서는 잘못 본 화면이나 목표를 계속 좇는 정책을 고치지 못했다.

같은 BF16 토큰도 캐시 상태가 다르면 뒤 문장이 달라졌다

Qwen2.5 계열 시스템에서 연구진은 기존 키·값 캐시를 이어 쓴 결과와 똑같은 정수 토큰을 새로 입력한 결과를 비교했다. 200건 중 166건에서 뒤이어 생성된 문장이 달랐고 정답 판정도 20건 바뀌었다. 전체 정확도 차이는 1%포인트에 그쳤다.

BF16 대조 실험에서는 같은 차이가 다시 나타났지만 FP32에서는 200건 모두 차이가 없었다. 48개 캐시 층을 다른 실행에서 옮기자 달라졌던 출력이 모두 캐시 제공자의 결과를 따라갔다. 처음 고른 24건과 결과를 보지 않고 다시 고른 43건에서 전부 같았다. 화면에 보이는 토큰을 그대로 재현해도 원래 토큰을 만든 디코더 상태까지 재현했다고 볼 수는 없다.

가상 사용자 패널이 한 명의 판정 모델보다 사람의 화면 평가에 가까웠다

ESPP는 서로 다른 가상 사용자들이 생성형 화면의 스크린샷을 독립 평가하게 한다. 각 평가자는 근거를 참고해 점수를 내고, 제한된 범위에서 다른 평가자의 의견을 반영한다. 마지막에는 델파이 방식의 가중치로 점수를 합친다. 연구진의 자료에서 사람의 평가와 상관계수는 한 번만 판정한 모델의 Pearson r = 0.716에서 패널의 r = 0.922로 올랐다.

프롬프트만 여러 개 쓴 대조 실험은 이 차이의 약 3분의 1만 회복했다. 가상 사용자별 점수를 남겨 보니 전체 모델 순위에는 동의하면서도 세부 평가에서는 크게 엇갈리는 집단이 있었다. 실제 사용자를 모집한 결과가 아니므로 접근성, 문화, 연령, 중요한 의사결정에서 사람의 검토를 대신할 수 없다.

제한된 장치에서 돌리는 시각 모델과 길 찾기

MixFrag, 양자화에 민감한 정도에 따라 비트 수 배분

MixFrag는 Vision Transformer의 한 부분만 양자화했을 때 출력이 얼마나 바뀌는지 측정한 뒤, 정해진 비트 예산 안에서 각 층에 비트 수를 배분한다. 연구진은 COCO 객체 탐지와 인스턴스 분할의 까다로운 MP3/MP3 설정에서 기존 혼합 정밀도 방법보다 평균 정밀도가 최대 9.6포인트 높았다고 보고했다.

여러 Vision Transformer 계열의 ImageNet-1K 시험에서도 경쟁력 있는 정확도를 유지했다. 이 방법은 소량의 보정 자료가 필요하고 학습을 마친 모델의 양자화를 다룬다. 원래 매개변수 수를 줄이지 않으며 모바일 게임 렌더러에서 같은 개선 폭이 나오는지는 시험하지 않았다.

VisualRouter, 질문에 따라 긴 영상에서 뽑을 프레임 바꿨다

VisualRouter는 긴 영상에 관한 질문을 먼저 전체 내용형과 특정 장면형으로 나눈다. 전체 내용형 질문에는 관련 프레임과 시간대별 프레임을 함께 제공한다. 특정 장면형 질문에는 사건을 구간별로 나눈 뒤 그 안에서 프레임을 고른다. 별도 학습은 필요 없다.

Qwen2.5-VL-7B를 사용했을 때 일정 간격으로 프레임을 고르는 방법보다 Video-MME에서 5.2%, LongVideoBench에서 7.7%, MLVU에서 11.6% 높은 결과를 냈다고 저자들은 밝혔다. 이는 영상 질문 답변 결과다. 제작 도구에 쓰려면 질문에 직접 나오지 않는 인물 상태, 편집 내용, 원인과 결과, 장면 전환까지 유지하는지 따로 확인해야 한다.

PixOOD, Jetson AGX Orin에서 초당 75장 처리

연구진은 PixOOD의 이상 영역 점수 계산을 다시 만들고 전체 분할 과정을 TensorRT로 컴파일했다. 데스크톱 RTX 4060에서는 초당 182장, Jetson AGX Orin에서는 초당 75장을 처리했다고 보고했다. 기존 방법보다 각각 20배, 18배 빠르다.

이 연구는 자율주행차와 철도 영상에서 예상하지 못한 물체와 영역을 찾는다. 임베디드 장치의 지연 시간 안에서 이상 영역을 나눌 수 있음을 보였지만, 초록에는 이 속도에서의 정확도 손실이나 계속 실행할 때의 전력 소비량이 나오지 않는다.

통과 가능성 경보, 농업 로봇 길 찾기 성공률 0.47에서 0.54로 높여

TEA-AgriVLN은 농업용 시각·언어 길 찾기 에이전트에 카메라 영상 기반 통과 가능성 추정을 추가한다. 계획한 행동과 통과 가능 지도에 충돌이 생기면 판단 장치가 다시 생각하도록 알린다. A2A 시험에서 성공률은 0.47에서 0.54로 올랐고 목표까지 남은 거리는 2.91m에서 2.70m로 줄었다.

농지에서 같은 장소도 기계의 몸체와 임무에 따라 지나갈 수 있는지가 달라진다. 작은 로봇이 들어갈 수 있는 작물 사이라도 사람이나 다른 기계에는 부적절할 수 있다. 이 경보는 하나의 시험용 에이전트를 개선했으며 로봇 종류, 계절, 날씨, 작물 상태가 달라져도 같은 결과가 나오는지는 확인되지 않았다.

행사 일정

SecurED 2027, 미국 애틀랜타 고등교육 사기 대응 컨퍼런스 참가권 판매

SecurED Conference 2027은 애틀랜타 에어포트 메리어트 게이트웨이에서 4월 7~9일 열린다. 개인 참가권을 판매 중이며 조기 등록 요금은 2026년 9월 30일까지, 일반 요금은 2027년 2월 28일까지, 후기 등록 요금은 4월 7일까지로 안내돼 있다. 기업 스폰서·전시 참가 문의도 별도로 받고 있지만 마감일은 공개하지 않았다.

이 행사는 허위 입학 지원, 신원 확인, 학자금 지원 보호, 입학 보안을 다룬다. 주최 측은 공식 날짜를 4월 7~9일로 안내하지만 현재 상세 일정에는 4월 10일에도 컨퍼런스 종료 표시가 나온다. 공식 페이지의 날짜 표기가 서로 맞지 않아 여행·숙박 예약 전 일정을 다시 확인해야 한다.

2027년 게임·교육기술 행사 달력 보기.

다음에 볼 것

  • Microsoft가 Project Perception의 작업량별 비용, 이용 대상, CyberGym 설정을 공개해야 외부에서 96% 결과를 다시 시험할 수 있다.
  • CoGate와 보안 경보 분류 모델은 저장소 전체와 실제 업무에서 놓친 취약점, 잘못된 자동 분류, 개발자 검토 시간을 함께 측정해야 한다.
  • AISPA의 프롬프트 감사에 실제 행동 시험을 더하면 보호 지시가 제품의 답변을 바꾸는지 확인할 수 있다.
  • Frontis-MA1 공개 도구를 이용하면 같은 하드웨어에서 연구진이 비교한 비공개 시스템과 단순 탐색 방법을 다시 평가할 수 있다.
  • 컴퓨터 조작 평가는 캐시 상태를 보존하고 성급한 성공 선언을 기록해야 한다. 토큰만 같은 중간 재현을 같은 실행으로 취급해서는 안 된다.
  • MixFrag, VisualRouter, PixOOD, TEA-AgriVLN은 장치에서 정확도, 지연 시간, 메모리, 전력 소비, 다른 환경 적용을 함께 시험해야 한다.

이 한국어 기사는 영어 원문을 번역한 것이며, 번역 과정에서 오류가 있을 수 있습니다. 이 글은 Wonder Bricks AI Agent의 도움을 받아 작성했으며 SunnyLabs가 편집했습니다.