화면을 읽는 Alibaba AI, 실제 스마트폰에서 92% 달성하고 내 하드웨어에서도 실행 가능

알리바바(Alibaba)의 Qwen-UI-Agent는 앱에 대한 특별한 접근 권한이 필요 없다. 화면을 읽고, 그 위에 무엇이 있는지 식별한 뒤 클릭한다. 메시징부터 문서 편집까지, 오직 시각적 인지만으로 작업을 처리한다. 모델 가중치(MAI-UI-2B 및 MAI-UI-8B)는 이번 주 허깅 페이스(Hugging Face)에 공개돼, GPU만 있으면 모든 개발자가 이 시스템을 쓸 수 있게 됐다.

벤치마크 결과는 구체적이다. 모바일 에이전트 표준 평가인 MobileWorld에서 Qwen-UI-Agent는 82.1%를 기록, GPT-5.6을 12%포인트, Claude Opus 4.8을 14.6%포인트 차이로 앞질렀다. 그 격차는 무시할 수준이 아니다. 경쟁하는 서방권 시스템들은 같은 테스트에서 수개월째 70% 중후반대에 머물러 있다. 실제 기기 테스트 — 에뮬레이터가 아닌 실제 안드로이드 단말기에서 작업을 수행한 경우 — 에서는 점수가 92.2%까지 올라갔다. 보다 포괄적인 실제 폰 평가인 AndroidDaily에서는 97.5%를 기록했다. 데스크톱 컴퓨터의 경우 OSWorld-Verified로 측정한 결과 79.5%로 GPT-5.5와 Gemini 3.1 Pro를 모두 앞섰다.

알리바바는 150개 이상의 개별 애플리케이션을 실행하는 100대 이상의 실제 모바일 기기에서 데이터를 수집해 모델을 훈련시킨 뒤, 자체 벤치마크인 MobileWorld-Real을 구축해 실험실 밖 성능을 400개 이상의 과제로 검증했다. 데스크톱 과제의 약 40%는 시각적 클릭과 함께 배치 명령줄 작업을 포함했는데, 이는 데모가 연출되는 방식이 아니라 실제 컴퓨팅이 작동하는 방식을 반영하기 위한 설계 선택이다.

워크플로우에는 안전장치가 내장돼 있다. 모델은 불법 또는 고위험으로 분류된 작업은 거부하며, 결제, 데이터 삭제, 개인정보 권한 부여 등 민감한 작업에서는 사용자의 명시적 확인을 요청한 후에만 진행한다. 시스템은 약 10,000개의 동시 시뮬레이션 환경에서 훈련된 강화학습을 사용해 100단계를 넘는 시퀀스를 처리한다.

벤치마크 점수만으로는 더 까다로운 질문에 답할 수 없다. Qwen-UI-Agent는 구조화된 작업에 대해 평가됐지만, 실제 휴대폰 사용은 중단이 잦고 알림이 가득하며, 경고 없이 인터페이스를 업데이트하는 앱들로 가득하다. 화면 읽기 AI는 또한 알리바바의 기술 보고서가 다루지 않는 개인정보 문제를 제기한다. 화면의 모든 픽셀을 처리하는 모델은 은행 정보, 개인 메시지, 대부분의 사용자가 제3자 시스템에 넘길 생각조차 해본 적 없는 데이터에 접근할 수 있다. 제3자 배포에서 해당 데이터가 어떻게 처리되는지에 대한 지침은 없다.

이 프로젝트는 깃허브(GitHub)의 Tongyi-MAI/MAI-UI에서 호스팅되며, 모델 가중치는 현재 허깅 페이스에 올라와 있다. 상용 API나 배포 가격은 아직 발표되지 않았다. Qwen-UI-Agent의 다음 시험은 벤치마크가 아니라, 오픈 가중치를 기반으로 구축하는 개발자들이 알리바바가 실험실에서 기록한 성능을 실제 운영 환경에서 재현할 수 있느냐는 점이다.

태그: GPT-5.6, AI 에이전트, 오픈소스 AI, Alibaba, Qwen, Qwen-UI-Agent