오늘 GeekNews 최신 AI 기술 글 가운데 가장 볼 만한 프로젝트입니다. GeekNews에는 약 23시간 전 등록됐고, Qwen 공식 저장소와 technical report를 직접 확인했습니다. (GeekNews)
Qwen-Drive-1.0의 핵심은 자율주행 AI에서 분리돼 있던 기능들을 하나의 vision-language foundation model 주변에 묶는 것입니다.
기반 모델은 Qwen3.5-4B이고 여기에:
Qwen3.5-4B VLM
├ General / Driving VQA
├ BEV Perception Head
│ ├ 3D Object Detection
│ ├ Occupancy
│ └ Map Segmentation
└ Planning Expert
└ Future Ego Trajectory
를 연결합니다. 기존 VLM decoder는 그대로 유지하면서 perception과 planning module을 추가하는 구조입니다. (GitHub)
데이터 처리에서도 여러 자율주행 데이터셋의 perception label·VQA·trajectory를 하나의 공통 representation으로 통일했습니다. 즉 “차선을 인식하는 모델”, “질문에 답하는 모델”, “경로를 만드는 모델”을 각각 구축하기보다 하나의 shared visual representation을 여러 task가 사용하는 방식입니다. (GitHub)
Qwen이 공개한 자체 평가에서는 NAVSIM v1.1 PDMS가 SFT 88.2 → RL 90.7, LingoQA는 77.8, WaymoQA 전체는 74.5 등을 기록했습니다. 비교 실험은 프로젝트가 직접 수행한 결과이므로 독립 benchmark와 같은 수준으로 받아들이는 것은 피하는 게 좋습니다. (GitHub)
모델과 코드는 Apache 2.0으로 공개됐고, VLM 본체가 약 9.1GB, planning module이 각각 약 2.1GB이며 실행에는 24GB 이상 GPU 메모리를 권장합니다. (GitHub)
왜 중요한가
Physical AI도 LLM과 같은 방향으로 가고 있습니다.
과거:
Detection model
Planning model
Language model
현재:
Shared Foundation Representation
↓
여러 Task Head
입니다.
로봇·자동차에서 multimodal foundation model이 단순 “설명용 AI”가 아니라 실제 control/planning system의 일부가 되고 있다는 의미입니다.
실무 시사점
Physical AI를 설계한다면 perception·reasoning·planning을 완전히 별도 모델로만 볼 필요가 없습니다.
다만 안전이 중요한 시스템에서는 여전히:
Foundation model → deterministic safety layer → actuator
같은 별도 제약계층이 필요합니다. 언어모델이 생성한 trajectory를 곧바로 차량 제어기로 보내는 구조와는 구분해야 합니다.