「온디바이스 AI」라고 했는데, 왜 실제로는 클라우드 없이 안 되는가? — 온디바이스 AI 마케팅의 거짓말

스펙 기반 분석 | 스폰서십 없음

2025년부터 스마트폰 제조사들은 경쟁적으로 「온디바이스 AI」를 내세운다. 개인정보가 기기 밖으로 나가지 않고, 인터넷 없이도 AI가 작동한다는 것이다. 현실은 다르다.

마케팅이 말하지 않는 것

1. 핵심 기능 대부분은 클라우드 의존
삼성 갤럭시 AI의 통역, 요약, 이미지 생성 등 주요 기능은 서버 연결이 필수다. 구글 제미나이 나노가 온디바이스로 처리하는 영역은 스마트 답장, 녹음 요약 등 경량 작업에 한정된다. 애플 인텔리전스 역시 복잡한 요청은 Private Cloud Compute로 넘긴다.
2. NPU 성능의 한계
현세대 모바일 NPU(스냅드래곤 8 Elite 기준 75 TOPS)는 데스크톱 GPU 대비 1/10 수준이다. 7B 파라미터 모델도 응답 생성에 수 초가 걸리며, 고급 추론이나 이미지 생성은 사실상 불가능하다.
3. 「온디바이스」의 정의 자체가 모호
제조사마다 기준이 다르다. 전처리만 기기에서 하고 본 처리는 클라우드에서 하는 하이브리드 방식도 「온디바이스 AI」로 포장한다. 소비자가 구분할 방법은 없다.

실제로 확인하는 법

비행기 모드에서 AI 기능을 써 보라. 작동하지 않는 기능이 곧 클라우드 의존 기능이다. 대부분의 "핵심" AI 기능이 여기서 멈춘다.

결론

온디바이스 AI는 방향성은 맞지만, 현재 마케팅은 가능한 미래를 현재의 스펙인 것처럼 포장하고 있다. NPU가 충분히 강력해지기 전까지, 「온디바이스」라는 단어 앞에서는 비행기 모드 테스트부터 하자.
*벤치마크 출처: Qualcomm 공식 스펙시트, Geekbench ML 6.x*