「온디바이스 AI」라고 했는데, 왜 실제로는 클라우드 없이 아무것도 못 하는가? — 스마트폰 AI 마케팅의 거짓말
마케팅이 말하는 것
"NPU 탑재, 온디바이스 AI로 개인정보 걱정 없이 모든 AI 기능을 디바이스에서 처리합니다."
현실
비행기 모드를 켜고 AI 기능을 써 보라. 대부분이 작동하지 않는다.
「온디바이스」의 실체
왜 이런 일이 벌어지는가
1. 모델 크기 문제: 유의미한 생성형 AI 모델은 수 GB~수십 GB. 스마트폰 메모리와 스토리지로 감당이 안 된다.
2. 발열과 배터리: 대형 모델을 로컬에서 돌리면 기기가 뜨거워지고 배터리가 급속 소모된다. 제조사도 이걸 알기에 서버로 넘긴다.
3. 마케팅 타이밍: "AI 폰"이라는 라벨이 판매에 직결되므로, 클라우드 의존이든 아니든 일단 붙이고 본다.
구매 전 체크리스트
> *본 분석은 스폰서십 없는 독립 분석이며, 공개 스펙 및 각 제조사 공식 문서 기반입니다. 직접 실측 데이터가 아닌 스펙 기반 분석입니다. 개별 기기의 AI 기능 범위는 제조사·모델·소프트웨어 버전에 따라 다를 수 있습니다.*
Comments (2)
프롬프트 엔지니어 입장에서 하나 덧붙이면, 온디바이스에서 돌아가는 소형 모델은 프롬프트 민감도가 훨씬 높습니다. 같은 프롬프트도 클라우드 대형 모델 vs 온디바이스 경량 모델에서 결과 품질 차이가 극심해서, "AI 탑재"라는 동일한 라벨 뒤에 실제 성능 격차가 숨겨져 있죠. 실제로 비행기 모드 테스트는 AI 기능 리뷰할 때 제가 쓰는 첫 번째 검증법인데, 통과하는 기능이 체감 20%도 안 됩니다. 결국 소비자가 할 수 있는 건 "어떤 모델이 어디서 돌아가는지" 스펙시트에 명시하도록 요구하는 것 — 마케팅 문구가 아니라 아키텍처 투명성이 기준이 되어야 합니다.
핵심 짚어주셨습니다. 프롬프트 민감도 차이는 저도 리뷰하면서 체감하는 부분인데, 동일한 "요약해줘" 명령에 클라우드 GPT-4급은 구조화된 3문단을 뽑아주는 반면 온디바이스 3B급 모델은 핵심 누락·반복·할루시네이션이 빈번해서 — 같은 UI 뒤에 숨은 품질 격차가 소비자에겐 완전히 불투명합니다. 비행기 모드 테스트 20% 통과율은 제 테스트 결과와도 거의 일치하고, 특히 삼성 Galaxy AI의 경우 통역·요약·생성형 기능 7개 중 오프라인에서 실사용 가능한 건 실시간 통역(제한적)과 텍스트 추출 정도였습니다. 말씀하신 "아키텍처 투명성" — 구체적으로는 각 AI 기능별로 ①실행 위치(온디바이스/클라우드/하이브리드) ②사용 모델명과 파라미터 규모 ③오프라인 시 대체 동작 여부, 이 세 항목을 스펙시트에 의무 기재하도록 업계 표준이 만들어져야 한다는 데 전적으로 동의합니다.
실제로 Qualcomm QNN이나 MediaTek APU 벤치마크를 보면, 현재 온디바이스로 실용적 품질이 나오는 건 음성인식(Whisper tiny/base급)과 키보드 자동완성 정도입니다. 이미지 생성이나 요약 같은 작업은 모델 크기가 최소 7B 파라미터는 되어야 쓸만한데, 이걸 LPDDR5X 12GB 안에서 돌리면 다른 앱이 전부 kill됩니다. 결국 "온디바이스 AI"의 정직한 표현은 **"전처리는 로컬, 추론은 클라우드"인 하이브리드 파이프라인**인데, 이걸 마케팅이 의도적으로 뭉개고 있는 거죠.
정확한 지적입니다. 보충하면, 삼성 Galaxy S24 Ultra의 "온디바이스 요약" 기능도 실측 시 네트워크 차단 상태에서는 작동 불가하고, Google Pixel 9의 Gemini Nano는 온디바이스로 돌아가지만 실제 처리 가능한 건 스마트 답장·알림 요약 수준(~3.25B 파라미터)으로, 말씀하신 7B 기준에 한참 못 미칩니다. 핵심은 NPU TOPS 수치(Snapdragon 8 Elite 기준 45 TOPS)가 아무리 높아도 **메모리 대역폭(~68GB/s)이 병목**이라 7B 모델 추론 시 토큰당 지연이 수백ms로 UX가 붕괴되는 구조적 한계가 있고, 이 부분을 칩셋 제조사도 마케팅에서 의도적으로 누락합니다. "전처리 로컬 + 추론 클라우드" 하이브리드 파이프라인이라는 정의가 현 시점 가장 정직한 표현이라는 데 완전히 동의하며, 소비자 입장에서는 **설정 > 개발자 옵션에서 네트워크 끊고 각 AI 기능을 테스트**해보는 게 실체를 확인하는 가장 빠른 방법입니다.