온디바이스 AI, 클라우드 없이 로컬에서 도는 소형 모델 트렌드 2026

Copilot+ PC 인증을 받으려면 노트북에 최소 40 TOPS, 그러니까 초당 40조 번 연산을 처리하는 NPU가 들어 있어야 합니다. 불과 몇 년 전만 해도 거대 언어모델은 데이터센터의 GPU 클러스터에서만 돌아가는 게 당연했는데, 이제는 그 추론 작업 상당 부분이 손바닥 안 기기로 옮겨오고 있어요. 애플은 아이폰 안에 30억 개 파라미터짜리 모델을 심었고, 구글과 삼성은 이 흐름에 맞춰 자사 칩과 소프트웨어를 다시 짜고 있습니다. 그렇다면 클라우드 없이 로컬 기기에서 도는 온디바이스 AI와 소형 모델, 2026년 현재 어디까지 와 있을까요?

온디바이스 AI는 정확히 무엇을 가리키나?

온디바이스 AI는 질문이나 명령을 외부 서버로 보내지 않고 스마트폰, 노트북, 태블릿에 내장된 NPU(신경망 처리장치)가 직접 추론까지 수행하는 방식을 뜻해요. 이 방식이 주목받는 이유는 클라우드 AI가 안고 있던 세 가지 문제, 즉 개인정보가 서버로 전송되는 데 따른 유출 우려, 네트워크 왕복 시간 때문에 생기는 응답 지연, 그리고 데이터센터를 운영하는 데 드는 막대한 비용을 구조적으로 피해 갈 수 있기 때문이에요. 삼성SDS가 정리한 산업 인사이트 리포트에서도 AI 반도체(NPU)와 소형언어모델(sLLM) 기술의 주도권 경쟁이 이 흐름의 핵심 변수로 꼽혔습니다. 클라우드에 갔다 오는 왕복이 사라진다는 것, 그게 온디바이스 AI가 던지는 가장 단순하면서도 강력한 제안이에요.

어떤 소형 모델들이 실제로 기기 안에서 돌아가고 있나?

2026년 현재 온디바이스 진영을 이끄는 소형 모델은 애플, 구글, 마이크로소프트, 메타, 오픈AI가 각자 내놓은 라인업으로 갈려요. 애플은 A19 Pro 칩 위에서 약 30억(3B) 파라미터짜리 ‘컨트롤러’ 모델을 로컬로 구동해 민감한 사용자 데이터를 클라우드로 보내지 않고도 복잡한 요청을 처리하도록 설계했고, WWDC에서 공개한 Foundation Models 프레임워크를 통해 이 온디바이스 모델을 서드파티 개발자에게도 Swift로 직접 노출하고 있습니다. 구글은 Gemini Nano를 안드로이드 ML Kit GenAI API로 제공하는데, Pixel 9 시리즈 이후 기종과 삼성 갤럭시 S25+, 그밖에 스냅드래곤·디멘시티·구글 텐서 칩을 탑재한 기기에서 접근할 수 있어요.

오픈소스 진영도 만만치 않습니다. 마이크로소프트의 Phi-4 Mini(38억 파라미터, 2025년 2월 공개), 구글의 Gemma 3(1B·4B 버전), 알리바바의 Qwen 3.5 소형 버전이 온디바이스에서 실용적인 품질을 내는 모델로 꼽히고, 오픈AI 역시 2026년 3월 코딩과 도구 호출, 멀티모달 추론에 최적화한 경량 버전인 GPT-5.4 mini와 nano를 선보였습니다. 결론부터 말하면, 지금은 빅테크 다섯 곳이 동시에 온디바이스 소형 모델 경쟁에 뛰어든 상태예요.

그런데 이렇게 작은 모델이 어떻게 스마트폰 안에서 돌아갈 수 있나?

놀랍게도 답은 모델을 더 똑똑하게 만드는 게 아니라 모델을 통째로 압축하는 기술에 있어요. 오픈소스 모델은 보통 16비트(FP16) 정밀도로 배포되는데, 이 상태에서는 파라미터 70억(7B) 개짜리 모델 하나에만 14GB 이상의 메모리가 필요해 웬만한 스마트폰으로는 감당이 안 돼요. 양자화(Quantization)는 이 16비트 가중치를 4비트로 줄이는 압축 과정으로, 결과적으로 필요한 메모리를 원래의 약 25% 수준까지 낮춰줍니다. 이렇게 압축된 모델은 보통 GGUF라는 파일 형식으로 배포되는데, 모델을 효율적으로 저장하고 불러오고 실행하기 위해 설계된 바이너리 포맷이에요.

하드웨어 쪽에서는 마이크로소프트의 Copilot+ PC 인증 기준이 눈여겨볼 만해요. 40 TOPS(초당 40조 회 연산) 이상을 처리하는 NPU와 16GB 이상 RAM, 256GB 이상 저장공간을 요구하는데, NPU는 상시 구동되는 자막 번역이나 실시간 화면 보정 같은 작은 온디바이스 기능을 배터리 소모 없이 처리하는 데 강점이 있지, 70B급 대형 모델을 빠르게 돌리는 용도는 아니라는 점도 함께 알아두면 좋아요.

온디바이스 AI, 스마트폰 시장에서는 실제로 체감되고 있나?

숫자로 보면 이미 체감 단계에 들어섰어요. 실사용자 조사에서 ‘대기 시간 없이 즉각 작동한다’는 응답이 삼성 갤럭시 AI는 36%, 애플 인텔리전스는 28%로 나타나 갤럭시 AI가 8%포인트 앞섰습니다. 시장 규모도 가파르게 커지고 있는데, 생성형 AI 스마트폰 출하량은 전년 대비 73.1% 늘었고, 2028년까지 연평균성장률(CAGR)이 78.4%에 달해 2028년에는 출하량이 9억 1,200만 대까지 늘어날 것으로 전망됩니다. 스마트폰을 고를 때 카메라나 배터리만큼이나 ‘온디바이스 AI가 얼마나 빠르게 반응하는가’가 실제 구매 기준으로 자리 잡았다는 뜻이에요.

그래서 일반 개발자도 이걸 로컬에서 직접 돌릴 수 있나?

그렇습니다, 이미 개발자 커뮤니티에서는 로컬 LLM 실행이 특별한 일이 아니에요. Ollama는 추론 엔진인 llama.cpp의 ggml 위에 얹힌 사용자 친화적 래퍼로, 복잡한 빌드 옵션이나 양자화 설정을 몰라도 명령 한 줄로 GGUF 형식 모델을 내려받아 실행할 수 있게 해줍니다. llama.cpp를 직접 다루면 빌드 플래그나 런타임 설정을 더 세밀하게 제어할 수 있는 대신 그만큼 손이 많이 가는데, 이런 트레이드오프 때문에 실제로는 두 도구를 상황에 따라 나눠 쓰는 경우가 많아요. 이런 로컬 실행 환경이 자리 잡으면서 개인 개발자나 스타트업도 클라우드 API 비용 없이 자체 서비스에 소형 모델을 붙이는 사례가 늘고 있고, 이는 오픈소스 가중치 모델 경쟁 흐름과도 맞물려 있어요.

결국 온디바이스 AI는 어디로 향하고 있나?

40 TOPS NPU 인증 기준 하나만 봐도, 지금 하드웨어 업계 전체가 클라우드가 아니라 손안의 기기를 기준으로 다시 설계되고 있다는 걸 알 수 있어요. 애플의 3B 모델과 구글의 Gemini Nano는 각자 다른 방식으로 같은 목표, 즉 서버 왕복 없이 즉각 반응하는 AI를 향해 가고 있고, 양자화 기술은 그 목표를 실제로 가능하게 만든 숨은 조력자였습니다. 갤럭시 AI가 애플 인텔리전스보다 8%포인트 앞선 체감 속도로 소비자 선택을 받고 있다는 사실, 그리고 생성형 AI 스마트폰이 2028년 9억 대를 넘어설 거라는 전망은 이 경쟁이 이제 막 초반전에 들어섰다는 신호예요. 클라우드 없이 로컬에서 도는 온디바이스 AI가 앞으로 어디까지 갈지는, 결국 이 소형 모델들이 얼마나 더 작아지고 얼마나 더 똑똑해지는지에 달려 있는 셈이에요.

자주 묻는 질문

Q1. 온디바이스 AI는 클라우드 AI와 정확히 무엇이 다른가요?

온디바이스 AI는 질문이나 데이터를 서버로 보내지 않고 스마트폰이나 PC에 내장된 NPU에서 직접 추론을 수행하는 방식이에요. 인터넷 연결이 끊겨도 동작하고, 개인정보가 기기 밖으로 나가지 않으며, 응답 속도가 네트워크 지연 없이 즉각적이라는 점이 클라우드 방식과 가장 크게 갈리는 부분이에요.

Q2. 아이폰과 갤럭시 중 온디바이스 AI 체감 성능은 어느 쪽이 나은가요?

실사용 조사에서는 삼성 갤럭시 AI가 애플 인텔리전스를 앞서는 것으로 나타났어요. '대기 시간 없이 즉각 작동한다'는 응답이 갤럭시 AI는 36%, 애플 인텔리전스는 28%로 8%포인트 차이가 났습니다.

Q3. Copilot+ PC로 인증받으려면 어떤 하드웨어가 필요한가요?

마이크로소프트의 Copilot+ 인증 기준은 40 TOPS(초당 40조 회 연산) 이상을 처리하는 NPU와 16GB 이상의 RAM, 256GB 이상의 저장공간이에요. 다만 이 기준을 충족했다고 해서 대형 모델을 빠르게 돌릴 수 있다는 뜻은 아니고, 작고 상시 구동되는 온디바이스 기능을 배터리 소모 없이 처리하는 데 최적화된 수치예요.

Q4. 이렇게 작은 모델이 어떻게 스마트폰 안에서 돌아갈 수 있나요?

양자화(Quantization)라는 압축 기법 덕분이에요. 원래 16비트(FP16) 정밀도로 배포되는 모델의 가중치를 4비트로 줄이면 필요한 메모리가 원래의 약 25% 수준으로 줄어들어, 고성능 GPU 없이도 스마트폰이나 노트북에서 실행할 수 있게 됩니다.

Q5. 일반 개발자가 자기 PC에서 로컬 LLM을 직접 돌리려면 뭘 써야 하나요?

Ollama나 LM Studio 같은 도구를 쓰면 돼요. Ollama는 추론 엔진인 llama.cpp의 ggml 위에 올라간 사용자 친화적 래퍼로, GGUF 형식으로 양자화된 모델을 명령 한 줄로 내려받아 실행할 수 있게 해줍니다.

Q6. 온디바이스 AI 탑재 스마트폰 시장은 앞으로 얼마나 커지나요?

빠르게 커지고 있어요. 업계 전망에 따르면 생성형 AI 스마트폰 출하량은 전년 대비 73.1% 늘었고, 2028년까지 연평균성장률(CAGR) 78.4%를 유지하며 2028년에는 9억 1,200만 대까지 출하량이 늘어날 것으로 예상됩니다.

kuro editor 자료 조사하고 분석하고 글을 읽기 쉽게 작성합니다 ✓ 공식 발표·리포트 기반 분석

프로필