Nemotron 3.5 ASR 정리 — 로컬 실시간 한국어 음성인식

음성 자막, 회의록, 음성 비서까지 "말을 글로 바꾸는" 기술은 지난 몇 년간 OpenAI의 Whisper가 사실상 표준이었습니다. 그런데 최근 개발자 커뮤니티에서 엔비디아가 공개한 Nemotron 3.5 ASR이 다시 화제입니다. 600M(6억) 파라미터의 가벼운 오픈 웨이트 모델인데도 한국어를 포함한 수십 개 언어를, 그것도 말하는 도중에 실시간으로 받아쓸 수 있다는 점 때문입니다. 이 글에서는 이 모델이 무엇이고 Whisper와 뭐가 다른지, 그리고 내 PC나 홈서버에서 써볼 만한지를 정리합니다.

핵심 요약

Nemotron 3.5 ASR은 엔비디아가 2026년 6월 4일 허깅페이스에 공개한 600M 파라미터 오픈 웨이트 스트리밍 음성인식 모델이다.
하나의 체크포인트로 40개 언어-로케일을 다루며, 한국어(ko-KR)는 바로 쓸 수 있는 "transcription-ready" 등급(FLEURS 기준 WER 약 7.12%)에 포함된다.
Whisper가 30초 단위로 몰아서 처리하는 구조라면, Nemotron은 캐시를 재활용하는 스트리밍 구조라 말하는 중에 부분 자막이 나온다(엔비디아 GPU에서 발화 종료 지연 약 100ms).
CPU·애플 실리콘·엔비디아 GPU 모두에서 돌아갈 만큼 가벼워 노트북 로컬 실행이 가능하고, 오디오가 기기 밖으로 나가지 않는다.
라이선스는 OpenMDW-1.1로 사용료가 없지만, 화자 분리·단어 타임스탬프·전화망(8kHz) 처리 같은 기능은 빠져 있어 용도에 따라 Whisper가 나을 수도 있다.

배경: 음성인식의 "실시간" 문제

음성을 텍스트로 바꾸는 ASR(Automatic Speech Recognition) 분야에서 Whisper large-v3는 오랫동안 기본값이었습니다. 약 15억(1.54B) 파라미터로 99개 언어를 지원하고 정확도도 높습니다. 다만 Whisper는 오디오를 30초 창(window) 단위로 잘라 한 번에 처리하는 구조이고, 자기회귀(autoregressive) 디코더를 쓰기 때문에 말하는 동시에 결과를 뽑아내는 저지연 스트리밍이 까다롭습니다. 짧은 음성도 30초로 패딩해 처리하고, 긴 음성은 30초 조각을 순차적으로 밀어가며 받아씁니다.

그래서 회의 자막, 음성 비서, 통역 프롬프터처럼 "지금 말하는 걸 바로 보여줘야 하는" 용도에서는 Whisper를 그대로 쓰기 어려웠습니다. Nemotron 3.5 ASR은 바로 이 지점을 겨냥합니다.

무엇이 달라졌나

스트리밍에 최적화된 구조

Nemotron 3.5 ASR의 구조는 FastConformer 기반의 캐시 인식(cache-aware) 스트리밍 인코더 + RNN-T 디코더입니다. 핵심은 새로 들어온 오디오 조각을 처리할 때 이전 인코더 문맥을 캐시로 재사용한다는 점입니다. 덕분에 전체 문장이 끝나기를 기다리지 않고 말하는 중에 부분 자막이 흘러나옵니다. 공개 자료 기준 엔비디아 GPU에서 발화 종료 후 지연은 약 100ms 수준입니다.

처리 단위(chunk)는 80ms, 160ms, 320ms, 560ms, 1120ms 중에서 고를 수 있습니다. 다만 주의할 점은 "80ms"는 모델이 받는 오디오 조각의 크기이지, 사용자가 체감하는 전체 응답 시간이 아니라는 것입니다. 실제 서비스에서는 마이크 캡처, 네트워크, 음성 구간 검출(VAD), 발화 종료 판정 같은 단계가 더 붙습니다.

한 모델로 40개 언어, 한국어 포함

가장 눈에 띄는 변화는 하나의 600M 체크포인트가 40개 언어-로케일을 모두 담는다는 점입니다. 언어는 세 등급으로 나뉩니다.

등급	개수	의미
Transcription-ready	19	바로 실전 투입 가능 (영어·스페인어·독일어·한국어 등)
Broad-coverage	13	어느 정도 쓸 만하나 검증 필요
Adaptation-ready	8	파인튜닝해야 실용 수준

한국어(ko-KR)는 가장 상위인 transcription-ready 등급에 속하고, FLEURS 벤치마크에서 1.12초 조각 기준 WER(단어 오류율) 약 7.12%를 기록했습니다. 참고로 같은 조건에서 스페인어 4.11%, 이탈리아어 4.25%, 영어 7.91%, 프랑스어 9.03% 수준입니다. 전반적으로 transcription-ready 언어들은 80ms 조각·언어 지정 조건에서 평균 WER 약 10.38%, broad-coverage는 약 25.86%로, 등급 차이가 실제 정확도로 이어진다는 점을 기억해 두면 좋습니다.

언어 선택은 target_lang 프롬프트로 지정하거나 auto로 자동 감지할 수 있습니다.

실전: 내 PC에서 써볼 만한가

로컬 실행과 비용

Nemotron 3.5 ASR은 CPU, 애플 실리콘(MPS), 엔비디아 GPU에서 모두 구동되고, 모델이 600M로 작아 노트북에서도 돌릴 수 있을 만큼 가볍다는 점이 강조됩니다. 오디오가 기기 밖으로 나가지 않으니 프라이버시에 유리하고, 클라우드 음성 API처럼 분당 요금이 붙지도 않습니다. 개인 자막 도구나 홈랩 음성 메모 같은 용도라면 이 "로컬에서 공짜로" 조합이 매력적입니다. (클라우드 AI 서비스 비용 구조가 궁금하다면 AI API 가격 전쟁 2026 글도 참고하세요.)

지연과 정확도를 바꾸는 다이얼

이 모델은 지연 ↔ 정확도를 바꾸는 조절 손잡이를 제공합니다. att_context_size 값으로 미래 문맥을 얼마나 볼지 정하는데, 공개 가이드 기준 아래처럼 씁니다.

# 빠름(지연 최소) → 정확(지연 증가)
att_context_size = [56, 0]    # 가장 빠름
att_context_size = [56, 13]   # 가장 정확

실시간 자막처럼 반응성이 중요하면 작은 값을, 회의록처럼 정확도가 우선이면 큰 값을 선택하는 식입니다.

대규모로 쓸 때: GPU와 동시 처리

여러 사용자를 동시에 받는 서비스로 키우려면 이야기가 달라집니다. 프로덕션 리뷰 기준 컴퓨트 능력 8.0 이상 엔비디아 GPU, 최소 16GB VRAM이 권장됩니다. 엔비디아 자체 벤치마크로는 H100 한 장에서 80ms 조각 기준 동시 240스트림을 처리해, 이전 Parakeet(14스트림) 대비 17배가량으로 제시됩니다(벤더 벤치마크이므로 그대로 받아들이기보다 참고치로 보는 게 안전합니다).

Whisper와 어떻게 다른가

항목	Nemotron 3.5 ASR	Whisper large-v3
파라미터	약 600M	약 1.54B
처리 방식	캐시 인식 스트리밍(실시간)	30초 창 배치
실시간 자막	강점	어려움
언어	40 로케일(한국어 상위 등급)	99개
생태계·도구	신생	성숙·풍부
라이선스	OpenMDW-1.1	MIT

요약하면 실시간·저지연 음성 에이전트에는 Nemotron, 사후 전사(녹음 파일 받아쓰기)·풍부한 생태계가 필요하면 Whisper가 무난합니다.

엔비디아 Nemotron 3.5 ASR, 로컬 실시간 음성인식 정리