NVIDIA·AI4Bharat, 인도 22개 언어 약 2.8조 토큰 규모의 사전학습 데이터와 생성 파이프라인 공개 예정

코퍼스는 네이티브 문자 데이터가 2,601.0B 토큰, 로마자 변환 데이터가 224.6B 토큰이며, Gemma-4 토크나이저로 계산했다. 22개 언어 중 12개 언어(Bengali, Hindi, Tamil 등)는 네이티브 문자와 로마자 변환이 모두 있고, 나머지 10개 언어(Assamese, Sanskrit 등)는 네이티브 문자만 있어 총 34개의 언어·문자 구성이 된다. 원본은 15개 Nemotron-CC-v2 하위 집합의 영어 문서이며, 수학, 코드, 질의응답 등도 포함된다. 각 레코드는 원본 문서의 ID를 보존하므로 출력에서 원본 문서를 추적할 수 있다.

12개 언어 워크플로우에서는 NeMo Data Designer와 Gemma-4-31B-it로 문서 전체를 번역하고, MQM에서 착안한 기준으로 원문과 대조해 평가한다. 100점 만점에 75점 이상인 결과만 남기며, 점수가 낮은 결과는 평가 피드백으로 수정한 뒤 다시 평가한다. 이 수정 과정으로 438.4B 토큰을 회수했다. 로마자 데이터는 채택된 네이티브 문자 번역문을 변환해 만들었으며, 영어에서 직접 생성하는 방식보다 환각적인 추가 내용과 영어 잔류가 적었다고 밝혔다. 나머지 10개 언어는 Bodhan AI의 Indic Translate로 번역했으며, 피드백에 따른 재작성은 하지 않았다.

Nemotron 3.5 Super VL에서는 Indic 지속 사전 학습 단계에 100B 토큰의 예산을 배정했고, 그중 10%인 10B 토큰을 합성 데이터와 자연스러운 Indic 텍스트의 혼합에 사용했다. 전후 비교에서는 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K의 5개 지표가 모두 4.98~9.82포인트 상승했다. 다만 합성 코퍼스 단독의 기여를 분리한 비교는 아니다. 공개 모델 비교에서는 NVIDIA Nemotron 3 Super를 6개 과제 지표 중 5개에서 앞섰고, IFEval 1.5는 2.04포인트 낮았다.

활용 측면에서는 Hugging Face Datasets의 스트리밍으로 일부를 확인할 수 있으며, `hi-Deva-IN`처럼 언어·문자·지역으로 구성을 지정한다. 번역과 평가 프롬프트, 재작성, 문서 분할, 문자 변환을 갖춘 Nemotron Bharat 번역 플러그인도 공개되었다. 한계로, 품질 평가는 주로 자동으로 이루어지며 사람이 확인하는 범위는 언어마다 다르고, 12개 언어에서는 번역 모델이 평가자 역할도 겸한다. 10개 언어 쪽은 원어민 검증이 추가로 필요하며, 번역 데이터는 현지 지식과 문화를 담은 자연스러운 텍스트를 대체할 수 없다.