Nvidia пусна с отворен код Nemotron 3.5 Transcribe: Обединяване на транскрипция, превод и разпознаване на глас
Източник: TechCrunch / Nvidia
Лидерът в полупроводниковата индустрия Nvidia пусна с напълно отворен код за комерсиална употреба модела Nemotron 3.5 Transcribe – новаторска невронна архитектура за гласов изкуствен интелект (speech AI), която обединява в единен модел разпознаването на реч, автоматичния многоезичен превод и идентификацията на отделни събеседници (диаризация) [1]. С този ход компанията отправя директно предизвикателство към доминацията на затворените аудио API и модела Whisper на OpenAI.
Единна акустична архитектура без междинно забавяне
Традиционните системи за обработка на разговори обикновено разчитат на тромав конвейер от три отделни модела: един софтуер засича кога говори нов човек, втори транскрибира думите, а трети превежда текста. Този каскаден подход натрупва латентност и умножава грешките.
Nemotron 3.5 Transcribe решава проблема чрез хибриден акустичен енкодер FastConformer, обучен върху стотици хиляди часове мултиезично аудио. Моделът директно генерира структуриран текст с маркери за време, индикация за идентичността на говорителя и симултанен превод на целевия език. При това параметрите му са оптимизирани да се вместват в под 4 GB памет, което позволява изпълнението му на стандартни потребителски видеокарти GeForce RTX и вградени платформи Nvidia Jetson.
Силата на отворените тегла за бизнеса и суверенитета
Пускането на модела под лиценз с отворени тегла (open weights) има огромно стратегическо значение за индустрията. Досега банки, болници и правителствени структури се въздържаха от използване на най-добрите облачни модели за транскрипция поради страх от изтичане на поверителни разговори към чужди сървъри.
С Nemotron организациите могат да разположат авангардно аудио разпознаване изцяло вътре в защитените си частни центрове за данни. Моделът демонстрира изключителна устойчивост на акустичен шум, силни диалекти и фонова музика, постигайки процент на грешка в думите (WER) под 3.2% в международните тестове, превъзхождайки Whisper Large v3.
Преходът към речево-центриран компютинг и реално време
Дебютът на Nemotron 3.5 Transcribe бележи важна крачка в еволюцията на компютърните интерфейси от клавиатура и екран към директен гласов диалог. Когато прецизната транскрипция и диаризацията станат безплатни и достъпни за локално вграждане, всеки софтуер – от медицински картони до операционни системи за автомобили – ще може да поддържа непрекъснато пространствено аудио слушане без компромис с поверителността.
Освен това ходът на Nvidia е класически пример за защита на собствения хардуерен бизнес: чрез предоставяне на най-добрите в класа си софтуерни модели с отворен код, оптимизирани ексклузивно за нейния софтуерен стек TensorRT-LLM, компанията гарантира, че разработчиците по света ще продължат да купуват нейните графични ускорители за изпълнение на аудио натоварвания.
Четири функционални стълба на отворения аудио модел на Nvidia.