Нейросети «Яндекс.Браузера» начали переводить видео с китайского языка

Нейросети «Яндекс.Браузера» научились переводить видео с китайского языка и автоматически накладывать русскую озвучку, сообщил представитель «Яндекса». Технология уже работает на YouTube, позднее будет доступна поддержка популярной китайской видеоплатформы Bilibili.

Нейросети «Яндекс.Браузера» начали переводить видео с китайского языка Анастасия Марьина

Сообщается, что для обучения нейросети разработчики «Яндекса» с нуля собрали собственный датасет, так как готовых решений не было. С помощью специального алгоритма они обработали 1,5 млн видео и выбрали 100 тыс. с качественными субтитрами на севернокитайском языке, которым владеет более 1 млрд человек.

Нейросети «Браузера» выучили тысячи иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 тыс. токенов.

Для сравнения: пять европейских языков, которые «Браузер» научился переводить ранее, уместились в библиотеку на 5 тыс. токенов. Один токен равен одному слогу или регулярно использующемуся сочетанию двух слогов.

Одновременно с этим нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с исходной речью и улучшить его качество.

За один месяц «Браузер» также изучил четыре тона китайского языка, определяющие смысл сказанного.

«Яндекс.Браузер» сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно нажать на кнопку «Перевести видео».

• Ранее «Яндекс» добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций для некоторых YouTube-каналов, в том числе TED, Google, Apple, SpaceX.
• В марте 2022 года в «Яндекс Браузере» появились интерактивные субтитры к видео на английском, французском, немецком и испанском языках. Компания также добавила опцию подсветки по словам — кликнув на неизвестное слово, пользователь получит мгновенный перевод. 

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!