Как перевести с китайского на телевизоре

Иероглифы, тоны и другие особенности китайского не так-то просто освоить тем, кто раньше сталкивался только с европейскими языками. При этом китайская часть интернета содержит много уникального контента, который за пределами страны мало кому доступен из-за языкового барьера. В последние несколько месяцев мы работали над тем, чтобы его преодолеть: учили наш браузер переводить видео с китайского. Функция уже работает на YouTube, а чуть позже появится и на популярном китайском видеохостинге Bilibili.

Сегодня мы расскажем о том, как наша технология справилась со сложностями восточного языка и за несколько месяцев прошла путь, на который у человека могли бы уйти годы.

С чего мы начинали

Есть множество региональных языков и групп диалектов: кантонский, хакка, минь и другие. Они сильно отличаются, и их носители даже не всегда понимают друг друга. Самый распространенный вариант — севернокитайский язык. На Западе он известен как мандаринский. Им владеет почти миллиард человек, и это больше 70% населения Китая.

Как настроить телевизор Xiaomi Mi если он на китайском языке

Поэтому для перевода видео наша команда выбрала именно его. Но выбрать — это просто. Куда сложнее создать нейросеть, которая будет понимать этот язык.

Что мы сделали

С севернокитайским (дальше для вашего удобства мы будем называть его просто китайским) главной проблемой стал сбор качественных примеров для тренировки модели распознавания речи.

Китайский язык очень сложный. Мы сделали для него перевод видео

Привет, меня зовут Артур Яковлев, я делаю голосовой перевод видео в Яндекс Браузере. Примерно с лета я работаю над тем, чтобы научить Браузер переводить с китайского на русский. Почему мы посчитали это важной и интересной задачей? Дело в том, что китайская часть интернета содержит значительное количество видеоконтента, который за пределами страны почти не смотрят.

Множество диалектов, влияющие на смысл тоны и грамматические нюансы — ряд особенностей китайского усложняют разработку распознавания речи. Сейчас я коротко расскажу читателям Хабра о трудностях языка и объясню, как мы их преодолели.

С чего мы начинали

Есть множество региональных языков и групп диалектов: кантонский, хакка, минь и другие. Они сильно отличаются, и их носители даже не всегда понимают друг друга. Самый распространенный вариант — севернокитайский язык. На Западе он известен как мандаринский. Им владеет почти миллиард человек, и это больше 70% населения Китая.

Поэтому для перевода видео наша команда выбрала именно его. В нём примерно 400 основных слогов — и это без учёта тонов. Кстати, слоги не равны иероглифам, но об этом чуть позже.

Что мы сделали: пайплайн обучения мы отработали на множестве языков. Он отлажен для случаев, когда есть готовый качественный датасет. Для китайского готового датасета не было, так что пришлось собирать его.

Самый сложный этап — найти много размеченных данных с текстами и привести их в нужный вид. В случае китайского было важно разделять диалекты и проверять валидность данных. Вот как мы построили работу:

• Поскольку мы хотим переводить видео, то и учиться распознавать речь нужно на видео. Поэтому взяли несколько тысяч часов видео, для которых есть китайские субтитры.
• Отфильтровали по языку. Часто китайские субтитры можно встретить для роликов на английском языке. Используем классификатор, который знает несколько китайских диалектов.
• Достали из видео все куски с голосом на основе субтитров в VTT-формате, который содержит фразы со временем их начала и конца. Текст в субтитрах сам по себе довольно шумный – там могут быть цифры, даты, символы процентов и так далее. Данные нужно нормализовывать. Для этого использовали готовую библиотеку.
• Нарезали видео на чанки в соответствии с субтитрами.
• Отфильтровали видео по субтитрам. Проблема в том, что в субтитрах не всегда написана правда. Если субтитры отмечены как китайские, это не значит, что они действительно на китайском. Кроме того, в них бывают сдвинуты тайминги, они могут описывать происходящее на экране и т.д. Справиться с этим помогла модель с Hugging Face, обученная на мандаринском диалекте. С её помощью мы оценили субтитры и отобрали подходящие для обучения нашей модели.
• В результате получили набор видео с хорошими субтитрами, валидными для обучения акустической модели.

Иероглифическая, а не алфавитная письменность

Чтобы перевести видео, сначала нужно распознать речь и превратить её в текст — поэтому важно разбираться в письменности исходного языка. В китайском она совершенно не похожа на привычный русский или английский языки, ведь в нём нет алфавита.

Вместо него есть десятки тысяч иероглифов, из которых можно составлять слова и фразы — как из конструктора. Например, слово «компьютер» записывается двумя иероглифами: «электронный» и «мозг». Довольно логично! Каждый иероглиф читается как слог, при этом многие иероглифы произносятся одинаково, поэтому их число намного больше слогов (это называется омофонией и представляет отдельную особенность; дальше расскажу о ней подробнее). Впрочем, все 20 тысяч иероглифов мало кто знает наизусть — для нормального общения людям хватает и пары тысяч.

А ещё в китайском языке нет привычного для европейской письменности разделения на слова, а текст выглядит как сплошная последовательность иероглифов.

Что мы сделали: парадоксально, но система китайской письменности, которая порой ставит в тупик иностранцев, вообще не стала проблемой для обучения модели. Она использует словарь токенов — по сути, слогов. Если все европейские языки помещаются в 5000 токенов, то наш словарь для китайского — это 10 000 токенов. Разница только в объёме.

Для токенизации используем распространённый алгоритм BPE. Размер словаря выбрали с учётом того, чтобы часто используемые комбинации иероглифов были объединены в один токен — это может помочь при декодировании и понимании контекста.

А вот отсутствие деления на слова немного усложнило нам жизнь. В одной части данных, которые мы использовали для обучения моделей, были пробелы между словами, в другой их не было. Помнив о том, что в китайской письменности нет деления на слова, мы просто выкинули везде пробелы, чтобы унифицировать датасеты.

Это была ошибка, ведь наша инфраструктура опирается на пробелы, чтобы расставлять алайнменты — то есть, метки времени для фрагментов текста. В итоге ASR выдавала распознанный текст с неправильными метками. Мы решили проблему, применив на этапе предобработки данных библиотеку, которая расставила пробелы. Получилось условное разделение на «слова», которое помогло верно расставить алайнменты.

Тоны определяют смысл

Произношение — ключевая характеристика китайской речи. Дело в том, что слова меняют смысл в зависимости от того, как их произнести. Тон — это мелодический рисунок голоса. Выделяют четыре основных тона:

Первый тон — произносится ровно и высоко:

Второй тон — восходящий, со среднего до высокого регистра, голос повышается ближе к концу:

Третий тон — нисходяще-восходящий, сначала понижается с низкого регистра, затем быстро поднимается к верхнему регистру:

Четвёртый тон — нисходящий, быстро падает с высшей точки вниз.

Есть ещё нейтральный тон — точнее, отсутствие тона. Встречается в местах, где нет смыслового ударения.

Эти особенности сложно передать на письме, лучше послушать примеры. Хорошая новость в том, что нейросеть распознаёт различные тоны не хуже, чем это делают люди.

Что мы сделали: здесь вообще ничего дополнительного делать не пришлось. Модель сама научилась распознавать тоны по обучающим данным. Получается, что то, на что студенты-китаисты тратят кучу времени, модель сделала сама очень быстро: после сбора данных процесс обучения занял примерно месяц — за это время модель проанализировала столько данных, сколько человек не услышит и за 15-20 лет жизни в Китае.

Нужно хорошо понимать контекст

С одной стороны, в китайском простые правила нормализации: слова, в общем, не меняются в зависимости от лица, времени, вида, рода, числа или падежа. Это упростило подготовку данных по сравнению, например, с французским языком.

С другой стороны, при распознавании китайской речи важно учитывать контекст из-за обилия омофонов в языке. Омофоны — это слова, которые звучат одинаково, но пишутся по-разному и при этом обладают разным значением. Есть даже вполне содержательная поэма, состоящая из 92 слогов «ши». Омофоны представляют интересную задачу для распознавания, потому что одного произношения недостаточно — важен контекст.

Что мы сделали: понимание контекста не стало проблемой. Наша модель давно умеет учитывать предыдущий текст при распознавании — можно сказать, что мы всегда готовились понимать китайский.

Кроме того, помогло разбиение на BPE-токены. Например, иероглиф 谓 («сказать», произносится «вей») почти всегда встречается в комбинации с другими иероглифами: 可谓 («можно сказать», «кэ-вей») и 所谓 («так называемый», «суо-вей»). Такие комбинации различать между собой проще, чем сами токены, поскольку у них уникальное произношение. Использование BPE вместе с делением на «слова» позволяет выделить подобные комбинации на стадии подготовки данных.

Как мы доработали перевод

Пара слов о том, как работает перевод с китайского. Он устроен как последовательность двух переводов: сперва с китайского на английский, потом с английского на русский.

Сначала мы использовали нашу стандартную модель перевода. Отдавали в модель предложения на китайском и получали на русском. У такого подхода было два существенных недостатка. Во-первых, в отличие от нашей англо-русской модели, она не учитывала контекст. Во-вторых, модель не была адаптирована под видео: она училась на массиве всех данных и не выделяла среди них субтитры, которые как раз важны для перевода видео.

Когда мы заметили, что эти недостатки влияют на качество, то начали исправлять их. Например, с китайского на английский переводим по предложениям, а затем подключается англо-русская модель, которая хорошо понимает контекст и учитывает его при переводе. Вторую проблему решили, дообучив модель на релевантных для перевода видео данных, что позволило повысить качество.

Также пришлось учесть различия в пунктуации китайского и русского. Одна фраза на китайском языке может содержать несколько отдельных смысловых частей, которые человек переведёт в несколько предложений. Расстановка пунктуации по настоящим правилам сильно усложняет перевод, ведь для учёта контекста придётся отдельно разбивать на предложения уже готовые переводы с китайского на английский. Поэтому удачным решением мы посчитали своего рода «гибридный» пунктуатор: он расставляет знаки препинания, принятые в китайском, но выделяет смысловые части в отдельные предложения.

Такой пунктуатор мы получили с помощью существующей модели перевода с китайского. Она умеет переводить одно китайское предложение в несколько английских, чем мы и воспользовались: взяли большое количество китайских данных, перевели их на английский, а затем нашли соответствие пунктуации перевода и оригинального текста (т.н. выравнивание). Это соответствие позволило понять, где в китайских предложениях нужно заменить запятые на точки, чтобы добиться большей гранулярности в обучающих данных пунктуатора.

И вот результат:

Технология перевода видео во многом универсальна, даже сложности китайского не потребовали перепридумывания всей архитектуры. Как можно заметить, здесь я почти не говорил про корректировки в ML-моделях, и мы считаем, что отсутствие необходимости что-то серьёзно менять от языка к языку — это важный плюс.

Перевод с китайского доступен на YouTube. Чтобы всё заработало, перезапустите Яндекс Браузер. Дальше можно, например, посмотреть обзоры на новые устройства или познакомиться с китайской кухней. Чуть позже появится поддержка популярной китайской видеоплатформы Bilibili.

• китайский язык
• перевод
• синхронный перевод
• дубляж
• команда яндекс.браузера

• Блог компании Яндекс
• Браузеры
• Машинное обучение
• Искусственный интеллект
• Изучение языков

Источник: habr.com

Как переводить китайские тексты

Китай – популярное направление для путешествий; обилие достопримечательностей и экскурсионных туров, древняя история страны и ее богатое культурное наследие делают Китай особенно привлекательным для туристов. Однако, как же посетить все красоты, и справиться с такими простыми действиями, как поиск дороги, регистрация в отеле и заказ еды в ресторане, если не знаешь языка. Китайский является одним из самых сложных языков в мире с уникальным алфавитом, и выучить его на простейшем уровне за несколько недель как европейские языки не так-то просто. Справиться с переводом через камеру с китайского на русский помогут специальные приложения-словари.

Как перевести китайские иероглифы

Технологии не стоят на месте, и теперь путешественникам нет нужды мучиться с карманными переводчиками, которые только запутывают своего владельца и его собеседников. Электронные словари тоже мало помогут делу, особенно непросто с ними приходится новичкам. Но возможность с ходу понять незнакомый язык теперь возможна любому, кто владеет смартфоном. Современные программы для перевода текста с фотографии требуют лишь наличия камеры – владельцу достаточно загрузить картинку в приложение и немного подождать, пока сервис сможет его распознать.

Функция эта новая, поэтому работает нестабильно и требует некоторой сноровки. Для того чтобы получить читаемый текст, необходимо сделать качественное изображение, на котором хорошо виден требуемые символы. Чем четче и ярче изображение, тем выше вероятность того, что текст будет переведен максимально близко к смыслу.

Обратите внимание! Большинство шрифтов приложения для переводов не воспринимают, особенно это касается иероглифов написанных нечетко.

Яндекс Переводчик с картинок в помощь

Несмотря на то, что традиционно большей популярностью пользуется GoogleTranslate, Яндекс Переводчик выполняет работу с китайским языком (и некоторыми европейскими) более корректно и грамотно, чем его более известный собрат.

Перевод с фото при помощи Яндекса можно выполнить только с телефона, для компьютеров такая функция пока отсутствует. Сначала требуется выбрать язык, с которого выполняется работа, в данном случае китайский. Для того чтобы получить результат, нужно просто сделать фотографию, либо выбрать нужное изображение в памяти смартфона, предварительно нажав на иконку «Картинка» в сервисе. Яндекс предложит выделить область, с которой необходимо поработать. Сделав это, нужно нажать Enter и дождаться завершения процесса.

Перевод в Free Online OCR

Free Online OCR известен как один из первых сайтов, предназначенных для выполнения переводов с фотографии. Сервис сравнительно новый, поэтому корректность результатов с некоторых языков у него заметно страдает. Также сайт пока не имеет полной версии на русском, но доступен на английском.

Важный момент: Качество и верность перевода очень сильно зависят от качества фото и количества текста. Чем меньше слов и чем выше качество фотографии, тем лучше программа сможет распознавать информацию.

Для того чтобы перевести текст с изображения с китайского языка на русский, нужно:

• Загрузить изображение с компьютера, нажав иконку «Выберите файл». Сервис позволяет загрузить сразу несколько картинок;
• На нижней строке сервиса необходимо выбрать язык, с которого выполняется перевод;
• Выполнив предыдущие шаги, нужно нажать на иконку «Upload + OCR»;
• По завершении процесса, сервис предлагает увидеть и оригинальный текст, и готовый перевод. Оригинальный текст позволяет пользователю посмотреть, как приложение «видит» шрифт, сравнить его с картинкой и разобраться, где работа выполнена некорректно (изображение и оригинальный текст в этих местах не будут совпадать). Распознавание шрифтов пока оставляет желать лучшего.

Как перевести китайский текст с картинки другими способами?

Помимо Яндекс Переводчика и Free Online OCR (которых может не оказаться под рукой) существует множество сервисов, выполняющих аналогичные задачи. Некоторые из них доступны только со смартфона и компьютера, некоторые работают на всех устройствах.

Для перевода с картинки на русский язык можно воспользоваться:

• Google Translate, который работает аналогично Яндекс Переводчику. Google переиздал свое приложение специально для китайских пользователей с одобрения государства. До некоторых пор в Китае невозможно было воспользоваться ни одной из платформ Google, который был запрещен китайским правительством;
• Программа для распознавания текста и последующий перевод. Более трудоёмкий способ, чем предыдущие, но возможно более надежный. Выполняется в два этапа. При помощи Optical Character Recognition (можно скачать в любом магазине бесплатно) из фото извлекается исходный текст, а затем вводится в любой популярный сервис, который переводит.

Заключение

Пока сервисы для переводов с картинки работают неуверенно: проблемы с качеством фотографий, высокие требования к изображениям и некорректный перевод дают о себе знать. Но уже сейчас на такие сервис есть устойчивый спрос, и они приходят на помощь многим путешественникам. Программы (чтобы перевести с китайского с фото) пока только набирают обороты. Но уже сейчас с уверенностью можно сказать, что через несколько лет они будут пользоваться устойчивой популярностью.

Сложный текст — это текст, при взгляде на который возникает мысль «боже мой» в разных вариациях, и при первых попытках разбора начинает кружиться голова.
Но переводить надо.

Обычно это специализированные тексты, коммерческие, реже что-то художественное.

Незнакомые слова
Если в данном тексте для вас много новых слов, он будет казаться сложным, даже если по структуре элементарен.

Из-за особенности китайского языка, это еще более усложняется тем, что выделить слова не просто. Все сливается и ничего не понятно. Перед вами просто одно большое слово.

Прежде всего необходимо заметить все знакомые слова, выделить и перевести незнакомые. Если вы не знаете значение слов, вы не переведете верно текст.

Структура предложения
Необходимо выделить структуру предложения. Найти основу «кости» — подлежащее и сказуемое. Их, как правило, перевести легко, затем просто добавлять все остальное «мясо».

Очень часто китайские предложения излишне длиные. Их можно просто разбить на несколько и разделаться с ними поодиночке. Даже в цельном длинном предложении можно вынести «внутренности» отдельно.

Знания темы
Если вы совершенно не разбираетесь в тематике, то переводить будет сложно, а на выходе будет получаться в лучшем случае коряво.

С этим живут все переводчики, но если вы будете сидеть на теме долго, будете ею кормиться — просто почитайте подобную литературу на русском языке.

Чаще всего сложен не перевод, а сам текст. И вы должны говорить не «я недостаточно знаю китайский», а «я недостаточно разбираюсь в теме». А это две существенные разницы.

Опыт
Нужен опыт, много опыта, чтобы сложные тексты стали легкими. С каждым переведенным «сложным» текстом следующий переводить капельку легче.

Постепенно вы сможете переводить очень сложные тексты, даже в той области, в которой не разбираетесь, сохраняя смысл.

И все равно есть много таких текстов, когда даже очень опытный переводчик хочет плакать. А кто сказал, что будет легко?

Чтобы получить правильный результат перевода, важно со всей внимательностью отнестись к введению и произношению символов.

Как перевести с китайского на русский

Перевод с китайского на русский проходит при помощи словарей: как электронных, так и бумажных. Первые сейчас более популярные и практичные. Они дают возможность ручного ввода символов или пользоваться голосовым переводом.

Переводчик с русского на китайский онлайн с произношением и транскрипцией пиньином

Используется в виде программы, которую можно закачать, как на телефон, так и на компьютер. Поможет дословно переводить слова, словосочетания и целые тексты с русского на китайский и наоборот. Возле некоторых слов даже указываются примеры возможной их замены. Алгоритм перевода разрабатывается специальными программами.

Можно даже внести ссылку на русский текст и получить её детальный перевод. В большинстве программ есть возможность одновременно открыть два окна – с оригиналом текста и готовым переводом.

Самыми популярными онлайн переводчиками считаются: Яндекс переводчик, Гугл, Майкрософт.

Перевод с китайского на русский онлайн

Словари, при помощи которых можно быстро перевести слово или даже текст. При этом нужный иероглиф можно как рисовать самостоятельно (ручной ввод), так и искать по тех, что уже предлагаются:

Такими словарями часто пользуются не только те, кто учит язык, но и те, кто увлекается татуировками с китайской символикой, фен-шуем, просто хочет перевести надпись на своей одежде или ярлыке к ней.

Звуковой переводчик с русского на китайский

Голосовой (звуковой) переводчик дает возможность намного упростить перевод с русского на китайский. Все, что необходимо – просто открыть программу, задержать кнопку и произнести необходимое слово или текст. Через несколько секунд автоматически высвечивается перевод-результат. При этом выдает не только правильное написание, но и произношение.

Бкрс (bkrs) переводчик

Бкрс – онлайн версия Большого русско-китайского словаря, который можно использовать бесплатно. Большим плюсом такого переводчика считается то, что он постоянно пополняется новыми современными словами и иероглифами.

Впервые такой сайт-проект предложили пользователям в 2009 году. Онлайн-словарь предназначен не только для любителей китайского, но и тех, кто давно изучает его, хочет стать профессионалом в своем деле.

Слова можно искать как по пиньинь, так и по изображению иероглифа (главное правильно это сделать).

Источник: planshet-info.ru