ПОЧЕМУ ТАК СЛОЖНО СОЗДАТЬ АВТОМАТИЧЕСКИЙ СИНХРОННЫЙ ПЕРЕВОДЧИК?

Oleg Kyrmyzy
pochemuzachemkak
Published in
4 min readMar 27, 2021

Как получается, что в фантастических кино и сериалах множество пришельцев так просто говорят на английском (а для нас на русском) языке? Если коротко, никто не хочет смотреть на экипажи космических кораблей, часами сидящих за словарями межгалактического полиглота. Поэтому авторы подобных жанров уже давно эксплуатируют идею “универсального переводчика”.

Центральным ядром современных переводчиков является машинный перевод, использующий модели статистического анализа языков. В его основе лежат словарные таблицы для пары языков, но помимо простого перевода каждого слова для более точной транскрипции они используют теорию информации (о ней у нас даже был текст). Одному отдельному слову всегда соответствует множество переводов с разным смыслом, однако внутри предложения или текста количество вариантов сокращается из-за наличия контекста. Для его оценки используют языковые модели, которые объединяют слова по их семантическому представлению в отдельные кластеры. Если у нас есть словарь в тысячу слов, где изначально каждое из слов никак не связано с другими, то по мере того, как мы будем читать различные тексты, одни слова будут объединены контекстом чаще остальных, а другие, в зависимости от контекста, — иметь схожий смысл. Например, слова “кот” и “собака” будут объединены в общий кластер, поскольку часто встречаются в текстах про домашних животных. С другой стороны, слово “кот” может одновременно входить в другой кластер, посвященный, к примеру, кошачьему корму.

Grammarly — онлайн-сервис для помощи написания текстов на английском языке. Даже если предложение на английском составлено верно, сервис корректирует его так, чтобы оно читалось естественно. Эта часть онлайн-сервиса как раз основана на статистической модели языка. Источник

В реальных языковых моделях каждое слово принадлежит тысячам и десяткам тысяч кластеров. Прежде чем построить предложение на другом языке, система перевода на основе языковой модели ищет наиболее вероятный контекст для необходимого предложения. Статистический анализ языка подразумевает, что разбиение слов по кластерам в языковых моделях происходит путём анализа огромного количества текстов для каждого из языков переводчика. Такие тексты называются двуязычными корпусами или битекстами. Обычно их собирают из докладов и отчетов ООН, Европейского Союза или различного рода инструкций, поскольку они переводятся на большинство языков и содержат более строгий перевод, чем художественные тексты. Слабость статистических переводчиков в том, что они практически не способны уловить эмоциональный подтекст, часто выраженный в виде юмора, сарказма или иронии, которые так свойственны человеческому общению.

ЗАЧЕМ ВСПОМИНАТЬ ВАВИЛОНСКУЮ РЫБКУ ИЗ “АВТОСТОПОМ ПО ГАЛАКТИКЕ”?

Пожалуй, самая необычная идея универсального переводчика — Вавилонская рыбка из фантастического романа Дугласа Адамса “Автостопом по галактике”, которая помещалась в ухо и создавала биотоки в нейронах речевого центра мозга, свойственные родной речи её носителя, если тот слышал непонятный язык. Вавилонская рыбка, по сути, просто декодировала импульсы, полученные от незнакомого языка, в импульсы нейронов родного языка её хозяина.

Вавилонская рыбка. Источник

Похожую идею использовали инженеры Google, когда в 2016 году обучили нейросеть взаимному переводу на паре языков. Роль Вавилонской рыбки в их работе играл особый тип нейросетей, называемых рекуррентными. В отличии от обычных нейросетей, рекуррентные нейросети имеют свойство, которое можно назвать памятью. Обучаясь, рекуррентная нейросеть не переводит слово сразу, а хранит его в памяти до тех пор, пока не поймёт контекст, в котором оно использовалось. Это значит, что рекуррентная нейросеть способна проанализировать целиком предложение или даже абзац, прежде чем подберет перевод. Свойство, удивительно напоминающее нашу ассоциативную память.

Также как и статистические модели, рекуррентные нейросети обучаются на огромных объёмах данных, но эти источники могут содержать более неформальные битексты (такие, как, например, новостные издания), поскольку перевод подбирается из контекста, а не из множества других вероятных переводов. На основе рекуррентных сетей сейчас работает Google Translate, при этом пользователи могут способствовать дообучению нейросетей, предлагая более точные варианты перевода на родной язык. Однако, как мы знаем, Google Translate вовсе не лишен ошибок в переводе. Сложность, с которой машины обходят исключения и нерегулярности перевода синтаксически одинаковых конструкций наводит на мысль, что наше понимание языка — уникальный продукт биологической структуры мозга.

КАК СТАТЬ СИНХРОННЫМ ПЕРЕВОДЧИКОМ?

Синхронный перевод — это сложная когнитивная задача, которая требует одновременного выполнения нескольких процессов: слушания, понимания, преобразования сообщения с одного языка на другой, речепроизводства и саморегуляции. Переводчику необходимо развертывать множество лингвистических и когнитивных механизмов контроля, которые должны координировать различные системы мозга, участвующие в решении этих задач. В частности, самые важные навыки это:

Система в кабине переводчика состоит из наушников, консоли и микрофона. Переводчик слышит речь докладчика в наушники, одновременно переводит ее в микрофон, а консоль отправляет его звук на личные беспроводные наушники у слушателей. Источник

Как же получить эти навыки? Нужно ли с ними родиться? На самом деле все, что нужно — это специальное образование и как можно больше практики.

Считается, что не существует врожденных способностей, которые помогут человеку стать синхронным переводчиком. Зато многочисленные исследования показывают, что опытные синхронисты лучше начинающих выполняют когнитивные тесты, а именно тесты на рабочую память, на стресс, и даже физиологические тесты на работу симпатической и парасимпатической нервной системы.

Более того, структура мозга тоже меняется в течение периода обучения. Синхронный перевод задействует области, участвующие в восприятии и производстве речи, переключении языков, самоконтроле и выборе. Например:

  • МРТ исследования говорят о том, что у опытных синхронистов выше количество серого вещества в областях, связанных с восприятием устной речи.
  • Диффузионная МРТ показала большую целостность белого вещества в трактах левого полушария, лежащих в основе понимания и говорения.

Несмотря на то, что наука говорит о преимуществах опытных синхронистов в когнитивных способностях и интересных изменениях в мозговой структуре, эти исследования единичны, обычно делаются на всего нескольких участниках, и часто критикуются. Причина в природе существующих методов нейровизуализации (фМРТ, МРТ, МЭГ). Дело в том, что для таких исследований существует важное требование — участники должны оставаться неподвижными. Поскольку успешный синхронный перевод задействует не только говорение, но и часто яркую жестикуляцию и движения, связанные с увеличением стресса, то использование существующих методов практически не дает надежных результатов.

А чтобы вдохновиться работой синхронных переводчиков, советуем посмотреть прекрасный фильм “Переводчица” с Николь Кидман.

Ещё больше любопытного в Телеграм-канале:

https://t.me/pochemuzachemkak

--

--

Oleg Kyrmyzy
pochemuzachemkak

Computer vision and electronics engineer | Pochemuzachemkak telegram-channel