1. Содержание предложения на исходном языке (ИЯ) в полной мере со- ответствует содержанию выходного предложения. Необходимости в преобразованиях нет, носитель языка полностью понимает смысл выходного предложения.
2. Содержание предложения на ИЯ соответствует содержанию выходного предложения. Носитель языка понимает смысл выходного предложения, но необходимо его некоторое преобразование.
3. Содержание предложения на ИЯ правильно передано в выходном предложении. Требуются преобразования в порядке слов.
4. Несмотря на правильную передачу общего смысла исходного предложения в выходном предложении, возникают проблемы с согласованием времен, координацией между членами предложения, правильным употреблением наречий. Возможно двойное употребление существительных.
5. Содержание предложения на ИЯ не совсем правильно передано в выходном предложении. Некоторые выражения отсутствуют. Возникают проблемы с согласованием и правильным употреблением главных и придаточных предложений, членов предложения.
6. Содержание предложения на ИЯ неправильно передано в выходном предложении.
7. Содержание выходного предложения полностью не соответствует со- держанию исходного предложения. Структура выходного предложения не соответствует структуре нормального предложения, подлежащее и сказуемое отсутствуют.
Критерий адекватности, наряду с критерием понятности, являются одними из важнейших элементов оценки качества перевода. К сожалению, в настоящее время нет методик, позволяющих проводить адекватный и объективный анализ переведенных текстов. Формализация и автоматизация данного процесса требует больших временных и финансовых затрат и представляется на нынешнем уровне развития техники невозможной ввиду трудности представления экстралингвистических знаний в компьютерных системах. Оценка, произведенная человеком, в той или иной мере является субъективной и может достаточно широко варьироваться в зависимости от личности исследователя.
М. Суханова в статье "Кто лучше переводит", сравнивая разные версии программ Stylus и Сократ, использует статистический подсчет результатов редакторской правки, вводя универсальную единицу подсчета 1унк (одно универсальное нажатие клавиши). Данный метод оценки является интересным, но он не может претендовать на получение статистически верных, непредвзятых результатов, так как зависит от целого ряда субъективных факторов (компетенция редактора, его добрая воля и т.д.) (Суханова, 1997).
Кроме учета критериев понятности и адекватности, подсчета объема редакторской правки существуют различные принципы оценки действующих СМП.
Для исследования большинства коммерческих СМП независимыми экспертами применяется принцип "черного ящика" (Trujillo, 1999, 256-257), когда предположение о внутренней структуре системы МП и ее типе делается на основании выполненных ею переводов. Так как большинство СМП обладают свойствами продукта, то разработчики системы прилагают максимальные усилия для того, чтобы принципы функционирования системы и алгоритмы перевода составляли коммерческую тайну. В этом случае выявление основных принципов функционирования системы основывается исключительно на результатах переводов, полученных опытным путем и их последующего анализа.
В противовес принципу "черного ящика" используется принцип прозрачности системы, иначе именуемый "glass box"(Trujillo, 1999). Этот принцип применяется при оценке эффективности системы ее создателями и разработчиками. При таком анализе можно поэтапно проследить прохождение анализа и синтеза, определить какой модуль или какой алгоритм неправильно функционируют. Данный принцип используется для доводки и исправления системы самими разработчиками.
Также широкое применение нашел принцип использования тестовых массивов текста (Королев, 1991, Рябцева, 1986, King, 1997, Slocum, 1988). Для этой цели используются как реальные тексты, так и искусственно созданные для проверки правильности перевода того или иного языкового явления. Тестовая система МП METAL в течение пяти лет проверялась на представительном массиве текстов, общий объем которых составил около 1000 страниц (Slocum, 1988). Так, Маргарет Кинг и Фалкедал предлагают комбинированное использование тестовых и реальных массивов текста для того, чтобы проверить функционирование системы не только в заранее заданных для нее условиях, но и в непредсказуемой обстановке реального текста, смоделировать которую практически невозможно (King et al., 1990). При проведении оценки эффективности СМП немаловажную роль играет цель такого исследования и его непосредственные участники. Маргарет Кинг утверждает, что основополагающей остается цель таких исследований, так как реальной оценке подлежит не качество перевода в целом, а его приемлемые результаты для конкретных, узких областей и задач (King, 1996, 73-79, 1997, 251-263).
В этой связи целесообразно обозначить потенциальных участников и заказчиков исследований в области машинного перевода. Согласно градации, принятой М. Кинг, Труджипло, Хатчинсом, Сомерсом и другими исследователями, выделяются следующие группы (Hutchins et al., 1992, Jordan et al., 1993, King, 1991, Lеhrberger et al., 1988, Minnis, 1993, Sparck et al., 1995, Trujillo, 1999):
· Исследователи
· Спонсоры исследований
· Разработчики
· Покупатели
· Переводчики
· Конечные пользователи переводов
Исследователи занимаются разработкой центральных проблем МП и возможностью их принципиального создания. Суть исследований сводится к
выявлению новых феноменов в функционировании систем, созданию исследовательских прототипов, их последующей проверке и модификации существующих моделей МП.
Цель исследований, проводимых спонсорами, заключается в выявлении факторов, свидетельствующих либо в пользу продолжения финансирования проекта, либо, наоборот, в пользу прекращения инвестиций в связи с его неперспективностью или высокими затратами. Иногда от результатов таких исследований зависит не только судьба какого-либо конкретного проекта, но и уровень финансирования целого научного направления. Примером негативного влияния на исследования в области машинного перевода в целом могут служить результаты исследований, обнародованные в знаменитом докладе ALPAC.
Разработчики СМП активно сотрудничают с создателями систем. Эта категория специалистов занимается практической доработкой системы, превращая исследовательский прототип в реально действующую систему, обладающую свойствами реального продукта и пригодную для коммерческого распространения. Основополагающим фактором таких исследований является прагматический аспект функционирования программы, простота ее интерфейса, помехоустойчивая работа ее алгоритмов и приемлемое качество переводов. Создатели СМП также занимаются совершенствованием уже действующих систем МП в рамках функционирующей теоретической модели. Довольно часто в целях улучшения качества переводов данные специалисты проводят исследования, направленные на повышение эффективности системы.
К категории покупателей относятся все группы пользователей, начиная от крупных компаний и переводческих служб и заканчивая конечными пользователями и частными лицами. Эта категория людей широко применяет наряду с лингвистическими факторами оценки эффективности СМП и экстралингвистические критерии, к которым относятся стоимость самой системы, затраты на ее эксплуатацию и обучение персонала, возможность и стоимость обновлений, эффективность работы службы поддержки клиентов, конкурентоспособность разработчиков системы. Данная категория пользователей оценивает систему МП с прагматической точки зрения, основываясь не только и не столько на лингвистических критериях функционирования системы, сколько на экстралингвистических факторах ее функционирования.
В отличие от покупателей, переводчиков интересует лингвистическая сторона функционирования СМП. Рассматривая качество перевода, такие специалисты оценивают в первую очередь лингвистическое обеспечение, пользовательский интерфейс и пути своевременного пополнения системы. В силу своей специализации переводчики способны оказать большую помощь при оценке и доработке лингвистической компоненты.
Конечными пользователями переводов можно считать и покупателей, и переводчиков, и любого человека, который в той или иной степени использует их в своей деятельности. Оценка качества перевода такими пользователями зависит от нескольких факторов, а именно: от цели ознакомления с текстом перевода, является ли пользователь специалистом в области, описываемой в переводе. Цель ознакомления с переводом может представлять собой сигнальное чтение для получения основного смысла документа. При сигнальном чтении к качеству перевода предъявляются минимальные требования - он должен быть в целом понятен и отображать наиболее общий смысл. Для более детального ознакомления с текстом перевода, он должен соответствовать некоторым критериям, а именно наиболее полно и правильно передавать терминологию, перевод которой должен осуществляться в соответствии с последними изменениями в словарном составе обоих языков. Грамматический строй выходного предложения также должен передавать основную структуру входного предложения. Данный фактор не играет решающей роли при ознакомлении с текстом эксперта, так как стилистические погрешности могут быть восполнены глубокими знаниями в рассматриваемой предметной области.
Выводы к главе 1.
В настоящей главе было раскрыто понятие машинного перевода, определены его функции, описаны системы СМП. В данной работе термин "машинный перевод" рассматривается, как процесс перевода некоторого текста с одного естественного языка на другой, полностью реализуемый компьютером. Основным преимуществом машинного перевода являются его скорость и низкая стоимость.
Существует несколько разновидностей систем машинного перевода: машинный перевод, основанный на правилах (RBMT), статистический машинный перевод (SMT), гибридный машинный перевод (HMT) и нейронный машинный перевод (NMT) и память переводов (TM).
СМП Translate использует машинный перевод, основанный на правилах, в отличие от СМП Google, до недавнего времени использующей статистический метод перевода. В марте 2017 года компания Google полностью перешла на нейросети для повышения качества выходного текста. Компания Yandex внедрила гибридную систему, которая умеет выбирать между нейронным машинным переводом и статистической моделью.
В результате рассмотрения методик оценки эффективности СМП становится очевидным, что многообразие подходов и методик оценки качества машинного перевода свидетельствует о продолжающихся исследованиях в данной области и отсутствии единого стандарта определения эффективности действующих систем.
Из всего многообразия методов оценки перевода представляется целесообразным использовать принцип "черного ящика", так как практически все рассматриваемые системы являются коммерческими и специфика их внутренней организации и функционирования является закрытой для широкого пользователя, представляя собой коммерческую тайну. Для типологии ошибок при машинном переводе исследованию будет подвергаться выходной текст, в рамках которого осуществляется поиск и классификация допущенных системой ошибок.
Глава 2. Исследования эволюции и оценка эффективности систем машинного перевода
Прежде чем приступить к оценке полученных в результате эксперимента данных, необходимо дать краткую характеристику типу исследуемого текста. Основной особенностью научно-технических текстов является точное и четкое изложение материала без каких-либо выразительных элементов, которые делают речь более эмоционально насыщенной. В научно-технической литературе почти нет метафор, отсутствует метонимия, наличие стилистических особенностей минимально, в то время как в литературных произведениях они широко используются.
Такие тексты характеризуются повышенным содержанием фразеологических единиц технической специфики. Основные требования к научно-техническому переводу - это точное соответствие терминологии, краткость и четкость.
2.1 Основные проблемы перевода научно-технического текста
В среде переводчиков-филологов иногда бытует ошибочное мнение о том, что для технического перевода не требуется ничего, кроме технического словаря. Практика показывает, что наиболее адекватными современным требованиям к рассматриваемым текстам оказываются те переводчики, которые одинаково хорошо разбираются как в технике, так и в языке, и которые при этом имеют постоянную и активную переводческую практику, как, например, инженер-энергетик Б.Н. Климзо или математик А.Б. Сосинский. Только в этом случае человек может взглянуть на проблему с обеих сторон: технической и лингвистической и понять, что это единое целое.
Среди основных проблем перевода научно-технических текстов необходимо выделить следующие: