Результаты исследований онлайн-переводчиков в 2022 и 2023 годах: есть ли прогресс?
Привет! Мы бюро переводов «ТранЭкспресс». Мы ежегодно тестируем онлайн-переводчики на качество перевода. Первый интерес к этой теме проявился в 2017 году — тогда мы тестировали новую функцию устного перевода в Skype. А в 2020 году продумали концепцию исследования: берем популярные онлайн-переводчики, прогоняем через них небольшие отрывки текста разных тематик и просим экспертов оценить полученный переводы. Наиболее интересными кажутся исследования 2022 и 2023 годов, так как там мы не просто оцениваем качество перевода в онлайн-сервисах, но и смотрим, изменился ли перевод по сравнению с прошлым годом. Давайте подробнее обсудим результаты этих тестирований.
Исследование 2022
Как устроено исследование. В 2022 году мы расширили список претендентов, добавив французский онлайн-сервис Reverso — тестирование проходили 8 онлайн-переводчиков (в исследовании 2021 года переводчиков было 7). Отрывки и тематики были те же, что и в 2021 году: комментарий из сети, художественный текст, юридический договор, туристический каталог, техническая инструкция и научная статья. Качество перевода оценивали 4 штатных редактора и один внештатный — технический переводчик.
Кстати! Мы подбираем экспертов для исследования по тому же принципу, по которому подбираем переводчиков для предоставления услуги по оценке качества перевода. Общие тематики оценивают штатные редакторы,. Для узконаправленных тем (технической, научной и других) мы подбираем внештатных специалистов, которые имеют опыт работы с ними.
Еще был изменен подход к исследованию: экспертам было необходимо не просто оценить полученный в онлайн-сервисе перевод, но и сравнить его с результатом прошлого года, а потом проанализировать, изменилось ли что-то в качестве перевода за это время.
Итоги. В тройку лучших вошли Deepl, Яндекс.Переводчик и Google Translate. В тройку худших — Promt, Systran и Reverso (хоть он и появился в исследовании впервые, поразить экспертов качеством перевода не смог). Большие вопросы возникли к переводчику Promt. Кажется, качество перевода в этом сервисе ухудшилось по сравнению с прошлым годом.
Исследование 2023
Как устроено исследование. В 2023 году мы тестировали те же 8 сервисов, что и в 2022: Яндекс, Google, Bing, DeepL, Promt.One, Systran, Reverso и iOS. Оценивали результат их перевода по 6 критериям: точность, лексика, грамматика, стиль, читаемость, соответствие контексту. Чтобы можно было понять, есть ли изменения в переводах по сравнению с прошлым годом, попросили экспертов сравнить результаты 2022 и 2021 годов.
Итоги. Серьезные изменения за год произошли у Bing, поэтому он возглавил рейтинг исследования. Эксперты отметили улучшение грамматики, использование более корректных фраз в переводе, верную передачу причинно-следственных связей. Худшим оказался онлайн-переводчик iOS. Иногда сервис выдавал более удачные варианты, иногда — менее (и даже хуже, чем в 2022 году). В итоге общая температура по больнице оказалась так себе.
Наши выводы
На данный момент. Есть ли прогресс в машинном переводе? Да, прогресс есть. Каждый год большинство популярных онлайн-сервисов выдают результат, отличный от результатов предыдущего года. Это говорит о том, что алгоритмы машинного обучения пытаются улучшить. Однако качественного скачка пока не наблюдается. Из года в год онлайн-сервисы совершают одни и те же ошибки:
- буквальный перевод;
- некорректный перевод узкоспециальных терминов;
- неверное использование знаков препинания (например, кавычек) и регистра букв;
- нечитаемые фразы в переводе.
Где-то стало лучше, где-то — хуже. Но в целом уровень переводов так и остался достаточно низким. Переводчики могут спокойно выдыхать и пока что не опасаться за потерю своей работы!
Размышления о будущем
Предполагаем, что во многих сферах машинный перевод со временем вытеснит человека, и в этом нет ничего плохого. Думаем, что в будущем:
- Для большинства текстов перевод будет вполне сносным и справится со своей базовой задачей — коммуникативным актом.
- В письменных сферах, где важны детали, скорее всего, машинный перевод все же будет проверяться человеком.
- В устном общении в большинстве сценариев будет достаточно использовать автоматический перевод, и живой устный переводчик не будет нужен.
