Цвят или Colour и защо AI превод без контекст е безсмислен

Има документ, който лежи някъде в споделена папка, и е трябвало да бъде описание на продукт за британска аудитория. Текстът е бил написан първоначално на немски, преведен на английски с помощта на един от основните онлайн инструменти за превод и доставен на маркетинговия екип. На първи поглед изглеждаше добре. Граматиката беше правилна, изреченията текеха разумно добре, а смисълът беше запазен. След това някой в Лондон го откри. Документът използваше "color" вместо "colour", "organize" вместо "organise", "center" вместо "centre" и "analyze" вместо "analyse". Всеки едничък правопис следваше американски конвенции. За документ насочен към британски потребители, публикуван на домейн .co.uk, това не беше приемливо.

Разочароващата част не беше, че преводът беше грешен. Разочароващата част беше, че нямаше начин да кажете на инструмента какъв вариант на английския да произведе. Google Translate има един вариант: английски. DeepL има един вариант: английски. Нито един не пита дали целта е читател в Манчестър или читател в Манхатън. Резултатът се генерира, вариантът се избира по всеки модел, който се е появил най-много в данните за обучение, и потребителят трябва ръчно да намери и замени всеки случай на американски правопис в документ, който е трябвало да бъде британски от началото.

Това може да звучи като малка жалба. Разликите в правописа между британския и американския английски са добре документирани и относително предвидими. Но разликите отиват далеч отвъд размяната на "ou" с "o" и "ise" с "ize". Словникът се разминава значително. "Boot" е багажник. "Bonnet" е светлинка. "Trousers" са панталони, но "pants" са бельо. "Biscuits" са бисквитки. "Chips" са картофи, но "crisps" са чипс. "Flat" е апартамент. "First floor" е всъщност втори этаж. Тези разлики в словника могат наистина да объркат читателите, когато неправилният вариант се появи в противен случай добре написан текст.

За всеки, който управлява многоезично съдържание, особено уебсайтове, приложения или маркетингови материали, които трябва да съществуват както на британския, така и на американския английски, липсата на контрол на варианта в инструментите за превод създава реална работа. Всеки преведен документ трябва да бъде ревизиран ръчно специално, за да се хванат и коригират несъответствията на вариантите. Тази ревизия отнема време, струва пари и е напълно избегнима, ако инструментът за превод просто знаеше какъв вариант да произведе.

Един и същ език, различни конвенции, нулев контрол

Британския и американския английски не са единствената двойка с този проблем, макар че са най-често срещаните. Португалския се разделя на бразилски португалски и европейски португалски, с разлики в правописа, граматиката, словника и дори в употребата на местоимения, които са достатъчно значителни, за да накарат текста да се чувства чужд на читателите на другия вариант. Испанския варира между латиноамерикански и иберийски конвенции, с глаголни форми, сленг и словник, които се различават значително. Френския има различни конвенции във Франция, Канада, Белгия и различни африкански нации. Китайския се разделя между опростени и традиционни знаци, което не е просто разлика в правописа, а напълно различен набор от знаци.

В всеки от тези случаи производството на неправилния вариант не е малък козметичен проблем. Бразилски читател, който се среща с европейски португалски правопис в описанието на продукт, ще го забележи веднага. Това създава усещане за разстояние, сякаш компанията не е грижила се достатъчно, за да локализира правилно. За бизнеси, които се опитват да изградят доверие на конкретни регионални пазари, този вид несъответствие подкопава целия усилия. Съдържанието може да е оставено непреведено, ако преводът сигнализира "ние наистина не знаем вашия пазар".

The ръководство за преобразуване между американския и британския английски на YEB обхваща конкретните настройки, включени. В YEB Translate, езиковият вариант е един от 22-те езикови настройки, налични в системата за контекст. Когато английския е избран като целев език, потребителят може да посочи американски, британски, австралийски или други регионални варианти. AI моделът получава това предпочитание като част от контекстния низ и произвежда изход, който постоянно използва правилните конвенции за правопис, избор на словник и идиоматични изрази за този вариант. Не е необходима ревизия след редактиране.

Същият механизъм работи за всяка езикова двойка, която има регионални варианти. Бразилски срещу европейски португалски. Латиноамерикански срещу иберийски испански. Опростен срещу традиционен китайски. Канадски срещу столичен френски. Настройката се правя веднъж, остава през сесията и се прилага за всеки текст, обработен по време на тази сесия. За екипи по съдържание, които се занимават с локализация в мащаб, това елиминира цялата категория QA работа.

Защо пристрастието на данните за обучение прави това по-лошо, отколкото изглежда

Причината повечето инструменти за превод да са по подразбиране на американския английски е directна: интернетът съдържа повече американски английски текст, отколкото британски английски текст. Данните за обучение за AI модели се събират главно от онлайн съдържание, а онлайн съдържанието е доминирано от американски публикации, американски компании и американски потребителски текст. Когато AI модел научи какво означава "правилен" английски, той учи от корпус, който по подразбиране е пристрастен към американския.

Това пристрастие не е намерено, но е постоянно. Дори когато инструментите за превод се актуализират с по-нови модели, основното разпределение на данните не се е променило. Американския английски остава мажоритарният вариант в корпусите за обучение, което означава, че изходът по подразбиране продължава да се наклонява към американския, независимо от това дали потребителят се нуждае от британски, австралийски, южноафрикански или всякакъв друг вариант. Моделът не е избирал американския английски, защото е по-добър. Той го избира, защото е видял повече от него.

За потребители, които превеждат на английски от други езици, това създава невидим проблем. Резултатът изглежда правилен, защото е граматично правилен. Изреченията имат смисъл. Словникът е подходящ. Но вариантът е грешен за целевата аудитория, и ако потребителят не е достатъчно запознат с двата варианта, за да хване всяка разлика, несъответствието мълчаливо минава. Немски маркетинг мениджър, който превежда копие на продукт за британския пазар, може да не забележи, че "aluminum" трябва да бъде "aluminium" или че "skeptical" трябва да бъде "sceptical". Това не са грешки, които проверките на граматиката отбелязват, защото и двата правописа са валидни. Те просто са валидни в различни страни.

Системата за контекст в AI преводача на YEB третира езиковия вариант като настройка първи клас, а не като постфактум. Това има значение, защото AI моделът коригира не само правописа, но и избора на словник, идиоми и дори структурата на изреченията въз основа на варианта. Британския английски има тенденция към малко по-официални конструкции в бизнес писането. Американския английски използва по-преки фрази. Австралийския английски има свой неофициален регистър, който се различава от двата. Това са фини разлики, които човешкия естествен говорител произвежда неосъзнато, и че AI моделът може да произведе само когато му е казано какъв вариант да целева.

Реалната цена на получаването на неправилния вариант

За личен имейл, никой не се грижи дали "colour" или "color" се появява. За публикувано съдържание, залозите са различни. Уебсайт .co.uk, използващ американски правописания във всички lugares, изглежда неполиран. Уебсайт .com, насочен към австралийски читатели с британски правопис, изглежда малко неправилно. Това не са драматични неудачи. Те са хартиени порязания, които се натрупват и създават общо впечатление за небрежност.

В регулирани индустрии, последователността на варианта може да бъде въпрос на съответствие. Правни документи в Великобритания следват британски конвенции. Медицинската литература за NHS използва британска терминология. Правителствените публикации следват строги стилови ръководства, които определят употребата на варианта до отделни думи. Подаване на преведен документ, който използва неправилния вариант в тези контексти, не е просто небрежно. Това може да предизвика отхвърляне или искане за преработка, което забавя целите проекти.

The сравнение с DeepL подчертава това като една от конкретните области, където инструментите за превод с общо назначение попадат накъс. DeepL произвежда отлични преводи от гледна точка на течност и точност, но до наскоро не предлагаше начин да посочите кой вариант на английския трябва да произведе. Потребители, които се нуждаеха от британски английски, трябваше да приемат това, което моделът им даваше, или да стартират отделен преобразуващ етап впоследствие. Същото ограничение съществува в цялото основните AI инструменти за превод на пазара.

Това което прави подхода на контекста различен е, че избирането на вариант се случва преди преводът, а не след. AI моделът не произвежда американски английски текст и след това го преобразува на британски. Той произвежда британски английски текст от началото, избирайки правилните думи, правилните правописания и правилните конструкции от още първото изречение. Това е принципно различен подход от намери-и-замени постобработка, и произвежда резултати, които звучат естествено в целевия вариант, а не като американски текст с тънко британско слой боя.