Cyrillic to Latin and Arabic to Latin and Script Conversion for Multilingual Applications

อินเทอร์เน็ตทำงานด้วยอักษรละติน URL คือ ละติน ที่อยู่อีเมลคือ ละติน ชื่อไฟล์บนระบบปฏิบัติการส่วนใหญ่มีค่าเริ่มต้นเป็นละติน ตัวระบุฐานข้อมูล พารามิเตอร์ API และรหัสที่สร้างโดยระบบทั้งหมดทำงานในชุดย่อย ASCII ของละติน ลาตินนิยมนี้เป็นสิ่งประดิษฐ์ของประวัติศาสตร์ที่มีอายุก่อนการขยายตัวของอินเทอร์เน็ต แต่ผลกระทบในทางปฏิบัติยังคงมีอยู่ในทุกระบบที่จำเป็นต้องจัดการข้อความจากระบบการเขียนที่ไม่ใช่ละติน ชื่อธุรกิจของรัสเซีย ซึ่งดูเหมาะสมในซีริลลิก กลายเป็นลำดับอักษรที่อ่านไม่ออกเมื่อถูกบังคับเข้า URL ชื่อของคนอาหรับ ซึ่งไหลไปทางขวาถึงซ้ายอย่างเป็นธรรมชาติ กลายเป็นปัญหาทางเทคนิคเมื่อต้องปรากฏในฟิลด์ฐานข้อมูลตะวันตก การชนกันระหว่างความหลากหลายทางภาษาศาสตร์ของโลก และโครงสร้างพื้นฐานละติน ของอินเทอร์เน็ตเกิดขึ้นนับล้านครั้งทุกวัน และแต่ละครั้งต้องแปลไม่ใช่ความหมาย แต่อักษร

Transliteration เป็นคำที่ใช้สำหรับการแปลอักษรระดับนี้ และแตกต่างพื้นฐานจากการแปลภาษา การแปลจะแปลงความหมาย: "house" ในภาษาอังกฤษกลายเป็น "дом" ในรัสเซีย เพราะคำทั้งสองมีความหมายเดียวกันในภาษาต่างกัน การแปลอักษรจะแปลงอักษร: "дом" ในซีริลลิกกลายเป็น "dom" ในละติน เพราะอักษรละติน เหล่านั้นประมาณเสียงของอักษรซีริลลิก ความหมายเหมือนเดิม ภาษาเหมือนเดิม มีเพียงระบบการเขียนที่เปลี่ยน ซึ่งเป็นเหตุผลที่การแปลอักษรบางครั้งเรียกว่า "re-spelling" มากกว่า "re-meaning"

Transliterator API มีบริการแปลงอักษรนี้เป็นบริการที่เขียนโปรแกรมได้ ส่งข้อความในอักษรหนึ่ง รับคืนในอีกอักษรหนึ่ง ซีริลลิกเป็นละติน อาหรับเป็นละติน กรีกเป็นละติน เทวนาครี เป็นละติน และรายการที่ครอบคลุมของคู่อักษรอื่นๆ ที่ครอบคลุมระบบการเขียนที่ใช้โดยผู้ใช้อินเทอร์เน็ตส่วนใหญ่ของโลก การแปลงเป็นไปตามมาตรฐานการแปลอักษรที่สถาปนาแล้ว และการทำแผนที่ที่ถูกต้องสำหรับเสียงเมื่อระบบที่ได้มาตรฐานยังไม่ได้กำหนด ทำให้เกิดผลลัพธ์ที่อ่านได้ ออกเสียงได้ และเหมาะสำหรับบริบททางเทคนิคที่ต้องการอักษรละติน

URL Slug และปัญหาของข้อความที่ไม่ใช่ละตินในที่อยู่เว็บ

การใช้งาน transliteration ที่ใช้ได้จริงที่สุดในการพัฒนาเว็บ คือการสร้าง URL slug จากข้อความที่ไม่ใช่ละติน บทความบล็อกชื่อ "Как приготовить борщ" (วิธีทำบอร์ช) ต้องการ slug ที่เหมาะกับ URL ซึ่งใช้ได้ในทุกเบราว์เซอร์ ทุกแพลตฟอร์มการแชร์ และทุกระบบการวิเคราะห์ อักษรซีริลลิกในชื่อเรื่องถูกต้องในชื่อโดเมน (IDN) และตัวระบุทรัพยากรนานาชาติ (IRI) แต่ในทางปฏิบัติ โครงสร้างพื้นฐานเว็บส่วนใหญ่ยังคงจัดการกับพวกมันได้ไม่น่าเชื่อ URL ที่เข้ารหัสซีริลลิกยาว น่าเกลียด และหักเมื่อคัดลอกระหว่างแอปพลิเคชันบางตัว slug ที่แปลแล้วเช่น "kak-prigotovit-borshch" มีความสั้น อ่านได้ แชร์ได้ และเข้ากันได้สากล

กรณีการใช้งาน slug generation ต้องการไม่เพียงแต่การแปลงอักษร แต่ยังต้องมีการประมวลผลเพิ่มเติม: การแปลงเป็นตัวพิมพ์เล็ก การแทนที่พื้นที่ว่างด้วยหยัก การลบอักษรพิเศษ และการทำให้เป็นปกติของอักษรที่มีเครื่องหมาย API transliteration จัดการขั้นตอนการแปลงอักษร โดยแปลงอักษรซีริลลิกเป็นอักษรละติน และแอปพลิเคชันที่เรียกใช้จัดการขั้นตอนที่เหลือ (ตัวพิมพ์เล็ก การแทรกหยัก) ให้กับเขตข้อมูลการประมวลผลข้อความที่มีอยู่แล้ว การแบ่งความรับผิดชอบนี้ทำให้ API มุ่งเน้นไปที่งานที่ซับซ้อนด้านภาษาศาสตร์ (transliteration ที่ถูกต้อง) ในขณะที่ปล่อยให้งานที่ง่ายทางเทคนิค (ตัวพิมพ์เล็ก การแทรกหยัก) ให้นักพัฒนา

คุณภาพของการแปลอักษรสำหรับการสร้าง slug มีความสำคัญเนื่องจาก slug มองเห็นได้จากผู้ใช้และมีส่วนช่วยใน SEO ผู้ใช้รัสเซียที่พบ slug "kak-prigotovit-borshch" รู้จักทันทีว่าเป็นการแปลอักษรของชื่อรัสเซียและสามารถอ่านได้โดยไม่พยายาม slug ที่แปลแล้วไม่ดี ซึ่งใช้การแมปตัวอักษรที่ไม่ถูกต้อง หรือสร้างชุดอักษรที่ออกเสียงไม่ได้ ดูเหมือนเรื่องไร้สาระสำหรับทั้งผู้อ่านรัสเซีย และอังกฤษ API ใช้การแมปที่ถูกต้องตามเสียง ซึ่งสร้างผลลัพธ์ที่อ่านได้โดยไม่คำนึงถึงอักษรต้นทาง ซึ่งทำให้ slug ที่ได้เป็นฟังก์ชันเป็นทั้งตัวระบุทางเทคนิคและข้อความที่มนุษย์อ่านได้

ไซต์อีคอมเมิร์สที่ขายในตลาดพหุภาษาใช้การแปลอักษรอย่างแพร่หลายสำหรับการสร้าง URL สินค้า แคตตาล็อกสินค้าที่มีรายการชื่อเป็นภาษารัสเซีย อาหรับ จีน และฮินดี ต้องการ slug URL ที่ใช้ได้ในทุกภาษา การแปลอักษรด้วยตนเองในขนาดนี้ไม่สามารถทำได้ และการแปลอักษรอัตโนมัติผ่าน API สร้าง slug ที่สม่ำเสมอและแม่นยำ ซึ่งสามารถสร้างเป็นส่วนหนึ่งของไปป์ไลน์นำเข้าสินค้า โดยไม่ต้องมีการแทรกแซงของมนุษย์สำหรับแต่ละภาษา

ชื่อหนังสือเดินทางและการแปลอักษรเอกสารราชการ

Passport transliteration เป็นหนึ่งในแอปพลิเคชั่นที่มีความสำคัญมากที่สุดของการแปลงอักษร เนื่องจากข้อผิดพลาดในการแปลอักษรชื่อก่อให้เกิดปัญหาในโลกแห่งความเป็นจริง ชื่อที่แปลแล้วแตกต่างกันในหนังสือเดินทางกว่าในใบสมัครวีซ่าสามารถหน่วงเวลา หรือป้องกันการเดินทางระหว่างประเทศ ชื่อที่แปลแล้วแตกต่างกันในระบบธนาคารกว่าในเอกสารบัตรประชาชน สามารถระงับการทำธุรกรรมทางการเงิน ขนาดสูงดึดดันให้ประเทศส่วนใหญ่ยังคงรักษามาตรฐานการแปลอักษรราชการสำหรับชื่อหนังสือเดินทาง และ API นำมาตรฐานเหล่านี้มาใช้กับอักษรที่รองรับ

ชื่อรัสเซีย แสดงให้เห็นความซับซ้อนได้ดี อักษรรัสเซีย "Щ" สามารถแปลเป็น "shch," "sch," "sh," หรือ "sc" ขึ้นอยู่กับระบบการแปลแบบใดที่นำมาใช้ มาตรฐาน ICAO (องค์การการบินพลเรือนระหว่างประเทศ) ที่ใช้สำหรับหนังสือเดินทาง ระบุว่า "shch" ระบบ BGN/PCGN ที่ใช้โดยหน่วยงานรัฐสหรัฐและสหราชอาณาจักร ระบุว่า "shch" ระบบ ISO 9 ที่ใช้ในบริบทวิชาการ ระบุอักษรเดียวที่มีเครื่องหมายแยกต่างหาก บุคคลที่ชื่อ "Щербаков" ต้องรู้ว่าหนังสือเดินทางของพวกเขาจะอ่าน "Shcherbakov" และเอกสารอื่นๆ ทั้งหมดที่เกี่ยวกับชื่อของพวกเขาต้องตรงกับการแปลอักษรนี้ API รองรับมาตรฐานการแปลอักษรหลายตัว และอนุญาตให้ผู้เรียกใช้ระบุว่าจะใช้มาตรฐานใด เพื่อให้แน่ใจว่าผลลัพธ์ตรงกับข้อกำหนดของบริบทเฉพาะ

Transliteration ชื่ออาหรับเพิ่มความซับซ้อนเพิ่มเติม เนื่องจากอักษรอาหรับมีพื้นฐาน abjad หมายความว่าสระมักจะละเว้นจากข้อความที่เขียนและต้องอนุมานสำหรับการแปลอักษร ชื่อ "محمد" (Muhammad) สามารถแปลเป็น Muhammad, Mohamed, Mohammed, Muhammed หรือตัวแปรอื่นๆ อีกหลายตัว ขึ้นอยู่กับระบบการแปลอักษรและการออกเสียงในระดับภูมิภาค API ใช้การแมปที่สม่ำเสมอและปฏิบัติตามมาตรฐาน ซึ่งสร้างตัวแปรที่ยอมรับกันอย่างกว้างขวาง ในขณะที่เอกสารระบุสะกดทางเลือกที่มาตรฐานต่างๆ สร้างสำหรับชื่อที่แปลอักษรอย่างกว้างขวาง

ระบบอพยพและรัฐบาลที่ประมวลผลแอปพลิเคชั่นจากหลายประเทศ ได้รับประโยชน์จาก transliteration ที่เป็นมาตรฐาน ซึ่งสร้างผลลัพธ์ที่สม่ำเสมอ โดยไม่คำนึงถึงตัวดำเนินการที่ประมวลผลแอปพลิเคชั่น โดยไม่มี API-based transliteration ตัวดำเนินการแต่ละคน ใช้การแปลอักษรโดยสัญชาตญาณของตนเอง ซึ่งสร้างผลลัพธ์ที่ไม่สม่ำเสมอ ซึ่งทำให้การจับคู่ฐานข้อมูล การตรวจสอบตัวตน และการเชื่อมโยงบันทึก มีความซับซ้อน Transliteration ที่เป็นมาตรฐาน ผ่าน API ทำให้แน่ใจว่าข้อความต้นทางเดียวกันสร้างผลลัพธ์ละติน เดียวกันเสมอ ซึ่งจำเป็นสำหรับระบบที่อาศัยการจับคู่สตริงสำหรับการตรวจสอบตัวตน

การทำให้เป็นปกติในการค้นหา และการค้นหาเนื้อหาข้ามอักษร

ระบบค้นหาเผชิญความท้าทายพื้นฐาน เมื่อคลังค้นหาประกอบด้วยเนื้อหาในหลายอักษร: ผู้ใช้ที่ค้นหาในอักษรหนึ่ง ควรจะสามารถค้นหาเนื้อหาที่เก็บไว้ในอักษรอื่นหากเนื้อหามีความเกี่ยวข้องทางความหมาย ผู้ใช้รัสเซีย ค้นหา "Москва" (มอสโก) ควรค้นหาเนื้อหาที่อ้างอิง "Moskva" ในดัชนีอักษรละติน ผู้ใช้อังกฤษค้นหา "Moscow" ควรค้นหาเนื้อหาที่เก็บไว้กับต้นฉบับซีริลลิก "Москва" การจับคู่ข้ามอักษรนี้ต้องการชั้นการทำให้เป็นปกติที่แปลอักษรแบบสอบถาม และเนื้อหาที่จัดทำดัชนี เป็นอักษรทั่วไป ก่อนที่จะจับคู่

API transliteration ทำหน้าที่เป็นชั้นการทำให้เป็นปกตินี้ ในเวลาที่จัดทำดัชนี เนื้อหาที่ไม่ใช่ละติน จะแปลเป็นละติน และเก็บไว้ควบคู่กับต้นฉบับ เป็นอักษร ในเวลาแบบสอบถาม แบบสอบถามที่ไม่ใช่ละติน จะแปลก่อนที่จะจับคู่กับดัชนีที่เป็นปกติแบบละติน วิธีการดัชนีแบบคู่นี้ ทำให้แน่ใจว่าการค้นหาในอักษรที่รองรับใดๆ ค้นหาเนื้อหาที่เก็บไว้ในอักษรที่รองรับใดๆ เนื่องจากการจับคู่ เกิดขึ้นในพื้นที่ที่เป็นปกติแบบละติน โดยมีความแตกต่างของอักษร

ความแม่นยำของการแปลอักษร ส่งผลโดยตรงต่อความเกี่ยวข้องของการค้นหา ในแอปพลิเคชั่นนี้ การแปลอักษรที่ไม่ถูกต้อง สร้างแบบฟอร์มปกติที่ไม่ตรงกับแบบฟอร์มปกติที่ถูกต้อง ของคำเดียวกัน จากต้นทางต่างๆ ซึ่งสร้างค่าลบเท็จ (เนื้อหาที่เกี่ยวข้องไม่พบ) การแปลอักษรที่สร้างผลลัพธ์ที่คลุมเครือ ที่มีคำต้นทางต่างๆ แมปเป็นสตริงละติน เดียวกัน สร้างค่าบวกเท็จ (พบเนื้อหาที่ไม่เกี่ยวข้อง) การแมปที่ถูกต้องตามเสียง ของ API ลดข้อผิดพลาดทั้งสองประเภท แม้ว่าความคลุมเครือบางอย่างมีอยู่ในระบบการแปลอักษรใดๆ เนื่องจากอักษรต่างๆ เข้ารหัสความแตกต่างของเสียงต่างๆ

แพลตฟอร์มเพลง ฐานข้อมูลหนังสือ และแคตตาล็อกสื่อ เป็นผู้ใช้ที่มากมายของการทำให้เป็นปกติการค้นหาที่ใช้ transliteration เนื่องจากแคตตาล็อกของพวกเขามีอักษรหลายสิบ ศิลปินชื่อ ซึ่งเก็บไว้ในซีริลลิก ในแคตตาล็อกรัสเซีย ละติน ในแคตตาล็อกสหรัฐ และตัวอักษร katakana ญี่ปุ่น ในแคตตาล็อกญี่ปุ่น ต้องค้นหาได้ผ่านการค้นหาครั้งเดียว โดยไม่คำนึงถึงอักษรที่ผู้ใช้พิมพ์ การทำให้เป็นปกติ transliteration ทำให้สิ่งนี้เป็นไปได้ โดยลดตัวแปรทั้งหมดของอักษร เป็นแบบฟอร์มละติน ทั่วไป ซึ่งทำหน้าที่เป็นคีย์การจับคู่

อักษรที่รองรับ และขอบเขตของการแปลงอักษร

Transliterator API รองรับการแปลงจาก Cyrillic (รัสเซีย ยูเครน บัลแกเรีย เซอร์เบีย และภาษาอื่นๆ ที่ใช้ซีริลลิก) อาหรับ (รวมถึงตัวแปร เปอร์เซีย และอูรดู) กรีก เทวนาครี (ฮินดี สันสกฤต มาราฐี) เบงกาลี ไทย จอร์เจีย อาร์เมเนีย ฮิบรู โคเรีย (โรมัน แสดง Hangul) ญี่ปุ่น (romaji การแปลงสำหรับ hiragana และ katakana) และจีน (pinyin การแปลงสำหรับตัวอักษรแบบง่ายและแบบเต็ม) แต่ละคู่อักษรมีกฎการแปลอักษร เฉพาะ ที่นับuchพยายาม คุณสมบัติเสียง ของอักษรต้นทาง และความสามารถในการแทนค่าของอักษรละติน

กฎการแปลงนี้ไม่ใช่ตัวเดียวสำหรับภาษาทั้งหมด ที่ใช้ร่วมอักษร ซีริลลิกรัสเซีย และซีริลลิกยูเครน ใช้ตัวอักษร เดียวกัน แต่มีอักษรต่างกัน และแบบแผนการออกเสียง ต่างๆ สำหรับอักษรร่วม API แยกความแตกต่างระหว่างอินพุตรัสเซีย และยูเครน และใช้กฎการแปลอักษร เฉพาะแต่ละภาษา ซึ่งจำเป็นสำหรับความแม่นยำ เนื่องจากอักษรเดียวกันสามารถแทนเสียง ต่างๆ ได้ ในภาษาต่างๆ ที่ใช้ซีริลลิก การรับรู้ภาษานี้ขยายไปยังอักษรหลายภาษาอื่นๆ เพื่อให้แน่ใจว่า transliteration สะท้อนแบบแผนการออกเสียง ของภาษาต้นทางเฉพาะ แทนที่จะใช้การแมป ระดับอักษรทั่วไป

ผลลัพธ์คือข้อความละติน บริสุทธิ์ โดยใช้อักษร ASCII ตามค่าเริ่มต้น พร้อมตัวเลือกในการรวมเครื่องหมายแยกต่างหาก สำหรับระบบการแปลอักษร ที่ใช้ (เช่น ISO 9 สำหรับซีริลลิก หรือ ISO 233 สำหรับอาหรับ) ผลลัพธ์ที่มีเฉพาะ ASCII นั้นเหมาะสำหรับแอปพลิเคชั่นทางเทคนิค เช่น URL slug ชื่อไฟล์ และตัวระบุฐานข้อมูล ที่เครื่องหมายแยกต่างหากก่อให้เกิดปัญหาความเข้ากันได้ ผลลัพธ์ที่มีเครื่องหมายแยกต่างหากนั้นเหมาะสำหรับแอปพลิเคชั่น ที่ความแม่นยำทางเสียง มีความสำคัญมากกว่าความเข้ากันได้สากล เช่น สิ่งพิมพ์ทางวิชาการ และฐานข้อมูลภาษาศาสตร์

การแปลงแบบทิศทางสองทาง รองรับ สำหรับคู่อักษร ที่การแมป สามารถกลับด้านได้ ซีริลลิกเป็นละติน และละติน เป็นซีริลลิก ทั้งสองใช้ได้ ซึ่งช่วยให้สามารถแปลงแบบรอบนอก ที่ข้อความต้นฉบับ สามารถกู้คืนจากแบบฟอร์มการแปลอักษรได้โดยประมาณ การกลับด้านนี้ เป็นโดยประมาณ แทนที่จะแน่นอน สำหรับอักษรบางตัว เนื่องจาก transliteration นั้นแพ่งธรรมชาติ เมื่อต้นทางอักษร แยกความแตกต่างของเสียง ที่อักษรเป้าหมายไม่ได้ แต่สำหรับวัตถุประสงค์ส่วนใหญ่ คุณภาพการกลับด้านรอบนอก นั้นเพียงพอสำหรับการรู้จำของมนุษย์