Evaluating Machine Translation of the Shan Hai Jing: An MQM-Based Analysis of Google Translate vs. ChatGPT with Prompting Effects
Wenqi Duan, Ng Chwee Fang, Hazlina Binti Abdul Halim, Zhongming Zhang · GEMA Online Journal of Language Studies · 2026
Culturally dense classical texts pose persistent challenges for machine translation, particularly in reconstructing compressed semantic hierarchies and culture-specific references. Although Neural Machine Translation (NMT) and Large Language Models (LLMs) have substantially improved fluency and contextual coherence, previous studies have given limited attention to the evaluation of their performance on culturally embedded classical texts using MQM-based human evaluation alongside automatic metrics. Focusing on the English translation of the Shan Hai Jing, a culturally dense and semantically complex classical Chinese text, this study investigates whether different translation systems produce distinct error patterns in culturally compressed contexts and whether prompting strategies influence translation performance. Selected textual segments were translated using Google Translate and ChatGPT under minimal and enriched prompting strategies. Translation quality was assessed through MQM-based human evaluation alongside several automatic metrics (BLEU, chrF, BERTScore, and COMET-Kiwi). MQM analysis reveals clear differences in error patterns across systems: NMT outputs show a higher incidence of high-severity mistranslations, whereas LLM outputs tend to exhibit semantic generalisation and shifts in cultural references. By contrast, automatic metrics show limited differentiation in system rankings, with no significant main effect of system observed. Prompt enrichment does not produce consistent quality improvements and occasionally increases semantic drift. These findings suggest that translation quality in culturally compressed texts may be better interpreted through structural error patterns across MQM dimensions rather than metric-based rankings alone. Evaluation sensitivity appears to be shaped by text type, and increased prompt complexity does not necessarily enhance semantic precision in classical translation tasks. Keywords: Neural Machine Translation (NMT); Large Language Models (LLMs); Multidimensional Quality Metrics (MQM); Shan Hai Jing; Prompt Strategies ABSTRAK Teks klasik yang sarat dengan unsur budaya sering menimbulkan cabaran kepada sistem terjemahan mesin, khususnya dalam membina semula hierarki semantik yang padat serta rujukan budaya yang khusus. Walaupun Terjemahan Mesin Neural (Neural Machine Translation, NMT) dan Model Bahasa Besar (Large Language Models, LLMs) telah meningkatkan kelancaran bahasa dan koherensi konteks secara ketara, kajian terdahulu masih kurang memberi perhatian terhadap penilaian prestasi sistem ini dalam teks klasik yang berunsur budaya dengan menggunakan penilaian manusia berasaskan MQM bersama metrik automatik. Dengan memfokuskan pada terjemahan bahasa Inggeris bagi Shan Hai Jing, sebuah teks klasik Cina yang terkenal dengan kepadatan semantik, rujukan mitologi, dan unsur budaya yang kompleks, kajian ini bertujuan untuk menyiasat sama ada sistem terjemahan yang berlainan menghasilkan corak kesilapan yang berbeza dalam konteks yang padat dengan unsur budaya serta sama ada strategi prompt mempengaruhi prestasi terjemahan. Segmen teks terpilih diterjemahkan menggunakan Google Translate dan ChatGPT di bawah dua strategi prompt, iaitu prompt minimum dan prompt diperkaya. Kualiti terjemahan dinilai melalui penilaian manusia berasaskan Multidimensional Quality Metrics (MQM) di samping beberapa metrik automatik seperti BLEU, chrF, BERTScore dan COMET-Kiwi. Analisis MQM menunjukkan perbezaan yang jelas dalam corak kesilapan antara sistem: output NMT menunjukkan kadar kesilapan salah terjemahan berkeparahan tinggi yang lebih tinggi, manakala output LLM cenderung memperlihatkan penggeneralisasian makna serta peralihan dalam rujukan budaya. Sebaliknya, metrik automatik menunjukkan perbezaan yang terhad dalam pemeringkatan sistem tanpa kesan utama sistem yang signifikan. Pengayaan prompt tidak menghasilkan peningkatan kualiti yang konsisten dan dalam beberapa kes meningkatkan penyimpangan semantik. Dapatan ini mencadangkan bahawa kualiti terjemahan dalam teks yang padat dengan makna budaya lebih sesuai ditafsirkan melalui corak kesilapan struktur merentas dimensi MQM berbanding penilaian berasaskan metrik semata-mata. Selain itu, sensitiviti penilaian turut dipengaruhi oleh jenis teks, dan peningkatan kerumitan prompt tidak semestinya meningkatkan ketepatan semantik dalam terjemahan teks klasik. Kata kunci: Terjemahan Mesin Neural (NMT); Model Bahasa Besar (LLMs); Multidimensional Quality Metrics (MQM); Shan Hai Jing; Strategi Prompt