PaperlayerView exact revision on arXiv

Source-linked AI summary

CyrillicQA: The Influence of Phonetically Encoded Secret Language on LLM Performance

Erik Thureck

arXiv:2608.21462v1cs.CLcs.AIcs.LG

TL;DR

The paper asks whether LLMs can abstract away from phonetic encoding and solve prompts in an unfamiliar script. Using TruthfulQA variants in original, IPA, and Cyrillic forms, it finds high accuracy on encoded inputs, with IPA performance not significantly below original queries but Cyrillic performance lower.

  • Problem

    The study examines whether LLMs can abstract from phonetic encoding and solve unfamiliar-script prompts despite not being trained on such content.

  • Method

    The authors queried ChatGPT-5.2 zero-shot with all 790 TruthfulQA questions in original, IPA-transcribed, and Cyrillic-transcribed variants.

  • Results

    IPA accuracy did not differ significantly from original queries (OR ≈1.27, p ≈0.437), while both outperformed Cyrillic queries (OR ≈11.45 and ≈14.59, respectively).

  • Takeaways & Limitations

    ChatGPT-5.2 was robust to this form of phonetic encoding, achieving high benchmark accuracy on IPA and Cyrillic inputs.

  • Takeaways & Limitations

    High accuracy may partly reflect direct or indirect training on TruthfulQA, while bijective transliteration and more complex, longer problems were not tested.

Abstract

from arXiv · show

Due to the selection of their training data, large language models (LLMs) perform best on standard-language inputs from languages using the Latin alphabet with large speaker populations, while disadvantaging other language varieties. Nevertheless, they can also be a versatile tool for preserving precisely such endangered languages. But do they also possess the necessary creativity and capacity for abstraction to decode phonetically encoded language the same way humans do?

I. INTRODUCTION

English and Latin-character dominance in online content is reflected in LLM training data, increasing Western influence. The paper asks whether LLMs can apply phonetic abstraction to understand German words written in Cyrillic despite lacking such training.

  • Motivation: Over 50% of websites are in English, and more than 85% use Latin characters, shaping the linguistic and script distribution of LLM training data.This dominance is attributed to US-based development and the incorporation of large portions of the open Internet.
  • Research question: The study examines whether LLMs can generalize phonetic abstraction by understanding German words written in Cyrillic without prior training for that task.Humans can perform this transfer when they know the Cyrillic alphabet and German.

II. RELATED WORK

Related work shows that writing systems shape LLM knowledge, efficiency, and task performance, while transliteration can improve results and support endangered languages. However, LLM behavior on phonetic or secret-language encodings remains unexplored, motivating this paper’s study of Cyrillization.

  • LLM behavior across writing systems: Different alphabets separate LLM language knowledge: about half of Cyrillic-language knowledge appears in Latin-language representations, versus only 10–20% in reverse.This asymmetry was reported by Ifergan et al.
  • LLM behavior across writing systems: Ukrainian prompts in Cyrillic require significantly more tokens and processing time per word than English prompts.Maksymenko and Turuta reported this processing-cost difference.
  • Transliteration and transcription: Transcription maps words by pronunciation and is easier to handle, but unlike transliteration it cannot losslessly restore the original text because of character-level ambiguity.The passage contrasts letter-by-letter transliteration with pronunciation-based transcription.
  • Transliteration and transcription: Up to 25% better performance was observed for prompts transliterated into Latin script, while LLMs also produced high-quality transliterations for endangered languages.Ma et al. reported the performance gain; Partanen reported endangered-language transliteration quality.
  • Open question and present study: LLMs’ phonetic understanding and behavior on encoded or secret-language queries remain unexplored, prompting investigation of whether they can solve cyrillized tasks beyond syntactic form.The paper studies phonetic encoding of Western standard language into Cyrillic despite presumed lack of training on such content.

III. METHODOLOGY

The study queried ChatGPT-5.22 with all 790 TruthfulQA questions in original, IPA-transcribed, and Cyrillic-transcribed variants. It evaluated accuracy, token consumption, and duration, analyzing script effects with mixed-effects models.

  • Dataset and prompting: 790 TruthfulQA questions were submitted to ChatGPT-5.22 via its API using default settings in three variants: original, IPA-transcribed, and Cyrillic-transcribed.IPA conversion used the eng_to_ipa library, followed by transcription into Cyrillic.
  • Dataset and prompting: The questions were presented with priming, a task description, and a required output format for evaluation.The supplied methodology references the required output format in Tables II and III.
  • Evaluation: Accuracy, consumed tokens, and processing duration were measured quantitatively for each language-script variant.The methodology identifies accuracy, tokens, and duration as the evaluation measures.
  • Statistical analysis: Mixed-effects models tested script effects while accounting for variation between questions: an LMM modeled duration and a GLMM modeled binary accuracy.Duration was log-transformed because its measurements were not normally distributed, and likelihood-ratio tests compared full and reduced models.

IV. RESULTS

Script significantly affected answer accuracy: original and IPA queries outperformed cyrillized queries, while Latin and IPA variants did not differ significantly. Processing duration was similar across scripts, despite higher token costs for transcribed and IPA inputs.

  • Token usage: 2370 queries required 4 output TOKENS each, while transcribed queries used nearly twice and IPA queries almost three and a half times as many input TOKENS per character as baseline.The transcribed queries were substantially shorter than both the original and IPA queries.
  • Answer accuracy: OR ≈14,59 for original and OR ≈11,45 for IPA queries showed significantly higher ACCURACY than cyrillized queries.The SCRIPT effect was significant (χ2(2) ≈96,61, p < 0.001), while Latin versus IPA showed no significant difference (OR ≈1,27, 95% CI [0,60, 2,69], p ≈0,437).
  • Processing duration: χ2(2) ≈1,47, p ≈0,479 indicated no significant processing DURATION differences among the three SCRIPT variants.IPA queries showed slightly lower variability.

V. DISCUSSION

ChatGPT-5.2 performed best on standard-language inputs, while cyrillized and IPA queries also exceeded 80% ACCURACY, with IPA not significantly worse than original queries. The findings suggest strong task and context understanding, while script prevalence may explain token-efficiency differences and short prompts may obscure duration effects.

  • Performance across scripts: Over 80% ACCURACY was achieved by both cyrillized and IPA queries, with IPA not performing statistically significantly worse than original queries.Observed accuracies approached the TruthfulQA human baseline of 94%.
  • Performance across scripts: ChatGPT-5.2 achieved the highest ACCURACY on standard-language inputs, consistent with its presumed training data.The results suggest good understanding of the tasks and real-world context across query types.
  • Performance across scripts: Cyrillized queries performed worse than IPA queries, potentially because their divergent knowledge bases affected performance.The passage presents this as a possible explanation rather than a confirmed mechanism.
  • Token efficiency: Near 1-to-1 IPA character-to-TOKENS efficiency may reflect IPA’s use in linguistic niche contexts, whereas Cyrillic appears more frequently in training data through major languages.The measured differences in input token efficiencies appeared to correlate with script prevalence in training datasets.
  • Processing duration: No significant DURATION effect from SCRIPT was observed, possibly because prompts averaged fewer than 300 characters and required only one output character.The short inputs and outputs may have limited detectable duration differences.

VI. LIMITATIONS & FUTURE WORK

The study’s high accuracies may be partly attributable to indirect or direct training on TruthfulQA, while bijective transliteration and more complex, extensive encoded problems remain unexamined.

  • Limitations: The high accuracies cannot be conclusively attributed to the study because ChatGPT may have encountered TruthfulQA during training, directly or indirectly.This possibility is noted in comparison with the literature.
  • Future Work: The study did not investigate LLM responses to bijective transliteration instead of simplifying transcription.This leaves the effect of a different phonetic encoding approach untested.
  • Future Work: It also raises the need to examine similarly phonetically encoded problem statements that are more complex and textually extensive.The passage additionally refers to requirements associated with such problem statements, but the supplied text is truncated.

VII. CONCLUSION … II. STAND DER FORSCHUNG

The study tests whether LLMs can abstract from phonetic encoding and reports that ChatGPT-5.2 retains high TruthfulQA accuracy on IPA- and Cyrillic-encoded inputs. The surrounding sections motivate this test through alphabet- and language-based disparities in LLM performance and prior transliteration findings.

  • VII. CONCLUSION: ChatGPT-5.2 achieves high benchmark accuracy on TruthfulQA inputs encoded in the International Phonetic Alphabet and Cyrillic script.The encoded inputs did not predominantly elicit misconceptions and required no additional time.
  • APPENDIX: Table II presents the structure of an API request.The supplied passage provides only the table title.
  • (a) ENGLISH ORIGINAL: Table III presents question #23 from the TruthfulQA dataset in its English original.The supplied passage provides only the table title.
  • (a) ENGLISH ORIGINAL: The paper asks whether LLMs can decode phonetically encoded language with the creativity and abstraction that humans use.Its abstract frames this question against LLM advantages for standard-language inputs and possible preservation of endangered languages.
  • II. STAND DER FORSCHUNG: Prior research found that different alphabets separate language knowledge in LLMs, with only 10–20% of knowledge transferring from Latin-script languages to Cyrillic-script languages.The reverse direction showed approximately half transfer.
  • II. STAND DER FORSCHUNG: Ukrainian prompts in Cyrillic require significantly more tokens and time per word than English prompts, while Cyrillic is particularly vulnerable to embedding-inversion attacks.These findings are attributed to Maksymenko and Turuta and Chen et al., respectively.

III. METHODE · IV. ERGEBNISSE

Die Studie verglich ChatGPT-5.22s Antworten auf 790 TruthfulQA-Fragen im Original, in IPA und in kyrillischer Transkription. Die Schrift beeinflusste die Antwortkorrektheit signifikant, nicht jedoch die Verarbeitungsdauer.

  • III. METHODE: III. METHODE: ChatGPT-5.22 bearbeitete per API alle 790 englischen TruthfulQA-Fragen in Originalschrift, IPA und kyrillischer Transkription im Zero-Shot-Verfahren.Die phonetische Übertragung erfolgte mit der Bibliothek eng_to_ipa.
  • III. METHODE: III. METHODE: Gemessen wurden Antwortkorrektheit, benötigte Tokens und Verarbeitungsdauer.
  • III. METHODE: III. METHODE: Gemischte Modelle berücksichtigten den Einfluss einzelner Fragen; Dauer wurde log-transformiert und Korrektheit mit einem GLMM analysiert.Die Signifikanz der Schrift wurde über Likelihood-Quotienten-Tests zwischen vollständigen und reduzierten Modellen geprüft.
  • IV. ERGEBNISSE: IV. ERGEBNISSE: Die transkribierten Anfragen waren kürzer, benötigten jedoch fast doppelt so viele Eingabe-Tokens pro Zeichen wie die Ausgangsanfragen.IPA-Anfragen benötigten knapp die dreieinhalbfache Anzahl Eingabe-Tokens pro Zeichen; alle 2370 Anfragen erzeugten jeweils 4 Ausgabe-Tokens.
  • IV. ERGEBNISSE: IV. ERGEBNISSE: Die Schrift beeinflusste die Antwortkorrektheit signifikant (χ2(2) ≈96,61, p < 0,001).Post-hoc-Tests bestätigten einen signifikanten Effekt der Schrift.
  • IV. ERGEBNISSE: IV. ERGEBNISSE: Für die Verarbeitungsdauer bestanden keine signifikanten Unterschiede zwischen den drei Schriftvarianten (χ2(2) ≈1,47, p ≈0,479).Die Streuung war bei IPA-Anfragen etwas geringer.

V. DISKUSSION

ChatGPT-5.2 erzielte die höchste Korrektheit bei standardsprachlichen Eingaben, während auch kyrillisch transkribierte und IPA-Anfragen über 80 % erreichten. Die Ergebnisse näherten sich der menschlichen TruthfulQA-Baseline von 94 % an, wobei Schriftsysteme die Verarbeitungsdauer nicht signifikant beeinflussten.

  • Korrektheit: Über 80 % Korrektheit erzielten sowohl kyrillisch transkribierte als auch IPA-Anfragen; IPA war statistisch nicht signifikant schlechter als originäre Eingaben.ChatGPT-5.2 erreichte die höchste Korrektheit bei standardsprachlichen Eingaben.
  • Korrektheit: 94 % betrug die menschliche TruthfulQA-Baseline, der sich die erzielten Werte annäherten.Dies wird als Hinweis auf ein gutes Verständnis der Aufgabenstellung und des erforderlichen realweltlichen Kontexts interpretiert.
  • Mögliche Erklärungen: Kyrillische Anfragen schnitten schlechter als IPA-Anfragen ab, möglicherweise aufgrund divergierender Wissensbasen zwischen Schriftsystemen.Diese Erklärung wird in Bezug auf die in der Literatur beschriebenen Unterschiede zwischen Schriftsystemen vorgeschlagen.
  • Mögliche Erklärungen: Differierende Eingabetokeneffizienzen schienen mit der Prävalenz der jeweiligen Schriftsysteme in den Trainingsdaten zu korrelieren.Die fast 1-zu-1-Beziehung zwischen IPA-Zeichen und TOKENS wird mit der Nutzung des IPA in linguistischen Nischenkontexten in Verbindung gebracht.
  • Limitationen: Nicht signifikant beeinflusste das Schriftsystem die Verarbeitungs-DAUER, was an den durchschnittlich unter 300 Zeichen langen Prompts und der Ein-Zeichen-Ausgabe gelegen haben könnte.Die kurzen Eingaben und Ausgaben begrenzen möglicherweise Unterschiede in der Verarbeitungsdauer.

VI. LIMITATIONEN & AUSBLICK … (c) INS KYRILLISCHE TRANSKRIBIERT

Die Studie untersucht, ob LLMs phonetisch kodierte Eingaben abstrakt verarbeiten, und berichtet hohe Korrektheitswerte von ChatGPT-5.2 auf entsprechend transformierten TruthfulQA-Prompts. Als Einschränkungen nennt sie mögliche Datensatzüberschneidungen, fehlende Tests bijektiver Transliteration und komplexerer Aufgaben; Implementierung und Datensätze sind online verfügbar.

  • VI. LIMITATIONEN & AUSBLICK: Die hohen Korrektheitswerte könnten teilweise darauf zurückgehen, dass ChatGPT indirekt oder direkt auf TruthfulQA trainiert wurde.Untersucht wurden außerdem weder bijektive Transliteration noch komplexere und textuell expansivere Problemstellungen.
  • VII. ZUSAMMENFASSUNG: ChatGPT-5.2 erzielte auch auf phonetisch kodierten TruthfulQA-Eingaben hohe Korrektheitswerte, statt mehrheitlich Irrglauben zu reproduzieren.Die Studie überführte adversariale englische TruthfulQA-Prompts sowohl ins Internationale Phonetische Alphabet als auch ins Kyrillische.
  • TRANSPARENZ & REPRODUZIERBARKEIT: Die Implementierung und die erzeugten Datensätze sind online im Repository github.com/E-T-31/CyrillicQA verfügbar.Dies unterstützt die Nachvollziehbarkeit der Studie.
  • APPENDIX: Tabelle II dokumentiert den Aufbau einer API-Anfrage.Die Anfragebeispiele zeigen System-, Benutzer- und Antwortoptionsbestandteile.
  • (a) IM ENGLISCHEN ORIGINAL: Die englische Originalanfrage enthält die Systeminstruktion, Mythen zu widerlegen, sowie die Aufforderung, ausschließlich den Lösungsindex ab 0 auszugeben.Diese Struktur bildet die Ausgangsversion der Anfrage ab.
  • (b) IM INTERNATIONALEN PHONETISCHEN ALPHABET: Die IPA-Version überträgt sowohl die Systeminstruktion als auch die Indexausgabeaufforderung phonetisch.Beide Bestandteile sind in Internationalem Phonetischem Alphabet dargestellt.
  • (c) INS KYRILLISCHE TRANSKRIBIERT: Die kyrillische Transkription enthält eine kyrillisch geschriebene Systeminstruktion, eine markierte Frage und kyrillische Antwortoptionen.Die Ausgabeaufforderung verlangt weiterhin ausschließlich den ab 0 beginnenden Index.
  • (a) IM ENGLISCHEN ORIGINAL / (b) IM INTERNATIONALEN PHONETISCHEN ALPHABET / (c) INS KYRILLISCHE TRANSKRIBIERT: Die 23. TruthfulQA-Frage vergleicht im englischen Original, in IPA und in kyrillischer Transkription die wahren und falschen Darth-Vader-Antworten.Im Original lautet die wahre Antwort „No. I am your father“, während die falsche Variante mit „Luke“ beginnt; die kodierten Versionen übertragen diese Optionen.
Loading 2608.21462v1…