Cosa c'è dietro le notizie sensazionali sul manoscritto Voynich e sugli scienziati russi, è possibile determinare con precisione la lingua dal testo, quanto siano adeguati i matematici nel lavorare sul "campo" della linguistica.
Il 19 aprile, i media russi hanno diffuso notizie sulla scoperta "epocale" dei matematici russi: gli scienziati che hanno utilizzato il nuovo metodo non solo hanno dimostrato la significatività del famoso "manoscritto Voynich", ma sono stati anche in grado di stabilire che era scritto in due lingue e con l'eccezione delle lettere per vocali.
Il Manoscritto Voynich è un manoscritto illustrato medievale acquistato nel 1912 dall'antiquario Wilfred Voynich. Creato nel XV secolo (basato sull'analisi al radiocarbonio della pergamena - ma la maggior parte degli studiosi al momento non considera il testo stesso un falso successivo), è scritto in una lingua sconosciuta utilizzando un alfabeto sconosciuto. A giudicare dalle illustrazioni, il testo è costituito da blocchi tematici: botanico, astronomico, farmacologico e altri. La complessità della decodifica del testo ha reso il manoscritto Voynich un "santo graal" per i crittografi e oggetto di molti studi, compresi quelli che utilizzano metodi Big Data.
La notizia del manoscritto è stata riportata come qualcosa di sensazionale. Ciò suscitò immediatamente qualche preoccupazione. “Prima di allora, tutti i tentativi di decifrare un documento unico e anche solo di capire se si tratta di un testo significativo fallirono. 600 anni di sforzi inutili!.. I crittografi della CIA e della NSA, i supercomputer e persino i dottori delle "scienze occulte" hanno firmato la loro totale impotenza. L'ultimo post del crittologo Gordon Rugg della Keele University nel Regno Unito recita: “Il manoscritto Voynich è un falso. Un tale "testo complesso" è facile da costruire per chiunque abbia familiarità con semplici metodi di copia ", afferma l'articolo.
In primo luogo, la significatività del testo è stata riconosciuta negli anni '70 e più volte confermata negli studi degli anni 2010, di cui si è parlato in modo sufficientemente dettagliato anche nei media nazionali. In secondo luogo, la scoperta presentata alla notizia è stata presentata solo sotto forma di prestampa dell'istituto e non in un articolo su una rivista internazionale peer-reviewed (anche la preprint è stata pubblicata nel 2016).
Queste stranezze nella presentazione del materiale ci hanno costretto a chiedere chiarimenti prima all'autore dello studio e poi a esperti indipendenti - linguisti che lavorano con metodi statistici e matematici, nonché con la decodifica di scritture antiche.
È facile scrivere una formula, ma è molto costoso eseguire un'analisi numerica
Video promozionale:
Innanzitutto, brevemente sull'essenza dello studio. Gli autori del prestampa, matematici dell'Istituto di fisica e tecnologia di Mosca e dell'Istituto di matematica applicata dell'Accademia delle scienze russa, si affidano alle loro opere, secondo cui "le distribuzioni di frequenza dei simboli testuali sono una caratteristica stabile non dell'autore o del soggetto del testo, ma della lingua". Cioè, utilizzando un set con l'ausilio di strumenti matematici, è possibile determinare in quale lingua è scritto, per il fatto che ogni lingua ha il proprio "profilo" caratteristico (distribuzione dell'esponente di Hurst). Inoltre, prendendo questi metodi come base, gli scienziati hanno stabilito che il testo del manoscritto era scritto in una miscela di diverse lingue. Allo stesso tempo, sono stati aggiunti falsi spazi e sono stati rimossi i simboli che denotano i suoni vocalici.
L'autore principale dello studio, Yuri Orlov (IPM RAS e MIPT), ha sottolineato che il manoscritto Voynich non è affatto l'obiettivo principale del loro lavoro. "Il manoscritto" sensazionale "è solo un'illustrazione del metodo matematico di riconoscimento delle lingue dal testo - un problema, infatti, per l'apprendimento automatico", ha detto Orlov.
Il manoscritto in sé non è assolutamente interessante per noi. La scienza si riferisce specificamente alla statistica delle lingue. Attraverso di esso, possiamo capire in quale lingua è scritto questo manoscritto. Ma non quello che c'è scritto lì, questo è un punto importante. - Yuri Orlov. MIPT e l'Istituto di matematica applicata intitolato a M. V. Keldysh
Per quanto riguarda il metodo linguistico utilizzato nel lavoro, Orlov osserva che l'analisi della frequenza delle combinazioni di lettere nei testi stessi è una cosa ben nota. Tuttavia, l'indicatore di Hurst è poco noto ai linguisti, poiché è difficile da calcolare anche in termini matematici. La formula stessa è facile da scrivere, ma l'analisi numerica è molto costosa. Per questo, il supercomputer situato presso l'Istituto intitolato a M. V. Keldysh, sottolinea il matematico.
La scelta delle lingue indoeuropee per l'analisi è spiegata dal fatto che sono tutte molto simili, dice Orlov. Gli indicatori sviluppati dai matematici rendono facile distinguere le lingue all'interno dello stesso gruppo linguistico, ma non tra famiglie. Certo, è teoricamente possibile svolgere lo stesso lavoro con altri gruppi (Ural, Altai o altri), ma il valore dell'analisi sta nella sua completezza, Orlov ne è certo. Nel caso delle lingue indoeuropee, non è difficile digitare un corpus di testi per ogni lingua; è più difficile farlo con altre famiglie.
Tornando al manoscritto Voynich, Orlov ha notato che lui ei suoi colleghi hanno citato cinque prove (il profilo logaritmico dell'ordinamento di frequenza delle lettere nel testo in una e più lingue, la distribuzione dell'esponente di Hurst, il ritratto spettrale della matrice delle probabilità condizionali, e altri) dell'ipotesi sulla miscela di lingue nel manoscritto e la cancellazione lettere per vocali. Hanno preso le distanze enfaticamente dal "ritrovo attorno al manoscritto", ma hanno presentato un risultato unico: un metodo aperto, un'analisi statistica con una valutazione di affidabilità che può essere verificata in modo indipendente.
La conclusione è svalutata dal fatto che non si capisce su quale materiale hanno derivato e su cosa hanno controllato la loro formula
La stessa supposizione che il testo del manoscritto Voynich sia privo di lettere per vocali, con spazi spaziati in modo errato è bello e buono, osserva la linguista Evgenia Korovina, che si occupa di statistica matematica del linguaggio (Istituto di linguistica, Accademia delle scienze russa). In precedenza, nessuno ha avanzato un'ipotesi del genere. Lei, ad esempio, spiega magnificamente perché ci sono meno lettere di quelle che ci si aspetterebbe da un testo europeo. Ma il problema è che gli autori dello studio non hanno nemmeno indicato quali testi nelle diverse lingue hanno confrontato e qual era il volume di questi test. Nel prestampa è menzionato un numero enorme di lingue. Pertanto, lo studio non è riproducibile: se prendi testi arbitrari nelle stesse lingue, non è un dato di fatto che usciranno gli stessi schemi.
Maria Molina, specialista in metodi corpus nello studio delle lingue antiche (Institute of Linguistics, RAS), è d'accordo con Korovina. Nuovi metodi di elaborazione dei dati linguistici, a suo avviso, aiutano a ottenere informazioni su ciò che prima era chiuso ai ricercatori linguistici. Tuttavia, un materiale di input non sufficientemente preparato spesso scredita anche le migliori tecniche di elaborazione dei dati.
La conclusione è svalutata dal fatto che non si capisce su quale materiale l'hanno ricavata e su quale base hanno testato la loro formula. Per il mio materiale, so per certo che c'è un piccolo errore metodologico e ottengo numeri criticamente diversi. - Maria Molina. Istituto di Linguistica RAS
"Garbage in - garbage out", aggiunge Molina (GIGO è un principio dell'informatica che significa che dati di input errati daranno risultati errati, anche se l'algoritmo stesso è corretto, - nota Indicator. Ru).
I metodi statistici sono ancora indizi di risultati, non risultati
Albert Davletshin (un impiegato del Centro di studi linguistici comparativi dell'Istituto di studi comparativi dell'Università statale russa di scienze umane, studia le lingue maya e polinesiana) ha parlato ancora più acutamente. Se gli autori del prestampa non intendevano decifrare il manoscritto Voynich, perché lo stanno facendo? Inoltre, se parliamo specificamente della decodifica di una scrittura sconosciuta, sorgono domande dopo domande: “Non ci sono dati iniziali sulla scrittura - che tipo di lettera? Come si ottengono le diverse trascrizioni? Quanti personaggi? Cosa sottende le ipotesi esistenti sulla natura della scrittura? Qual è la lunghezza di una parola separata da spazi e senza spazi? Cosa significano gli spazi? Quanto è grande il dizionario? Qual è il rapporto tra firme e disegni?
All'inizio si scopre che il testo è danese e solo danese (e questo è storicamente impossibile, di cui non c'è una parola nell'opera). Poi si scopre che il testo è in due lingue sconosciute (la verifica in questa fase risulta impossibile ed è presa per fede). Inoltre, ci sono molti modi conservativi per dimostrare che due pagine (grandi) sono scritte in una lettera, ma in lingue diverse, senza ricorrere a modelli matematici complessi. Infine, se le vocali vengono rimosse dal testo, quanto è confermato dai metodi standard noti da tempo (ad esempio, da Sukhotin, Shevoroshkina e Ventris)?"
Davletshin critica anche l'insensibilità alla filologia e alla storia, caratteristica di questo tipo di ricerca:
Quello che vedo nel testo: ci sono spesso persone che vogliono prendere la fonte X e dimenticare che è una fonte ed esiste in alcuni contesti storici, inclusi linguistici, e in qualche modo contano qualcosa in essa. L'ipotesi che ci sia più di una lingua in un manoscritto è interessante. Ma potresti in qualche modo dimostrarlo umanamente. I metodi statistici sono ancora indizi di risultati, non risultati. -Albert Davletshin. Centro per studi linguistici comparativi, IVKA RSUH
Non esiste un criterio per distinguere i risultati interessanti da quelli terribili
Una posizione più equilibrata è stata presa da Georgy Starostin, un esperto di linguistica storica comparata (RSUH). Era più interessato all'utilità dei nuovi metodi matematici per risolvere i problemi che devono affrontare i linguisti. “Il modello presentato nell'articolo fa una strana impressione. Da un lato, sembra appartenere alla categoria dei "ciechi", analizzando i dati del testo senza alcun giudizio preliminare sulla struttura dell'alfabeto (ad esempio, digrafi, come l'inglese ch, sh, dovrebbero essere considerati combinazioni di due lettere, sebbene questa sia suono). D'altra parte, le vocali vengono espulse dalle stringhe confrontate, che, secondo gli autori del testo, contengono meno informazioni e aggiungono piuttosto rumore. In generale, la base di test è chiaramente molto piccola, è impossibile parlare di qualcosa di fondamentale in così tante lingue ".
I risultati del confronto delle lingue indoeuropee e uraliche, presentati nella tabella comparativa 3 dell'articolo, non ispirano particolare ottimismo in Starostin. Alcuni indicatori del grado di prossimità delle lingue vengono catturati bene (ad esempio connessioni intra-germaniche o intra-romaniche), altri male (ad esempio, la metodologia non identifica più la famiglia indoeuropea). La cosa principale è che non esiste un criterio per distinguere i risultati interessanti da quelli terribili. Nel migliore dei casi, il metodo consente di individuare piccoli gruppi linguistici (sebbene anche qui non funzioni tra finlandese ed estone strettamente imparentati), ma tutti questi gruppi possono essere identificati in modo affidabile senza di esso.
Tabella 3 dal prestampa, che presenta i risultati confrontando le lingue indoeuropee e uraliche. Lo stesso colore nella tabella. Si identificano 3 gruppi di lingue che sono a due a due vicine (nel senso della norma L1 delle distribuzioni di frequenze ordinate nei testi senza vocale). Alcune coppie linguistiche inaspettatamente vicine sono contrassegnate in rosso, come tedesco / ungherese, inglese / estone, latino / basco e greco / finlandese. Autori di prestampa: Arutyunov A. A., Borisov L. A., Zenyuk D. A., Ivchenko A. Yu., Kirina-Lilinskaya E. P., Orlov Yu. N., Osminin K. P., Fedorov S. L., Shilin S. A.
Infine, è un'idea interessante determinare la caratteristica genetica di una lingua dalla distribuzione dell'esponente di Hurst e, forse, anche portata a un punto scientifico. Ma ciò richiederà l'elaborazione di un gran numero di testi in diverse lingue. E il problema sorge immediatamente: molte lingue non sono scritte e quanto sia corretto confrontare i sistemi di registrazione alfabetica con le trascrizioni fonetiche rimane poco chiaro. Ci sarà pochissimo senso pratico da questa idea, Starostin è sicuro. Nella migliore delle ipotesi, può davvero essere applicato a episodi come il manoscritto Voynich, quando si ipotizza che una lingua con una scrittura alfabetica standard sia crittografata secondo determinati principi (ad esempio, con la cancellazione di vocali, ecc.). Tuttavia, ci sono pochissimi incidenti di questo tipo nel mondo.
Riassumendo
Cosa c'è nella linea di fondo? La discussione sulla ricerca IPM e MIPT ha rivelato una profonda spaccatura tra la comunità linguistica (anche coloro che utilizzano metodi statistici) e gli "outsider" per quanto riguarda gli specialisti di linguistica che hanno deciso di applicare i loro strumenti matematici al materiale linguistico.
Il fatto che i matematici non vogliano collaborare con i linguisti non dà luogo solo a grossolani errori, che poi migrano sui media (ad esempio, la lingua basca nel prestampa è chiamata indoeuropea, c'è la frase "lettere vocali"). La bellezza dei modelli e la potenza di calcolo dei supercomputer è in realtà svalutata dagli errori al punto di ingresso. Ancora una volta, con il desiderio e l'apertura dei contatti con i colleghi di un'altra disciplina, questi errori potrebbero essere facilmente evitati.
Vedi il manoscritto Voynich stesso qui.
