El sistema se apagará debido a tareas habituales de mantenimiento. Por favor, guarde su trabajo y desconéctese.
Towards automatic detection of lexical borrowings in wordlists - with application to Latin American languages
Abstract
Knowing what words of a language are inherited from the ancestor language,
which are borrowed from contact languages, which are recently created, and
the timing of critical events in the culture, enables modeling of language history
including language phylogeny, language contact, and other novel influences on
the culture. However, determining which words or forms are borrowed and
from whom is a difficult, time consuming, and often fascinating task, usually
performed by historical linguists, which is limited by the time and expertise
available. While there are semi-automated methods available to identify borrowed words and their word donors, there is still substantial opportunity for
improvement.
We construct a new language model based monolingual method, competing
cross-entropies, based on word source groupings within monolingual wordlists;
improve existing multilingual sequence comparison methods, closest match on
language pairs and cognate-based on multiple languages; and construct a classifier based meta-method, combining closest match and cross-entropy functions.
We also define an alternative goal of borrowing detection for dominant donor
languages, which allows determination of both borrowing and source. We apply
monolingual methods to a global dataset of 41 languages, and multilingual and
meta methods to a newly constituted dataset of seven Latin American languages.
We also initiate work on a dataset of 21 Pano-Tacanan and regional languages
with added Spanish, Portuguese, and Quechua donor languages for subsequent
application of borrowing detection methods.
The competing cross-entropies method establishes a benchmark for automatic
borrowing detection for the world online loan database, the dominant donor
multiple sequence comparison method improves over the competing cross-entropies
method, and the classifier meta-method with sequence comparison and crossentropy functions performs substantially better overall. Conocer qué palabras de una lengua son heredadas, cuáles son prestadas, cuáles
son de reciente creación y el momento de los eventos culturales críticos permite modelar la historia de la lengua, incluyendo su filogenia, el contacto entre
lenguas y otras influencias culturales novedosas. Sin embargo, determinar qué
palabras o formas son prestadas y de qué lengua provienen es una tarea compleja y laboriosa, realizada generalmente por lingüistas históricos, que se ven
limitados por el tiempo y la experiencia disponibles. Aunque existen métodos
semiautomáticos para identificar préstamos y sus lenguas de origen, aún hay
margen de mejora.
Construimos un nuevo modelo de lenguaje basado en un método monolingüe,
entropías cruzadas competitivas, basado en agrupaciones de fuentes de palabras dentro de listas de palabras monolingües; mejoramos los métodos existentes de comparación de secuencias multilingües, la coincidencia más cercana
en pares de idiomas y afines basados en múltiples idiomas; y construimos un
meta-método basado en clasificadores, combinando funciones de coincidencia
más cercana y de entropía cruzada. También definimos un objetivo alternativo
de detección de préstamos para idiomas donantes dominantes, que permite determinar tanto el préstamo como la fuente. Aplicamos métodos monolingües a
un conjunto de datos global de 41 idiomas (WOLD), y métodos multilingües y
meta-métodos a un conjunto de datos recién constituido de siete idiomas latinoamericanos. También iniciamos el trabajo en un conjunto de datos de 21 idiomas pano-tacana y regionales con idiomas donantes agregados de español,
portugués y quechua para la posterior aplicación de métodos de detección de
préstamos.
El método de entropías cruzadas competitivas establece un punto de referencia para la detección automática de préstamos en la base de datos mundial de
préstamos en línea (WOLD). El método de comparación de secuencias múltiples
del donante dominante mejora los resultados del método de entropías cruzadas
competitivas. Finalmente, el meta-método clasificador, que combina la comparación de secuencias y las funciones de entropía cruzada, ofrece el mejor
rendimiento general.
Temas
Aprendizaje automático (Inteligencia artificial)
Lingüística computacional
Redes neuronales (Computación)
Lingüística histórica
Lingüística computacional
Redes neuronales (Computación)
Lingüística histórica
Para optar el título de
Doctor en Ingeniería
Collections
The following license files are associated with this item: