Show simple item record

dc.contributor.advisorSobrevilla Cabezudo, Marco Antonio
dc.contributor.authorCabrera Díaz, Daniel Alonso
dc.date.accessioned2024-09-18T17:33:02Z
dc.date.available2024-09-18T17:33:02Z
dc.date.created2024
dc.date.issued2024-09-18
dc.identifier.urihttp://hdl.handle.net/20.500.12404/28908
dc.description.abstractEsta tesis abordó el desarrollo de recursos computacionales para la detección y clasificación de disfluencias de tartamudez en español, cubriendo desde la recolección y anotación de audios hasta la implementación de un modelo de aprendizaje automático y estrategias de aumento de datos. Se recolectaron audios en español de cinco participantes con tartamudez, conformes a los estándares del dataset SEP-28K y con apoyo de dos especialistas en tartamudez. Aunque la naturaleza controlada de las grabaciones limitó la diversidad de disfluencias observadas, estos audios proporcionaron una base sólida para el desarrollo del modelo. El modelo presentado se basó en el modelo DisfluencyNet. Este modelo fue pre entrenado utilizando wav2vec 2.0 XLSR53 aprovechando su robusta base de datos multilingüe. El modelo demostró su capacidad para identificar y clasificar disfluencias en español, aunque su rendimiento fue inferior comparado con modelos equivalentes en inglés. Esta diferencia subraya la necesidad de más datos. Para mejorar la detección de disfluencias, se implementaron dos estrategias de aumento de datos. La primera incluyó variaciones de pitch, adición de reverberación y ruido blanco, duplicando efectivamente la cantidad de datos disponibles. Aunque esta estrategia mejoró el recall en ciertas disfluencias, los resultados en precisión y F1 fueron mixtos. La segunda estrategia, mediante clonación de voz con el modelo XTTS-v2, generó nuevos audios que emulaban disfluencias naturales, como prolongaciones y bloqueos. Aunque mejoró el recall, especialmente en rondas posteriores de aumento de datos, la precisión y F1 continuaron siendo desafiantes. Futuras investigaciones se enfocarán en expandir la anotación de disfluencias en contextos de habla espontánea y procesar los audios restantes del corpus inicial para explorar mejoras en la clasificación y detección de disfluencias. Además, se explorarán métodos avanzados de clonación de voz y otras técnicas de modificación de audios para enriquecer los datasets y mejorar los modelos de detección y clasificación de disfluencias.es_ES
dc.description.abstractThis thesis focused on the development of computational resources for the detection and classification of stuttering disfluencies in Spanish, spanning from the collection and annotation of audio data to the implementation of a machine learning model and data augmentation strategies. Audios in Spanish from five participants with stuttering were collected, adhering to the SEP-28K dataset standards and supported by two specialists in stuttering. Although the controlled nature of the recordings limited the diversity of observed disfluencies, these audios provided a solid foundation for the model development. The model was based on the DisfluencyNet and pre-trained using wav2vec 2.0 XLSR53, leveraging its robust multilingual database. The model demonstrated its ability to identify and classify disfluencies in Spanish, though its performance was inferior compared to similar models in English, highlighting the need for more data. To enhance disfluency detection, two data augmentation strategies were implemented. The first involved pitch variations, reverberation addition, and white noise, effectively doubling the available data. Although this strategy improved recall for certain disfluencies, precision and F1 results were mixed. The second strategy, using voice cloning with the XTTS-v2 model, generated new audios that emulated natural disfluencies, such as prolongations and blocks. While it enhanced recall, particularly in later rounds of data augmentation, precision and F1 continued to be challenging. Future research will focus on expanding the annotation of disfluencies in spontaneous speech contexts and processing the remaining audios from the initial corpus to explore improvements in classification and detection of disfluencies. Additionally, advanced voice cloning methods and other audio modification techniques will be explored to enrich the datasets and enhance the detection and classification models.es_ES
dc.language.isospaes_ES
dc.publisherPontificia Universidad Católica del Perúes_ES
dc.rightsinfo:eu-repo/semantics/openAccesses_ES
dc.rights.urihttp://creativecommons.org/licenses/by/2.5/pe/*
dc.subjectTartamudez--Procesamiento de datoses_ES
dc.subjectAprendizaje automático (Inteligencia artificial)es_ES
dc.subjectAprendizaje profundo (Aprendizaje automático)es_ES
dc.subjectReconocimiento automático del hablaes_ES
dc.titleConstrucción de recursos para la detección y clasificación automática de disfluencias producidas por tartamudez en españoles_ES
dc.typeinfo:eu-repo/semantics/masterThesises_ES
thesis.degree.nameMaestro en Informática con mención en Ciencias de la Computaciónes_ES
thesis.degree.levelMaestríaes_ES
thesis.degree.grantorPontificia Universidad Católica del Perú. Escuela de Posgrado.es_ES
thesis.degree.disciplineInformática con mención en Ciencias de la Computaciónes_ES
renati.advisor.dni46299018
renati.advisor.orcidhttps://orcid.org/0000-0001-7625-9914es_ES
renati.author.dni74290451
renati.discipline611087es_ES
renati.jurorMelgar Sasieta, Hector Andreses_ES
renati.jurorSobrevilla Cabezudo, Marco Antonioes_ES
renati.jurorOncevay Marcos, Felix Arturoes_ES
renati.levelhttps://purl.org/pe-repo/renati/level#maestroes_ES
renati.typehttps://purl.org/pe-repo/renati/type#tesises_ES
dc.publisher.countryPEes_ES
dc.subject.ocdehttps://purl.org/pe-repo/ocde/ford#1.02.00es_ES


Files in this item

Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record

info:eu-repo/semantics/openAccess
Except where otherwise noted, this item's license is described as info:eu-repo/semantics/openAccess