i PONTIFICIA UNIVERSIDAD CATÓLICA DEL PERÚ FACULTAD DE CIENCIAS E INGENIERÍA Reconstrucción 3D usando un enfoque basado en imágenes de piezas arqueológicas incompletas: una revisión literaria TRABAJO DE INVESTIGACIÓN PARA OBTENER EL GRADO ACADÉMICO DE BACHILLER EN CIENCIAS CON MENCIÓN EN INGENIERÍA INFORMÁTICA AUTOR Alvaro Lira Palomino ASESOR: Analí Jesús Alfaro Alfaro Iván Anselmo Sipirán Mendoza Lima, Agosto, 2020 ii RESUMEN En los últimos años se ha presentado un incremento en el interés por la conservación del patrimonio cultural. Esto incluye varias actividades, siendo una de ellas la conservación de piezas arqueológicas. Esta actividad ha tomado gran relevancia entre expertos en arqueología debido a la proliferación de piezas arqueológicas dañadas o incompletas que son encontradas. Gracias a los avances en informática, las instituciones que se desenvuelven en el sector han optado por la reconstrucción 3D de las piezas arqueológicas. Para llevar a cabo esta tarea hay una variedad de técnicas que necesitan el uso de dispositivos de alta tecnología como los escánares 3D. Por tal razón, dichas técnicas son costosas, tediosas y demandan de mano de obra calificada para realizarse. Por otro lado, se han presentado avances significativos en técnicas de reconstrucción 3D que utilizan modelos de aprendizaje profundo para efectuarla, de las cuales destacan las técnicas que utilizan una sola imagen del objeto a digitalizar. Por lo mencionado, se elabora el presente trabajo de investigación con el objetivo de hacer una revisión de la literatura acerca de los últimos intentos por la reconstrucción 3D que usan un enfoque basado en imágenes para evaluar y proponer un proyecto para el desarrollo de una herramienta que permita reconstruir modelos 3D de piezas arqueológicas a partir de imágenes de piezas arqueológicas incompletas. Asimismo, se revisarán las herramientas y métodos para la ejecución del proyecto. iii Tabla de contenido RESUMEN ....................................................................................................................... ii Índice de Figuras .............................................................................................................. iv Índice de Tablas ................................................................................................................ v Capítulo 1. Generalidades .............................................................................................. 1 1.1 Problemática ................................................................................................................ 1 1.2 Objetivos ..................................................................................................................... 4 1.2.1 Objetivo general ................................................................................................... 5 1.2.2 Objetivos específicos ........................................................................................... 5 1.2.3 Resultados esperados ........................................................................................... 5 1.2.4 Mapeo de objetivos, resultados y verificación ..................................................... 6 1.3 Herramientas y Métodos ............................................................................................. 7 1.3.1 Herramientas ........................................................................................................ 7 1.3.2 Métodos.............................................................................................................. 10 Capítulo 2. Marco Conceptual ..................................................................................... 12 2.1 Reconstrucción 3D .................................................................................................... 12 2.2 Terminación de forma ............................................................................................... 13 2.3 Modelo 3D................................................................................................................. 14 2.3.1 Volumétrica........................................................................................................ 14 2.3.2 Árboles octales ................................................................................................... 14 2.3.3 Nube de puntos .................................................................................................. 15 iv 2.3.4 Mallas ................................................................................................................. 15 2.4 Renderización ............................................................................................................ 16 2.5 Cerámica prehispánica .............................................................................................. 16 Capítulo 3. Estado del Arte .......................................................................................... 19 3.1 Método de revisión .................................................................................................... 19 3.1.1 Preguntas de investigación ................................................................................. 19 3.1.2 Definición de cadenas de búsqueda ................................................................... 19 3.1.3 Criterios de inclusión ......................................................................................... 20 3.1.4 Criterios de exclusión ........................................................................................ 20 3.2 Revisión y discusión.................................................................................................. 20 3.2.1 Revisión de literatura ......................................................................................... 21 3.2.2 Análisis de Preguntas de Investigación.............................................................. 25 3.3 Conclusiones ............................................................................................................. 28 Referencias ...................................................................................................................... 30 Índice de Figuras Figura 2.1: Taxonomía de los métodos de adquisición de forma 3D. Adaptado de (Moons et al., 2009) .................................................................................................................................. 12 Figura 2.2: Subdivisiones por niveles de una representación basada en árboles octales. Extraído de (Tatarchenko et al., 2017)..................................................................................... 15 Figura 2.3: Estructura de la topología de la representación de las mallas. Extraído de (Tobler & Maierhofer, 2006) ................................................................................................................ 16 v Figura 2.4: Clasificación de cerámicas Inca. Extraído de (Ravines, 2011) ............................. 18 Figura 3.1: Proceso de reconstrucción 3D mediante el framework Image2Mesh. Extraído de (Pontes et al., 2019) ................................................................................................................. 22 Figura 3.2: Reconstrucción 3D mediante el framework SoftRas y la distancia media de las caras de la malla reconstruida y el modelo verdadero. Extraído de (Mandikal, Navaneet, & Babu, 2019) .............................................................................................................................. 23 Figura 3.3: Proceso de entrenamiento de inferencia de modelo y segmentación (a), y la reconstrucción a partir de una única imagen (b). Extraído de (Zhang, Liu, Liu, Peng, & Li, 2019) ........................................................................................................................................ 24 Figura 3.4: Arquitectura de RealPoint3D. Extraído de (Zhang et al., 2019) ........................... 25 Índice de Tablas Tabla 1 Mapeo de objetivos, resultados y verificación.............................................................. 6 Tabla 2 Resultado de revisión utilizando cadenas de búsqueda .............................................. 21 1 Capítulo 1. Generalidades 1.1 Problemática La proliferación de hallazgos de objetos dañados ha supuesto una gran dificultad para el cumplimiento de una de las tareas más importantes de la arqueología, la cual es la preservación del patrimonio cultural, porque supone una tarea que toma mucho tiempo para realizarse y es de alta dificultad, lo que implica la intervención de arqueólogos y técnicos con amplia experiencia, especialmente para largas colecciones de objetos (Papaioannou et al., 2017), sin embargo, en los últimos años, se han creado técnicas para la reconstrucción 3D de piezas arqueológicas, debido, por un lado, al crecimiento de interés por parte de museos, repositorios de patrimonio cultural y organizaciones por tener cualquier tipo de pieza arqueológica digitalizada, no obstante, comúnmente, no hay especificaciones ni estándares para esta tarea (Evgenikou & Georgopoulos, 2015). A pesar de la falta especificaciones, se siguen presentando interesados en el patrimonio cultural digital, tal es el caso del programa Horizon 2020, fundado por la Unión Europea, el cual aplica políticas alrededor del patrimonio cultural digital y teniendo proyectos en el rubro, como el de la creación de un museo virtual multimodal (Ioannides & Davies, 2019), asimismo, investigadores en la Fraunhofer Institute for Computer Graphics Research diseñaron CultLab3D, un laboratorio móvil de digitalización, con la capacidad de movilidad a cualquier museo que lo solicite, automatizando la digitalización de las piezas en su posesión de forma rápida y sin suponer un gran costo (Singh, 2014). La mayoría de las técnicas para la reconstrucción 3D utilizan escaneo láser o fotogrametría. Estas técnicas requieren de equipamiento sofisticado de baja disponibilidad y versatilidad a causa de las dimensiones del mismo. Asimismo, es necesario personal calificado con entrenamiento especial en los artefactos, lo cual incrementa el costo de la investigación y eleva 2 la complejidad de la etapa post edición (Iakushkin et al., 2018). A causa de esta dificultad, se han efectuado intentos por automatizar la reconstrucción 3D, tal es el ejemplo de un framework que procesa una única imagen de un objeto, aprovechando la simetría que presenta y modelos 3D de la misma clase del objeto, para la reconstrucción 3D con una representación basada en mallas utilizando aprendizaje profundo (Pontes et al., 2019), por otro lado, se han desarrollado mejores equipamientos para la reconstrucción 3D, como es el caso de la reciente mejora de sensores, los cuales generan información en tiempo real y son simples de usar, a diferencia de los sensores tradicionales, lo que causo el desarrollo de una técnica que usa cámaras RGD-D, las cuales utilizan dichos sensores, para la reconstrucción 3D, teniendo como ventaja ser 500 veces más barato que un escáner 3D tradicional, además tiene la ventaja de ser más liviano, portable y solo necesitar un portátil para ser operado (Gomes, Silva, & Bellon, 2018). No todos los objetos que son utilizados para la reconstrucción 3D se encuentran completos y como existe la necesidad de disponer de una representación de mejor calidad, se efectúa la terminación de forma, es decir, generar una representación completa de un objeto a partir de su representación incompleta. Se han desarrollado aplicaciones con técnicas de terminación de forma como es el ejemplo de una aplicación para la reparación de objetos que se encuentran rotos mediante la impresión de los fragmentos faltantes en el objeto a partir de un modelo 3D con una representación basada en mallas del objeto dañado y del objeto original obtenido a partir de un escáner láser (Lamb, Banerjee, & Banerjee, 2019), asimismo, existe una técnica con aplicación en el ámbito industrial en el cual productos industriales dañados por un largo servicio, usando un modelo 3D con una representación basado en nube de puntos, se identifica la superficie dañada del objeto escaneado, para, posteriormente, generar la superficie faltante y efectuar la remanufactura, así extendiendo el tiempo de vida del producto (Zheng, Liu, Liu, Wang, & Ahmad, 2019). Asimismo, en el ámbito de la arqueología, se han desarrollado 3 técnicas de terminación de forma de piezas arqueológicas, tal es el caso de una técnica, en el cual a partir de un modelo 3D con una representación basada en mallas de piezas arqueológicas dañadas y, mediante una red generativa antagónica (GAN, siglas en inglés), efectuar la terminación de la forma al integrar una representación de un objeto incompleto y sus partes faltantes en un único modelo incluso si es que este presenta un daño que afecta a más de la mitad del objeto, sin que se presenten muchos errores (Hermoza & Sipiran, 2018a), del mismo modo, existe una técnica por la que a partir de un modelo 3D, obtenido a partir de varias fotografías de una resolución estándar de una escultura dañada, su procesamiento en un software especializado en fotogrametría y datos de modelos 3D de la misma clase de esculturas, se logró un modelo 3D completo que se podía visualizar en una aplicación móvil, incluso si esta se encontraba muy deteriorada (Gherardini, Santachiara, & Leali, 2018). El patrimonio cultural digital ha estado recibiendo una considerable atención en las últimas décadas y se han logrado avances considerables en la reconstrucción 3D de piezas arqueológicas gracias a escáneres láser de una gran exactitud, característica que demandan los proyectos especializados en patrimonio cultural digital (Gomes et al., 2018). Asimismo, se han logrado avances destacables con respecto a la terminación de forma de piezas arqueológicas dañadas, sin embargo, para dichas reconstrucciones persiste una dependencia de equipamiento especial, lo cual limita la viabilidad de los proyectos en el rubro que no poseen grandes presupuestos o mantienen una escasez de operadores humanos con entrenamiento especial. En la actualidad, si bien existe la intención de dejar depender de equipamiento especializado para la reconstrucción 3D al desarrollarse técnicas de visión computacional que efectúan la reconstrucción usando un enfoque basado en imágenes, no se han logrado muchos avances en el rubro de la arqueología, en particular con respecto a la reconstrucción 3D de piezas arqueológicas dañadas, lo que supone un gran problema para la preservación del patrimonio cultural. 4 En el territorio peruano se han desarrollado distintas culturas prehispánicas a través de los siglos, llegando a su cúspide con la aparición y expansión del imperio incaico. Conforme se iban efectuando excavaciones arqueológicas se iban encontrando cerámicas que eran de uso cotidiano, como ceremonial. Si bien se encontraban algunos objetos en buen estado, era usual encontrar objetos fracturados, debido al deterioro progresivo por antigüedad o erosión, o también cabe la posibilidad de haber sido dañado adrede (Sipiran, 2018). Este material arqueológico debe ser tratado de manera adecuada para su preservación, tal que, en el futuro, se siga disponiendo de su información. Por lo tanto, en el presente proyecto de tesis se propone el desarrollo de un software para la reconstrucción 3D usando un enfoque basado en imágenes de piezas arqueológicas incompletas. El software, partiendo de una sola imagen que contiene la pieza arqueológica incompleta, empleará un modelo de aprendizaje profundo para la adquisición de la forma del objeto y de esta manera, generar un modelo completo del objeto con una representación basada en mallas, entiéndase este proceso de digitalización de la pieza arqueológica como reconstrucción 3D. Para la obtención de los modelos 3D de las piezas arqueológicas, el proyecto se trabajará con el apoyo de instituciones como el Museo Josefina Ramos de Cox, Museo Larco y el Museo Nacional de Arqueología, Antropología e Historia del Perú. El apoyo es producto de los últimos proyectos en materia de reconstrucción 3D y patrimonio cultural digital desarrollados por parte de la Pontificia Universidad Católica del Perú en colaboración de instituciones relacionadas al ámbito arqueológico (TV Perú, 2019). 1.2 Objetivos Se exponen los objetivos planteados en el presente proyecto de tesis y los resultados esperados para la verificación de los mismos. 5 1.2.1 Objetivo general Reconstruir modelos 3D de piezas arqueológicas a partir de imágenes de piezas arqueológicas incompletas usando un modelo de aprendizaje profundo. 1.2.2 Objetivos específicos O 1. Procesar y generar un conjunto de imágenes de piezas arqueológicas incompletas para entrenamiento y validación O 2. Crear un software de reconstrucción y visualización de modelos 3D usando un enfoque basado en imágenes O 3. Evaluar la eficacia del modelo de reconstrucción 3D propuesto 1.2.3 Resultados esperados R 1. Conjunto de modelos 3D de piezas arqueológicas incompletas en base a una simulación de fracturación (O1) R 2. Conjunto de imágenes a partir de modelos 3D en base a un proceso de renderizado (O1) R 3. Programa de reconstrucción 3D que usa un enfoque basado en imágenes de piezas arqueológicas incompletas (O2) R 4. Interfaz de visualización de los modelos 3D de las piezas arqueológicas incompletas y sus reconstrucciones correspondientes (O2) R 5. Medición cuantitativa de la precisión de la reconstrucción 3D de piezas arqueológicas efectuada al contrastar con el ground truth (O3) 6 1.2.4 Mapeo de objetivos, resultados y verificación Tabla 1 Mapeo de objetivos, resultados y verificación Objetivo: Procesar y generar un conjunto de imágenes de piezas arqueológicas incompletas para entrenamiento y validación Resultado Medio de verificación Indicador objetivamente verificable Conjunto de modelos 3D de piezas arqueológicas incompletas en base a una simulación de fracturación - Conjunto de datos - Reporte con la descripción de los datos y sus atributos Validación de datos Conjunto de imágenes de los modelos 3D en base a un proceso de renderizado - Conjunto de datos - Reporte con la descripción de los datos y sus atributos Validación de datos Objetivo: Crear un software de reconstrucción y visualización de modelos 3D usando un enfoque basado en imágenes Resultado Medio de verificación Indicador objetivamente verificable Programa de reconstrucción 3D que usa un enfoque basado en imágenes de piezas arqueológicas incompletas - Software y código fuente. - Reporte técnico que describe el funcionamiento del programa Pruebas de caja blanca 7 Interfaz de visualización de los modelos 3D de las piezas arqueológicas incompletas y sus reconstrucciones correspondientes - Plataforma web y código fuente. - Reporte técnico que describe el funcionamiento del programa Pruebas de caja negra Objetivo: Evaluar la eficacia del modelo de reconstrucción 3D propuesto Resultado Medio de verificación Indicador objetivamente verificable Medición cuantitativa de la precisión de la reconstrucción 3D de piezas arqueológicas efectuada al contrastar con el ground truth Experimentación numérica Métricas de eficacia de la reconstrucción 3D 1.3 Herramientas y Métodos 1.3.1 Herramientas En esta sección se presentan las herramientas utilizadas en el proyecto de tesis. Python Python es un lenguaje de programación de alto nivel, orientado a objetos e interpretado. Es uno de los lenguajes más populares en la actulidad debido a la mayor productividad que proporciona en comparación a otros lenguajes, asimismo, existen aplicaciones y librerías para los ámbitos científico, ingeniería, desarrollo de software, etc (Python Foundation, 2016). Entre las aplicaciones, hay diversas en aprendizaje profundo y visión computacional, por lo que, en el proyecto, se utiliza dicho lenguaje para la construcción del software de reconstrucción. 8 Blender Blender es un programa de creación 3D de código abierto. Admite diversas funcionalidades relacionadas a objetos 3D, tales son: visualización, modelado, aparejo, animación, simulación, renderizado, composición y seguimiento de movimiento, edición de video y animación 2D (Blender Foundation, 2020). Blender tiene un intérprete o API de Python incorporado que se carga cuando se inicia Blender y permanece activo mientras Blender se está ejecutando. Este intérprete ejecuta scripts para dibujar la interfaz de usuario y también se usa para algunas de las herramientas internas de Blender (Blender Foundation, 2020). En el proyecto, se utiliza el API que ofrece este programa para el preprocesamiento de los datos a utilizar en el modelo. MeshLab Es un programa para procesar y editar mallas triangulares en 3D de código abierto. Proporciona un conjunto de herramientas para editar, limpiar, inspeccionar, renderizar, texturizar y convertir mallas. Ofrece funciones para procesar datos sin procesar producidos por dispositivos de digitalización 3D y para preparar modelos para impresión 3D (Istituto di Scienza e Tecnologie dell’Informazione, 2020). En el proyecto, se utiliza para la visualización de los modelos 3D. Image2Mesh Image2Mesh es un framework para la reconstrucción 3D que usa un enfoque basado en imágenes. El framework extrae la información de una única imagen del objeto a reconstruir para clasificarla y parametrizarla mediante una red neuronal. Finalmente, la disposición de los modelos 3D obtenidos en la fase de entrenamiento del modelo es aprovechada para comenzar la reconstrucción a partir de un modelo base el cual será deformado hasta obtener el modelo reconstruido con una representación basada en mallas (Pontes et al., 2019). Dicho framework es utilizado como el modelo de aprendizaje profundo que utilizará el software de reconstrucción. 9 MATLAB MATLAB es un sistema de cálculo numérico con diferentes campos de aplicación, siendo uno de estos la visión computacional. Con esta herramienta se pueden obtener información valiosa de imagenes y videos, diseñar soluciones con un gran conjunto de algoritmos estándar de referencia para procesamiento de imágenes, visión artificial y aprendizaje profundo. Asimismo, ofrece la integración con otros lenguajes de programación, como Python y C/C++ (The Mathworks Inc., 2016). En el proyecto, el framework Image2Mesh se utiliza a través de esta herramienta, ya que esta sistema ofrece diferentes herramientas y liberías como CVX, Communications Toolbox, Parallel Computing Toolbox y Image Processing Toolbox, las cuales son necesarias para crear los grafos embebidos y por otro lado, la integración con Python ofrece la posibilidad de entrenar el modelo a partir de los grafos embebidos y los modelos 3D. JavaScript JavaScript es un lenguaje de programación orientado a objetos, utilizado en su gran mayoría en entornos web, por la facilidad que este otorga en la creación de interfaces gráficas (Mozilla Foundation, 2016). En el proyecto, se utilizará dicho lenguaje para la construcción de la interfaz de visualización de los modelos 3D. Simulador de Fracturación El simulador de fracturación es un software que procesa un modelo 3D con una representación basado en mallas para generar un modelo de la misma naturaleza pero con fragmentos faltantes, de forma que se estaría simulando la fracturación del objeto. Para la extracción de los fragmentos se intersecta el modelo original con una esfera, en donde la intersección de ambas formas es el fragmento de la superficie a retirar. Este software fue desarrollado por el Grupo de Inteligencia Artificial IA-PUCP y está basado en C. En el proyecto, se utilizará el software para la obtención de los modelos 3D incompletos. 10 Renderizador El renderizador es un software que procesa un modelo 3D con una representación basado en mallas para generar una imagen al tomar algún punto de referencia con respecto al modelo. Para generar la imagen se tomarán en cuenta los diversos atributos del modelo, como pueden ser la iluminación y la textura. El software fue desarrollado por el Grupo de Inteligencia Artificial IA-PUCP y está basado en Python. En el proyecto, se utiliza para la obtención de las imágenes de las piezas arqueológicas incompletas a partir de las cuales se reconstruirán los modelos. Three.js Three.js es una librería 3D basada en JavaScript que permite crear y mostrar contenido 3D en sitios web. Esta librería utiliza WebGL para dibujar las formas del contenido. Adicionalmente, provee herramientas para manejar las escenas, luces, sombras, materiales y texturas (three.js, 2019). En el proyecto, esta librería se utiliza para la construcción de la interfaz de visualización de los modelos 3D. 1.3.2 Métodos En esta sección se presentan los métodos utilizados en el proyecto de tesis. Métricas de eficacia de la reconstrucción 3D Las métricas de eficacia se utilizan para medir de forma cuantitativa a la reconstrucción 3D de las piezas arqueológicas efectuada. - Precisión La precisión de la reconstrucción se basa en cuan similar es el modelo reconstruido con respecto al ground truth. Precisión = Cantidad de Vóxeles (Intersección (O, R)) Cantidad de Vóxeles (Unión (O, R)) 11 Donde, O = ground truth con una representación de vóxeles R = reconstrucción con una representación de vóxeles 12 Capítulo 2. Marco Conceptual Se exponen y desarrollan los diferentes conceptos necesarios para un mejor entendimiento del presente documento. Se mencionan conceptos relacionados con la reconstrucción 3D, las representaciones que estas implican y las piezas arqueológicas a reconstruir. 2.1 Reconstrucción 3D La reconstrucción 3D consiste en la captura o adquisición de la forma de las superficies en tres dimensiones y, en algunos casos, también de la distancia entre el objeto y el dispositivo de captura (Moons, van Gool, & Vergauwen, 2009). En la figura 2.1 se puede observar la taxonomía de los métodos de adquisición de forma 3D, en el cual se distinguen dos tipos principales de métodos: métodos pasivos y activos. Figura 2.1: Taxonomía de los métodos de adquisición de forma 3D. Adaptado de (Moons et al., 2009) Por un lado, las técnicas activas demandan que las fuentes de luz sean controladas, por lo que es necesario de cierta modulación espacial y temporal de la iluminación. Esta manipulación forma parte de la estrategia para la adquisición de los datos, ya que la iluminación especial simplifica algunos pasos de la adquisición de forma, por lo que las técnicas activas suelen ser menos demandantes desde un punto de vista computacional. Por otro lado, las técnicas pasivas 13 solo demandan el control de la calidad de las imágenes de las cuales se obtendrá los datos para la adquisición de forma, por lo que no es necesario el control de las fuentes de luz, siendo suficiente la luz ambiental (Moons et al., 2009). Siguiendo la taxonomía descrita, ambos tipos de métodos se pueden clasificar dependiendo de la cantidad de puntos de vista de donde se observa el objeto o la situación: único y múltiple. Como describe su nombre, los métodos de punto de vista único demanda que el equipamiento de visualización o iluminación tenga un único componente o componentes que se encuentren muy cercanos uno de otro para realizar esta tarea. En cambio, los métodos de punto de vista múltiple demandan que los diferentes componentes que visualicen o iluminen la escena se encuentran a considerable distancia uno del otro para evitar problemas en la adquisición de forma (Moons et al., 2009). 2.2 Terminación de forma La terminación o completación de forma consiste en la determinación o inferencia de la superficie faltante del modelo de un objeto o escena para ser completado. Disponer de un modelo incompleto puede ser a causa de la naturaleza del objeto, tal es el ejemplo de las piezas arqueológicas dañadas encontradas en las excavaciones, las cuales se encuentran en dicho estado a raíz de diversas razones. El modelo puede estar incompleto también a causa del mismo método de adquisición de forma, indiferente si se trata de un método activo o pasivo. Por ejemplo, el escaneo 3D es una técnica activa, en el cual es físicamente inviable asegurarse si es que todos los puntos de la superficie se escanearan debido a las limitaciones físicas del sensor (Dai, Qi, & Nießner, 2017). Asimismo, la reconstrucción 3D basado en una única imagen, la cual es una técnica pasiva, puede resultar en un modelo incompleto si es que gran parte de la vista del objeto o escena a representar se encuentra obstruida (Stutz & Geiger, 2018). 14 2.3 Modelo 3D Para la representación de un modelo 3D existen varias formas, las cuales se ajustan a las diferentes necesidades y restricciones que se presentan. 2.3.1 Volumétrica La representación volumétrica consiste en una representación basada en una distribución probabilística binaria definida en una cuadrícula 3D, en la que, si es que la probabilidad resulta en uno, el vóxel (o píxel tridimensional) se encuentra dentro de la superficie del objeto; en cambio, si es que resulta en cero, el vóxel se encuentra afuera de la superficie (Wu et al., 2015). Es erróneo considerar a los vóxeles como puntos de cuadrícula o ni cuboides en la representación volumétrica (Oomes, Snoeren, & Dijkstra, 1997). 2.3.2 Árboles octales Un árbol octal (octree en inglés) es una estructura de cuadrícula 3D con un tamaño de celda adaptable, que permite una reducción de consumo de memoria en comparación con una cuadrícula 3D normal, debido a que la representación empieza en una sola celda, la cual representa todo el espacio y se va dividiendo en ocho celdas recursivamente. Esta subdivisión continua hasta que las celdas resultantes no se diferencien en valor de la celda de la que se originaron o hasta el nivel máximo de subdivisiones que se establece, como se puede observar en la figura 2.2. El proceso de subdivisión recursiva también puede comenzar no desde todo el volumen, sino desde alguna inicial resolución tosca. La forma más directa de implementar un árbol octal es almacenar en cada celda los punteros a sus celdas hijas (Tatarchenko, Dosovitskiy, & Brox, 2017). 15 Figura 2.2: Subdivisiones por niveles de una representación basada en árboles octales. Extraído de (Tatarchenko et al., 2017) 2.3.3 Nube de puntos Como el nombre lo indica, la representación basada en nube de puntos parte de un conjunto de puntos geométricos que son colecciones de puntos en un espacio tridimensional. Las nubes de puntos, al ser fusionadas, generan la estructura del modelo 3D, en donde cada punto constituye un vértice de la superficie (Lin, Kong, & Lucey, 2018). 2.3.4 Mallas La representación basada en mallas, al igual que la representación basada en nube de puntos, consiste en un conjunto de puntos en un espacio tridimensional, sin embargo, se dispone de la información correspondiente al conjunto de caras y aristas o bordes de la forma, de modo que se proporciona una mejor correspondencia entre los puntos, que vendrían a ser los vértices de la malla (Pontes et al., 2019). En la figura 2.3 se puede observar la relación entre los tres tipos de datos para la generación de la malla. 16 Figura 2.3: Estructura de la topología de la representación de las mallas. Extraído de (Tobler & Maierhofer, 2006) 2.4 Renderización La renderización es el proceso en el que se toma como entrada una escena 3D, la cual está conformada por uno o varios modelos 3D y el entorno que almacena los modelos, y mediante un programa, se obtiene una sola imagen o una serie de imágenes, las cuales son representaciones de la escena en cuestión. Esta representación toma en cuenta características propias del modelo 3D, como lo son la geometría y la textura del objeto. De la misma forma, se toman en cuenta características del entorno, como lo es la iluminación, las sombras y el ángulo de la cámara (Blender Foundation, 2020). 2.5 Cerámica prehispánica En el Perú, la cerámica prehispánica comenzó a desarrollarse a fines del período arcaico y principios del formativo, alrededor del año 2000 a.C. y cesó con la conquista española en el año 1532. Los primeros cerámicos en elaborarse provenientes de la selva y la sierra peruana datan del 2000 a.C. aproximadamente; mientras que los primeros provenientes de la costa, del 1800 a.C. aproximadamente. La aparición de la cerámica supuso una mejora de la calidad de vida de los pobladores, pues eran utilizados en la preparación de los alimentos, lo cual mejoró las condiciones de salubridad. A parte de ser utilizados en la vida cotidiana, también eran utilizados con fines ceremoniales (Calvo, 1984). 17 En la cerámica peruana prehispánica, se reconoce varios estilos de cerámicas y entre ellos, hubo 12 estilos que predominaron, los cuales fueron: Chavín, Moche, Recuay, Pucará, Paracas, Cajamarca, Nasca, Huari/Tiahuanaco, Chimú, Chancay, Chincha e Inca. Dichos estilos destacaron por diversos factores, como la originalidad, la plasticidad, la difusión y el volumen de producción (Ravines, 2011). En la figura 2.4 se puede observar la diversidad de formas de las cerámicas pertenecientes al estilo de la cultura Inca. Como se puede apreciar, los objetos al tener que ser usados frecuentemente, estos tenían que estar provistos de cierta estructura y estética, la cual estaba basada en la simetría (Sipiran, 2018). 18 Figura 2.4: Clasificación de cerámicas Inca. Extraído de (Ravines, 2011) 19 Capítulo 3. Estado del Arte Las técnicas de reconstrucción 3D que usan un enfoque basado en imágenes se han desarrollado sin precedentes en los últimos años. Por tal, se explorará el estado del arte de dichas técnicas de reconstrucción. Asimismo, se indagará acerca de sus aplicaciones en el área del patrimonio cultural. 3.1 Método de revisión El método de revisión usado se basará en el de revisión sistemática de la literatura según Kitchenham (Kitchenham et al., 2009). 3.1.1 Preguntas de investigación Las preguntas de investigación formuladas son las siguientes: Pregunta 1: ¿En qué se basaban las técnicas de reconstrucción 3D previamente? Pregunta 2: ¿Qué ventajas tiene la reconstrucción 3D que usa un enfoque basado en imágenes frente a las técnicas de reconstrucción tradicionales? Pregunta 3: ¿Qué ventajas tiene un tipo de representación 3D frente a las demás en la reconstrucción 3D? Pregunta 4: ¿Existen técnicas de reconstrucción 3D que usan un enfoque basado en imágenes aplicadas en materia de patrimonio cultural? 3.1.2 Definición de cadenas de búsqueda Para el establecimiento de los criterios de inclusión de la investigación se han tomado en cuenta las siguientes palabras clave: − Reconstrucción 3D: 3D Reconstruction − Enfoque basado en imágenes: Single Image, Image Based − Objeto: Object 20 − Patrimonio cultural: Cultural Heritage, Archaeological Las palabras claves se usaron para la formulación de las siguientes cadenas de búsqueda: − Cadena 1: “3d reconstruction” AND (“single image" OR “image based”) AND object − Cadena 2: “3d reconstruction” AND (“single image" OR “image based”) AND ((object AND “cultural heritage”) OR “archaeological object”) 3.1.3 Criterios de inclusión Para la revisión de literatura y el análisis de las preguntas de investigación se usa las cadenas de búsquedas definidas anteriormente. Además, acorde a la naturaleza del estado del arte, se busca los últimos avances en el rubro, por lo que solo se consideran para revisión la literatura de hasta tres años de antigüedad, es decir la comprendida desde el año 2017 hasta la actualidad. Por otro lado, solo se considera literatura en inglés debido a la amplia literatura que se dispone en dicho idioma y el dominio de la misma por parte del autor del proyecto de tesis. 3.1.4 Criterios de exclusión Como el objetivo principal del presente proyecto es la reconstrucción 3D de cerámicas, no se considera relevantes a los artículos de dicha materia acerca de objetos, que, si bien pertenecen al patrimonio cultural, no son el principal objeto de estudio, tal es el caso de monumentos, esculturas, edificios y paisajes de los sitios arqueológicos. Asimismo, no se considera los artículos referentes a técnicas con un enfoque basado en imágenes que demandan múltiples imágenes del mismo objeto incompleto para la reconstrucción de este. 3.2 Revisión y discusión Se exponen la revisión y discusión de la literatura correspondiente a las técnicas de reconstrucción 3D que usan un enfoque basado en imágenes. 21 3.2.1 Revisión de literatura Para la revisión se usa el buscador Scopus por su alta fiabilidad en materia de investigación. De igual forma, se revisa el repositorio digital de tesis PUCP. Para la revisión se utiliza las cadenas de búsqueda previamente formuladas obteniendo los resultados mostrados en la tabla 2. Tabla 2 Resultado de revisión utilizando cadenas de búsqueda Cadena Artículos encontrados Artículos excluidos Artículos seleccionados “3d reconstruction” AND (“single image" OR “image based”) AND object 117 92 25 “3d reconstruction” AND (“single image" OR “image based”) AND ((object AND “cultural heritage”) OR “archaeological object”) 342 308 34 Cabe mencionar que hay artículos que se obtienen con ambas cadenas de búsqueda, por lo que los artículos seleccionados para la revisión de la literatura del estado del arte fueron 39. A manera de ejemplo, se exponen 4 de ellos a continuación. Image2Mesh: A Learning Framework for Single Image 3D Reconstruction (Pontes et al., 2019) El objetivo del presente artículo fue el desarrollo de un framework de aprendizaje que pudiera estimar un modelo 3D con una representación basado en mallas a partir de una única imagen. Según argumentan los autores de la técnica, la elección de este tipo de representación, a diferencia de otras representaciones como lo son la volumétrica o la nube de puntos, no tiene problemas con la complejidad computacional ni la incapacidad de capturar la granularidad de 22 ciertos objetos como si presentaban las representaciones mencionadas. La técnica empezaba con la extracción de la información de la imagen mediante un autocodificador convolucional. Luego de extraído la información, es clasificada y parametrizada de forma compacta mediante una red neuronal. La parametrización compacta es procesada por un grafo con el cual se empieza a reconstruir el modelo al elegir el modelo 3D más parecido a la imagen como estado inicial. El modelo 3D es deformado mediante una combinación lineal de diferentes modelos 3D semejantes, para finalmente, reconstruir el modelo 3D final. La secuencia de dicho proceso se puede observar en la figura 3.1. Figura 3.1: Proceso de reconstrucción 3D mediante el framework Image2Mesh. Extraído de (Pontes et al., 2019) Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning (Liu, Li, Chen, & Li, 2019) El objetivo del presente artículo fue el desarrollo de un framework de renderizado y aprendizaje que pueda capturar las características de un modelo 3D con una representación basado en mallas en una única imagen, de forma que se obtiene una correlación entre la imagen y el modelo, en donde cada píxel de la imagen tiene relacionado ciertos parámetros 3D. Los autores del trabajo plantean que luego de obtenido los parámetros e invirtiendo el renderizador, es posible la reconstrucción 3D, pero mencionan la imposibilidad de usar los renderizadores comunes para esta tarea, debido a que estas efectúan un proceso complejo y no lineal, del cual no se puede extraer información para la reconstrucción. En lugar de usar el enfoque tradicional 23 del renderizado, se considero al renderizado como un proceso probabilístico suave, en donde cada triángulo de la malla contribuye en la construcción del mapa de probabilidades, además de capturar otros datos como el color y la normal. Finalmente, mediante el uso de una red neuronal y efectuar retropropagaciones (backpropagation en inglés), se reconstruye el modelo 3D con una baja tasa de error, como se puede observar en la figura 3.2. Figura 3.2: Reconstrucción 3D mediante el framework SoftRas y la distancia media de las caras de la malla reconstruida y el modelo verdadero. Extraído de (Mandikal, Navaneet, & Babu, 2019) 3D-PSRNet: Part segmented 3D point cloud reconstruction from a single image (Mandikal et al., 2019) El objetivo del presente artículo fue el desarrollo de una herramienta de reconstrucción 3D, el cual aprovechaba la segmentación que presentaban los objetos y la estructura general del objeto en términos geométricos. Los autores del trabajo plantean el uso de modelos 3D con una representación basado en nube de puntos a causa de que esta no implicaba una pérdida de 24 memoria, algo que sí sucedía con la representación volumétrica, donde si bien es cierto que los vóxeles sobre la superficie de la forma aportan significativo valor, los vóxeles que no pertenecen a la superficie no aportan mayor valor a solución. Para el desarrollo de la herramienta, se entrenó dos redes neuronales, las cuales sirvieron de línea base en la identificación de la representación bajo una nube de puntos y la segmentación de cada punto de la nube, teniendo asignadas etiquetas semánticas. Para el entrenamiento de las redes se tuvo en cuenta una función de pérdida, comparando los modelos y segmentaciones predichos con sus contrapartes verdaderos. Finalmente, es posible la reconstrucción de un modelo 3D segmentado con una única imagen de entrada, como se puede aprecia en la figura 3.3. Figura 3.3: Proceso de entrenamiento de inferencia de modelo y segmentación (a), y la reconstrucción a partir de una única imagen (b). Extraído de (Zhang, Liu, Liu, Peng, & Li, 2019) RealPoint3D: An Efficient Generation Network for 3D Object Reconstruction From a Single Image (Zhang et al., 2019) 25 El objetivo del presente artículo fue la creación de una red que pudiera efectuar una reconstrucción 3D a partir de una única imagen. Los autores del trabajo han tomado como motivación que en trabajos recientes de reconstrucción basado en imagen solo se consideran imagen sin fondo, lo cual no es el caso de simples fotografías, por lo que se implementó una red generativa que toma como punto de partida a una imagen y el modelo 3D con una representación basada en nube de puntos que más se asemeje al objeto de la imagen. Luego, las dos variables mencionadas son introducidas en dos codificadores para a continuación ser integrados y finalmente decodificados en una representación de mayor precisión. Dicho proceso mencionado se puede ver en la figura 3.4. Figura 3.4: Arquitectura de RealPoint3D. Extraído de (Zhang et al., 2019) 3.2.2 Análisis de Preguntas de Investigación Luego de revisado la literatura, se procede a responder las preguntas de investigación planteadas inicialmente. Pregunta 1: ¿En qué se basaban las técnicas de reconstrucción 3D previamente? Las principales técnicas de reconstrucción 3D han sido el escaneo 3D y la fotogrametría. Por un lado, en el escaneo 3D se adquiere la forma y usualmente la textura de los objetos mediante 26 el uso de dispositivos especiales, los cuales se denominan escáner. El escáner 3D utiliza un único o múltiples haces de luz para la captación de la información de la superficie del objeto. A su vez, para llevar a cabo la reconstrucción es necesario disponer de operadores humanos con entrenamiento especial, limitando proyectos de bajo presupuesto. Por otro lado, la fotogrametría es una técnica que utiliza múltiples imágenes en diferentes puntos de vista de un mismo objeto para determinar la forma y la posición del mismo. Cabe mencionar que es necesario la constante intervención del operador humano para llevar a cabo la reconstrucción, desde la elección de imágenes a ser usadas como la determinación del objeto a reconstruir. Pregunta 2: ¿Qué ventajas tiene la reconstrucción 3D que usa un enfoque basado en imágenes frente a las técnicas de reconstrucción tradicionales? La reconstrucción 3D que usa un enfoque basado en imágenes prescinde de la intervención humana en el proceso de reconstrucción casi en su totalidad, de manera que se vuelve automático, siendo esta una de las principales características de las aplicaciones que utilizan aprendizaje profundo. La automatización se puede apreciar en el momento en que se efectúa la adquisición de forma, en donde se minimiza la intervención humana, en el cual el usuario solo provee de la única imagen que contiene el objeto, el cual será reconstruido. En este tipo de reconstrucciones no es necesario estar provisto de equipamiento especial como los escáneres 3D o poseer múltiples imágenes de un objeto con diferentes ángulos, por lo que se agiliza y se reduce el costo del proceso notablemente. Pregunta 3: ¿Qué ventajas tiene un tipo de representación 3D frente a las demás en la reconstrucción 3D? Los cuatro principales tipos de representaciones utilizadas en la reconstrucción 3D son vóxeles, octrees, nube de puntos y mallas. Las ventajas se miden principalmente en dos aspectos: necesidad de recursos computacionales y calidad de la representación. 27 − La representación basada en vóxeles es capaz de capturar mayor información acerca de la textura o la geometría a pequeña escala de la superficie, sin embargo, esto es limitado por la gran necesidad de memoria para almacenar a los vóxeles, inclusive si son los que no pertenecen a la superficie del objeto. − La representación basada en octrees soluciona el problema de la gran necesidad de memoria de la representación basada en vóxeles, pero esta no es capaz de capturar mayor información de la textura. − La representación basada en nube de puntos, en cambio, puede capturar información considerable de la textura de la superficie a un costo computacional relativamente bajo debido a que los puntos almacenados solo corresponden a los de la superficie. − La representación basada en mallas, además de poseer las ventajas de la representación basada en nube de puntos, es capaz de capturar mayor información acerca de la textura debido a que la representación dispone de la información correspondiente al conjunto de caras y aristas o bordes de la forma. Pregunta 4: ¿Existen técnicas de reconstrucción 3D que usan un enfoque basado en imágenes aplicadas en materia de patrimonio cultural? Si bien existe gran variedad de técnicas de reconstrucción 3D para la preservación del patrimonio cultural, estas se basan en las técnicas tradicionales de reconstrucción, como lo son el escaneo 3D y la fotogrametría. Cabe resaltar que si bien, en materia del patrimonio cultural digital, no hay avances en técnicas de reconstrucción 3D que usan un enfoque basado en imágenes, se han desarrollado técnicas para la reconstrucción 3D de piezas arqueológicas incompletas (Hermoza & Sipiran, 2018b; Toribio, 2019). 28 3.3 Conclusiones Finalmente, según lo revisado en diferentes artículos e investigaciones desarrolladas en años recientes, se tiene las siguientes conclusiones al respecto. − La necesidad de prescindir de equipamiento especial para efectuar reconstrucciones 3D fue la principal motivación para el desarrollo de técnicas de reconstrucción 3D que usan un enfoque basado en imágenes. Si bien es cierto que las reconstrucciones de este tipo no han logrado alcanzar el nivel de exactitud que tienen las reconstrucciones tradicionales como el escaneo 3D, los resultados son considerablemente aceptables y más que suficientes para ciertas tareas y aplicaciones. − El principal factor que permitió el desarrollo de técnicas de reconstrucción 3D que usan un enfoque basado en imágenes fue la proliferación de grandes conjuntos de datos de modelos 3D e imágenes obtenidas a partir de técnicas como la renderización, lo cual posibilita el aprendizaje por parte de las herramientas desarrolladas. Asimismo, un factor importante fueron los últimos avances en materia de aprendizaje profundo para el procesamiento de la gran cantidad de datos disponibles. − Si bien es cierto que las reconstrucciones 3D con representación basada en nube de puntos es de las más populares en el área por no suponer un gran costo computacional como sí implicaban las técnicas basadas en representaciones volumétricas en años anteriores, persiste el problema de no poder capturar mayores detalles acerca de la superficie de la forma mas allá de los vértices. Por otro lado, últimamente el objetivo por superar esta dificultad se ha visto reflejado en la aparición de técnicas que usan la representación basada en mallas, la cual sí es capaz de capturar la textura de la superficie. − El interés en el área de patrimonio cultural digital se ha visto incrementado notablemente, sin embargo, persiste la aplicación de técnicas de reconstrucción 3D 29 tradicionales. En el estado del arte no se observan investigaciones de reconstrucción de piezas arqueológicas que usan un enfoque basado en imágenes, probablemente a causa de lo novedoso que son este tipo de técnicas. 30 Referencias Blender Foundation. (2020). Blender. https://www.blender.org/ Calvo, S. A. (1984). Lima prehispánica. Retrieved from https://books.google.com.pe/books?id=T2EaAAAAYAAJ Dai, A., Qi, C. R., & Nießner, M. (2017). Shape completion using 3D-encoder-predictor CNNs and shape synthesis. Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017-Janua, 6545–6554. https://doi.org/10.1109/CVPR.2017.693 Evgenikou, V., & Georgopoulos, A. (2015). Investigating 3D reconstruction methods for small artifacts. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives, 40(5W4), 101–108. https://doi.org/10.5194/isprsarchives-XL-5-W4-101-2015 Gherardini, F., Santachiara, M., & Leali, F. (2018). 3D Virtual Reconstruction and Augmented Reality Visualization of Damaged Stone Sculptures. IOP Conference Series: Materials Science and Engineering, 364(1). https://doi.org/10.1088/1757-899X/364/1/012018 Gomes, L., Silva, L., & Bellon, O. R. P. (2018). Exploring RGB-D cameras for 3D reconstruction of cultural heritage: A new approach applied to brazilian baroque sculptures. Journal on Computing and Cultural Heritage, 11(4). https://doi.org/10.1145/3230674 Hermoza, R., & Sipiran, I. (2018a). 3D reconstruction of incomplete archaeological objects using a generative adversarial network. ACM International Conference Proceeding Series, 5–11. https://doi.org/10.1145/3208159.3208173 31 Hermoza, R., & Sipiran, I. (2018b). 3D reconstruction of incomplete archaeological objects using a generative adversarial network. 2018 Computer Graphics International Conference, CGI 2018, 5–11. https://doi.org/10.1145/3208159.3208173 Iakushkin, O., Selivanov, D., Tazieva, L., Fatkina, A., Grishkin, V., & Uteshev, A. (2018). 3D reconstruction of landscape models and archaeological objects based on photo and video materials. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), pp. 160–169. https://doi.org/10.1007/978-3-319-95171-3_14 Istituto di Scienza e Tecnologie dell’Informazione. (2020). MeshLab. http://www.meshlab.net/ Ioannides, M., & Davies, R. (2019). ViMM - Virtual Multimodal Museum: A Manifesto and Roadmap for Europe’s Digital Cultural Heritage. 9th International Conference on Intelligent Systems 2018: Theory, Research and Innovation in Applications, IS 2018 - Proceedings. https://doi.org/10.1109/IS.2018.8710556 Kaesemodel Pontes, J., Kong, C., Eriksson, A., Fookes, C., Sridharan, S., & Lucey, S. (2018). Compact Model Representation for 3D Reconstruction. Proceedings - 2017 International Conference on 3D Vision, 3DV 2017. https://doi.org/10.1109/3DV.2017.00020 Kitchenham, B., Pearl Brereton, O., Budgen, D., Turner, M., Bailey, J., & Linkman, S. (2009). Systematic literature reviews in software engineering - A systematic literature review. Information and Software Technology. https://doi.org/10.1016/j.infsof.2008.09.009 Lamb, N., Banerjee, S., & Banerjee, N. K. (2019). Automated reconstruction of smoothly joining 3D printed restorations to fix broken objects. Proceedings: SCF 2019 - ACM Symposium on Computational Fabrication. https://doi.org/10.1145/3328939.3329005 Lin, C. H., Kong, C., & Lucey, S. (2018). Learning efficient point cloud generation for dense 3D object reconstruction. 32nd AAAI Conference on Artificial Intelligence, AAAI 2018. 32 Liu, S., Li, T., Chen, W., & Li, H. (2019). Soft Rasterizer: A Differentiable Renderer for Image- based 3D Reasoning. Retrieved from http://arxiv.org/abs/1904.01786 Mandikal, P., Navaneet, K. L., & Babu, R. V. (2019). 3D-PSRNet: Part segmented 3D point cloud reconstruction from a single image. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11131 LNCS, 662–674. https://doi.org/10.1007/978-3-030-11015-4_50 Moons, T., van Gool, L., & Vergauwen, M. (2009). 3D reconstruction from multiple images part 1: Principles. Foundations and Trends in Computer Graphics and Vision, 4(4), 287– 404. https://doi.org/10.1561/0600000007 Mozilla Foundation. (2016). Introduction to Object- Oriented JavaScript. Retrieved from https://developer.mozilla.org/en-US/docs website: https://developer.mozilla.org/ Oomes, S., Snoeren, P., & Dijkstra, T. (1997). 3D shape representation: Transforming polygons into voxels. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). https://doi.org/10.1007/3- 540-63167-4_33 Papaioannou, G., Schreck, T., Andreadis, A., Mavridis, P., Gregor, R., Sipiran, I., & Vardis, K. (2017). From reassembly to object completion: A complete systems pipeline. Journal on Computing and Cultural Heritage. https://doi.org/10.1145/3009905 Pontes, J. K., Kong, C., Sridharan, S., Lucey, S., Eriksson, A., & Fookes, C. (2019). Image2Mesh: A Learning Framework for Single Image 3D Reconstruction. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). https://doi.org/10.1007/978-3-030-20887-5_23 Python Foundation. (2016). About PythonTM | Python.org. 33 Ravines, R. (2011). Estilos de Cerámica del Antiguo Perú. Boletín de Lima, 163–166, 433– 564. Singh, G. (2014). CultLab3D: Digitizing Cultural Heritage. IEEE Computer Graphics and Applications. https://doi.org/10.1109/MCG.2014.48 Sipiran, I. (2018). Analysis of partial axial symmetry on 3D surfaces and its application in the restoration of cultural heritage objects. Proceedings - 2017 IEEE International Conference on Computer Vision Workshops, ICCVW 2017, 2018-Janua, 2925–2933. https://doi.org/10.1109/ICCVW.2017.345 Stutz, D., & Geiger, A. (2018). Learning 3D Shape Completion from Laser Scan Data with Weak Supervision. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1955–1964. https://doi.org/10.1109/CVPR.2018.00209 Tatarchenko, M., Dosovitskiy, A., & Brox, T. (2017). Octree Generating Networks: Efficient Convolutional Architectures for High-resolution 3D Outputs. Proceedings of the IEEE International Conference on Computer Vision. https://doi.org/10.1109/ICCV.2017.230 The Mathworks Inc. (2016). MATLAB - MathWorks. Www.Mathworks.Com/Products/Matlab. https://doi.org/2016-11-26 three.js. (2019). three.js. Retrieved from https://threejs.org/ Tobler, R. F., & Maierhofer, S. (2006). A mesh data structure for rendering and subdivision. 14th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision 2006, WSCG’2006 - In Co-Operation with EUROGRAPHICS, Full Papers Proceedings. Toribio, G. R. (2019). Desarrollo de herramienta de visualización para la reparación de piezas arqueológicas basado en su simetría. Retrieved from http://hdl.handle.net/20.500.12404/13894 34 TV Perú. (2019). Software reconstruye piezas arqueológicas en 3D. Retrieved from http://plataforma.ipnoticias.com/Landing?cac=4dFufUpm9vOGWE%2FpCYNfNQ%3D %3D&i=8rjVc38Q1fmQN9n3eazhjw%3D%3D&pm=4Jpq4%2BSL9MeYY%2FsQdZt KaQ%3D%3D&c=Mv8I1lqJnHtw%2F9CmX%2Flk154mV7y%2F1lhHQI5tHe%2Fcs9 KlYyQ4PHFLpHTHh5RTQgWJ Wu, Z., Song, S., Khosla, A., Yu, F., Zhang, L., Tang, X., & Xiao, J. (2015). 3D ShapeNets: A deep representation for volumetric shapes. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 07-12-June, 1912–1920. https://doi.org/10.1109/CVPR.2015.7298801 Zhang, Y., Liu, Z., Liu, T., Peng, B., & Li, X. (2019). RealPoint3D: An Efficient Generation Network for 3D Object Reconstruction from a Single Image. IEEE Access, 7, 57539– 57549. https://doi.org/10.1109/ACCESS.2019.2914150 Zheng, Y., Liu, J., Liu, Z., Wang, T., & Ahmad, R. (2019). A primitive-based 3D reconstruction method for remanufacturing. International Journal of Advanced Manufacturing Technology, 3667–3681. https://doi.org/10.1007/s00170-019-03824-w i RESUMEN Índice de Figuras Índice de Tablas Capítulo 1. Generalidades 1.1 Problemática 1.2 Objetivos 1.2.1 Objetivo general 1.2.2 Objetivos específicos 1.2.3 Resultados esperados 1.2.4 Mapeo de objetivos, resultados y verificación 1.3 Herramientas y Métodos 1.3.1 Herramientas 1.3.2 Métodos Capítulo 2. Marco Conceptual 2.1 Reconstrucción 3D 2.2 Terminación de forma 2.3 Modelo 3D 2.3.1 Volumétrica 2.3.2 Árboles octales 2.3.3 Nube de puntos 2.3.4 Mallas 2.4 Renderización 2.5 Cerámica prehispánica Capítulo 3. Estado del Arte 3.1 Método de revisión 3.1.1 Preguntas de investigación 3.1.2 Definición de cadenas de búsqueda 3.1.3 Criterios de inclusión 3.1.4 Criterios de exclusión 3.2 Revisión y discusión 3.2.1 Revisión de literatura 3.2.2 Análisis de Preguntas de Investigación 3.3 Conclusiones Referencias