QuakeScan: Identificador de Patologías Edificatorias Sísmicas

El problema

Cada año se producen aproximadamente 20.000 terremotos de diversas magnitudes en todo el mundo. Según un estudio de la Agencia Federal para el Manejo de Emergencias (FEMA), se estima que los daños estructurales relacionados con terremotos ascienden a un total de 4.4 mil millones de dólares cada año.

Cuando ocurre un terremoto, la evaluación inmediata y precisa de los daños en los edificios es crucial para la recuperación y seguridad de la comunidad. Los procesos tradicionales de evaluación, como se describe en “Post-Earthquake Damage Evaluation for R/C Buildings”, implican inspecciones rápidas iniciales seguidas de evaluaciones más detalladas. Estas inspecciones deben realizarse rápidamente para identificar qué edificios son seguros y cuáles requieren intervención urgente antes de que ocurran réplicas. El problema de evaluar los daños en los edificios después de un terremoto es complejo, extenso y urgente. Se necesita una acción inmediata para inspeccionar los edificios, identificar aquellos que requieren apoyo inmediato e intervenir para eliminar peligros. El informe de la Comisión Europea — Protección Civil del D.G. Ambiente — EPPO destaca la importancia de iniciar las inspecciones de emergencia dentro de las horas siguientes a un terremoto.

En el año 2017 un terremoto de magnitud 7.1 en la escala Richter sacudió el país de México. Se establecieron plataformas de ayuda para agilizar el proceso de diagnóstico, pero muchos residentes tuvieron que esperar entre 4 y 8 semanas para recibir información sobre el estado de sus hogares. Algunos de estos residentes permanecieron en sus viviendas, a la espera de un diagnóstico profesional, sin saber la gravedad de los daños.

Por este motivo queremos proponer un identificador de patologías edificatorias centrado en sismos de fácil uso para un ciudadano común en caso de catástrofe natural.

Estado del arte

Los métodos existentes para la evaluación de daños en edificios post-terremoto, como el propuesto en el artículo “Evaluación Inteligente de Daños para Edificios Post-Terremoto Usando Visión Computarizada y Realidad Aumentada”, involucran tecnologías sofisticadas como la visión artificial y la realidad aumentada para mejorar la precisión e inteligencia de las evaluaciones. Este método emplea redes neuronales convolucionales (CNN) y teoría del valor gris para analizar la información de los daños, ofreciendo una representación visual detallada del daño. De manera similar, la serie Demystifying AI destaca el uso de imágenes satelitales e IA para la evaluación rápida de daños y la asignación de recursos en escenarios de desastres. Estos métodos, aunque altamente efectivos, requieren equipos especializados y recursos informáticos extensivos.

Nuestro enfoque con Quakescan ofrece una alternativa para la evaluación inicial de daños post-terremoto. Al utilizar el potencial de la IA, nuestra aplicación móvil permite a los usuarios capturar rápidamente imágenes de los daños en los edificios, las cuales son analizadas para determinar el tipo y la severidad del daño. Esta herramienta innovadora proporciona información inmediata, apoyando tanto a los individuos afectados como a los profesionales en la realización de diagnósticos rápidos y la implementación de medidas de seguridad. A diferencia de los métodos tradicionales, que a menudo provocan retrasos en la identificación y abordaje de daños estructurales críticos, Quakescan ofrece una opción que no requiere equipos especializados ni una gran cantidad de personal, dependiendo únicamente de un teléfono con cámara y acceso a internet. Aunque no está destinada a evaluaciones complejas, Quakescan sirve como una herramienta crucial para evaluaciones iniciales rápidas, aliviando la presión de los equipos de respuesta al proporcionar información inmediata y accesible, siendo particularmente útil en las etapas cruciales iniciales de la respuesta ante desastres.

El dataset

Las imágenes utilizadas para el entrenamiento del modelo han sido obtenidas del Instituto de Investigación de Ingeniería Sísmica, a través de la plataforma Learning from Earthquakes Reconnaissance Archive. Éste es un recurso que ofrece fotografías reales que muestran daños causados por terremotos en edificios.

Estas imágenes no contaban con etiquetas, por lo que fueron clasificadas por una arquitecta, garantizando así un conjunto de datos organizado y etiquetado con precisión. Para ello se escogieron imágenes que mostraban daños en edificios de mampostería o con estructuras porticadas de hormigón. Otros sistemas constructivos como madera o acero fueron descartados para este ejercicio, pero podrían ser considerados en una ampliación.

Las categorías propuestas para este proyecto son las siguientes:

01) Colapso estructural: Esta categoría abarca diversos tipos de colapso que pueden ocurrir en una estructura, cada uno con características y mecanismos distintos.

• Colapso total
• Colapso del piso más débil
• Colapso tipo pancake: Este tipo de colapso es caracterizado por el desplome sucesivo de los pisos uno sobre otro.

02) Colapso parcial por fuerzas fuera del plano (OOP) (Mampostería): Este tipo de colapso es inducido por fuerzas horizontales que actúan perpendicularmente al plano del muro.

• Separación del muro de retorno: Ocurre cuando un muro transversal se separa del muro principal, comprometiendo la estabilidad estructural.
• Colapso del frontón o colapsos parciales de la fachada.
• Falla fuera del plano debido a la acción de empuje de la estructura horizontal.

03) Colapso parcial por fuerzas en el plano (IP) (Mampostería): Este tipo de colapso es causado por fuerzas horizontales que actúan paralelamente al plano del muro.

• Grietas por flexión: Son grietas verticales u horizontales causadas por la flexión del muro bajo carga.
• Grietas diagonales: Surgen como resultado del esfuerzo cortante.
• Deslizamiento en las juntas de mortero: Ocurre cuando las fuerzas de cizallamiento superan la cohesión de las juntas de mortero, provocando un deslizamiento relativo entre las hiladas de ladrillos.

04) Colapso combinado IP/OOP y en esquinas (Mampostería): Usualmente, las fuerzas actúan en más de una dirección, causando colapsos fuera del plano en elementos previamente dañados por fuerzas en el plano o en las esquinas, que son los puntos más vulnerables de las construcciones.

05) Falla de la estructura porticada de hormigón armado (RC ST): Estas fallas comprometen la capacidad portante de la estructura porticada de hormigón armado.

• Falla por cortante en columnas: Las columnas fallan debido a fuerzas de corte que superan su capacidad. Normalmente se aprecian en la base y cabeza de los pilares.
• Pérdida de refuerzo: Ocurre cuando el acero de refuerzo se deteriora o se desplaza, debilitando la estructura.
• Flexión o falla del refuerzo: Las barras de refuerzo fallan debido a esfuerzos de flexión excesivos, comprometiendo la integridad estructural.

06) Descascarillado (RC): Es la pérdida de la capa de recubrimiento del armado del hormigón o la aparición de grietas en el mismo. Aunque no siempre indican un daño estructural severo, deben ser evaluados cuidadosamente.

• Descascarillado: Pérdida superficial del recubrimiento que protege el refuerzo.
• Delaminación: Separación en capas del hormigón, reduciendo su capacidad estructural.

07) Daños en los muros de relleno (RC): Daños en los muros de relleno de una estructura porticada. Estos daños pueden no comprometer la estructura principal, pero representan un riesgo por el posible desprendimiento de los muros no estructurales.

• Daños fuera del plano en muros de relleno en estructuras de hormigón
• Daños en el plano en muros de relleno en estructuras de hormigón

08) Carga sobre edificio adyacente/Inclinación: Daños ocasionados por movimientos horizontales que hacen que un edificio se incline o se apoye sobre otro, provocando posibles fallas estructurales.

09) Aplastamiento del pie: Falla en la base de un muro o columna, donde el material inferior se agrieta o desmorona bajo carga.

10) Desprendimientos: Pérdida de elementos de acabado de la estructura. Los más comunes son:

• Azulejos
• Ladrillos en fachada
• Paneles de falso techo

Data Augmentation

El aumento de datos (data augmentation) es una técnica fundamental para machine y deep learning. Consiste en crear nuevas muestras de datos a partir de las existentes mediante diversas transformaciones, con el objetivo de mejorar la capacidad del modelo para generalizar y manejar diferentes variaciones en los datos. Este proceso fue implementado en el proyecto con el objetivo de aumentar las muestras de nuestra base de datos y equilibrar las categorías, ya que inicialmente contaban con un volumen de muestras muy dispar.

Comenzamos con una colección de aproximadamente 1800 imágenes. Estas imágenes estaban distribuidas en varias categorías, pero había un desbalance en la cantidad de imágenes por categoría. Este desbalance puede conducir a un modelo sesgado, que no rinde adecuadamente en categorías con menos datos.

Utilizamos bibliotecas de procesamiento de imágenes y técnicas de aumento de datos disponibles en TensorFlow. Estas herramientas nos permitieron automatizar el proceso de transformación y garantizar la consistencia en la generación de nuevas imágenes.

Para lograr nuestros objetivos, aplicamos una serie de transformaciones a las imágenes originales. Cada transformación se diseñó cuidadosamente para mantener la relevancia de las características importantes en las imágenes. Por ejemplo, usar ángulos de giro pronunciados podría distorsionar la percepción de la patología.

Las principales transformaciones que utilizamos fueron:

• Rotación: Giramos las imágenes en ángulos muy ligeros.
• Reflejo Horizontal: Invertimos las imágenes horizontalmente, creando un efecto de espejo.
• Ajustes de Brillo y Contraste: Modificamos los niveles de brillo y contraste para simular diferentes condiciones de iluminación.
• Transformaciones de Color: Alteramos la saturación y el tono de las imágenes para generar variaciones en los colores.

Tras aplicar las transformaciones mencionadas, incrementamos nuestro conjunto de datos de 1800 a un total de 9070 imágenes. Esta expansión no solo amplió significativamente nuestra base de datos, sino que también ayudó a equilibrar las categorías. Esto provocó una mejora en la capacidad de nuestro modelo para aprender de todas las clases de manera equitativa.

El Modelo

Con un conjunto de datos cuidadosamente seleccionado, experimentamos con la creación de nuestro propio modelo utilizando la librería de Keras. Sin embargo, debido a la falta de suficientes datos de entrenamiento, decidimos hacer uso un modelo preentrenado. Nuestra elección se centró en una red neuronal profunda (DNN), llamada ResNet50.

Previa realización efectiva del aumento de datos, las métricas de nuestro modelo mostraban un caso de overfitting. Para tratar de evitar este suceso se incluyeron medidas como apagado aleatorio de neuronas (drop out), batch normalization y regularizers. Sin embargo, el mayor impacto fue percibido tras el aumento de datos, que ha sido fundamental para este proyecto.

Gracias a la incorporación de estas medidas y el entrenamiento con el conjunto de datos aumentados, se ha conseguido una efectiva reducción del sobreajuste y la consecuente creación de un modelo más robusto y capaz de enfrentar variaciones en los datos del mundo real.

La etapa de prueba incluyó el procesamiento de un subconjunto de imágenes etiquetadas para evaluar la precisión del modelo en la identificación y categorización de varios tipos de daños en edificios. Los resultados que recibimos indican que el modelo está aprendiendo y mejorando su rendimiento de manera efectiva a lo largo de las épocas. La reducción tanto en la pérdida de entrenamiento como en la de validación, junto con el aumento en la precisión, sugiere que el modelo está volviéndose más preciso en sus predicciones y generalizando bien en los datos de validación.

El valor de la pérdida para el entrenamiento comienza en 2.85, pero durante las primeras etapas vemos como ese valor disminuye muy rápidamente. En las últimas etapas se ralentiza el decrecimiento de este número, hasta alcanzar un valor mínimo de 0.42 en la época 25. Para los datos de validación la función de pérdida alcanza un valor mínimo de 0.49.

La precisión del conjunto de entrenamiento sigue la tendencia contraria, pasando del 11,6% inicial a un 89,15% en la última iteración, un valor parecido al que ofrece el conjunto de validación, que alcanza el 90%. Esto sugiere una mejora muy significativa del modelo para generalizar y lo consideramos un éxito absoluto.

La tendencia de las gráficas parecía indicar que los datos podrían incluso seguir mejorando. Sin embargo, la limitación de tiempo y de capacidad de procesamiento de los equipos disponibles impidió que se ejecutasen pruebas con más épocas.

Análisis de los resultados

El modelo predice la mayoría de las categorías con una gran seguridad y precisión.

Un suceso interesante que se ha detectado al introducir fotografías de daños en estructuras de hormigón armado es que la seguridad de la predicción suele descender para la categoría correcta porque el modelo parece dudar ligeramente si etiquetarlo como categoría 05 o la 06, ambas típicas de estructuras de hormigón. Es decir, el modelo parece reconocer perfectamente que se trata de una estructura de hormigón pero, aunque finalmente haga una predicción correcta, no muestra tanta confianza en su diagnóstico como ocurre con otras patologías.

Ha de tenerse en cuenta que este proyecto ha sido abordado como un problema mono etiqueta. Es por esto que, en imágenes que muestran más de una patología, los porcentajes de confianza del diagnóstico se ven afectados. Igualmente resulta interesante observar que, en la imagen siguiente, son identificados dos años predominantes: Daños en el relleno e inclinación. Ambos resultados son correctos, pero finalmente nos devuelve solo la categoría que ha sido identificada con mayor porcentaje de confianza.

QuakeScan App

Basándonos en ideas de accesibilidad, simplicidad y efectividad, el elemento más apropiado que permitiría a una persona comunicarse con el modelo es una aplicación móvil simple y fácil de usar, que permita a los usuarios capturar y enviar imágenes de daños fácilmente. La aplicación se conecta con el modelo de IA, que evalúa las imágenes y entrega su diagnóstico. Los usuarios pueden entonces recibir el diagnóstico y optar por publicar la ubicación y el resultado, contribuyendo a una comprensión colectiva de los patrones de daños por terremotos y ayudando en los esfuerzos de respuesta a desastres.

Los usuarios comienzan iniciando sesión en la aplicación con sus credenciales, asegurando el acceso seguro a las funciones de la aplicación. La página de inicio proporciona una visión general del proyecto QuakeScan, incluyendo descripciones detalladas de cada categoría de daño reconocida por el modelo.

La característica más crucial de la aplicación es la capacidad de subir imágenes de edificios dañados directamente desde el dispositivo del usuario. Una vez subidas, las imágenes son analizadas por el modelo de IA para determinar la categoría a la que pertenecería el daño. Un mapa dinámico muestra las ubicaciones de los edificios dañados basándose en las imágenes enviadas y analizadas. Cada etiqueta en el mapa representa un edificio, mostrando los resultados proporcionados por la IA. Esto permite a los usuarios ver la distribución y la gravedad de los daños causados por el terremoto en tiempo real. Siguiendo este flujo de usuario, las personas pueden contribuir y beneficiarse de manera eficiente de la comprensión colectiva de los daños causados por terremotos a través de la aplicación QuakeScan.

Futuros Desarrollos

Los datos recopilados a través de la aplicación pueden utilizarse para mapear las áreas afectadas, priorizando los esfuerzos de respuesta de emergencia de manera más efectiva. Los objetivos futuros incluyen:

· Mejorar la precisión del modelo de IA.

· Convertir el problema en multietiqueta para poder abordar el reconocimiento de varias patologías en una única imagen.

· Ampliar el diagnóstico a otros sistemas constructivos.

· Expandir la gama de categorías de daños.

· Integrar imágenes subidas por los usuarios para mejorar continuamente el modelo.

También podría plantearse la inclusión de un juego educativo para ayudar a los usuarios a aprender a identificar tipos de daños y contribuir al entrenamiento del modelo. Con la colaboración de agencias gubernamentales, ONGs e instituciones de investigación se podría ampliar el impacto de la aplicación e integrarla en marcos de respuesta a desastres más amplios.

El equipo:

• Laura Arroyo Domínguez
• Marina García Ondoño
• Beatryss Rats
• Alexandra Valentina Zambrano Rodríguez
• Danny Fernando Aguirre Valle

Repositorio Github:

• QuakeScan