Tecnologías utilizadas

• Arduino mega
• 2 leds (rojo y verde)
• Motor de 5Vdc
• Cables

Frameworks utilizados

• Numpy
• Pandas
• OpenCV
• TensorFlow
• Keras
• face_recognition

Funcionalidades más importantes

• Extracción del área de los ojos para una clasificación más precisa
• Modelo de Redes Neuronales Convolucionales de varias capas con una precisión alta (>90%)
• Clasificación en tiempo real de somnolencia con etiquetas
• Adición de un prototipo que alerta de manera sensorial, auditiva y visual en el modelo en vivo en caso de somnolencia

Instalación

Instalación de Software

• Es importante tener instaladas, fuera de las librerías típicas de Ciencia de Datos (Numpy, MatPlotLib, Pandas), librerías como OpenCV, TensorFlow, Keras, face_recognition, playsound (A través del comando pip)

• Se recomienda tener la cámara web activa en un entorno Desktop

• Se recomienda tener la GPU activa (En Colaboratory)

• En algunos sistemas operativos puede ser necesario instalar homebrew, cmake, dlib antes de instalar face_recognition, OpenCV y Playsound

• Para la aplicación en vivo (Aplicacion del modelo final con la cámara web) se recomienda un IDE de escritorio (Pycharm, Spyder) corriendo un entorno virtual con todas las librerías necesarias

Descripciones técnicas Arduino:

En este caso se establecieron 9600 baudios para establecer una comunicación Serial y de igual manera, se determinaron los siguientes comandos para el funcionamiento de las alertas:

• Para el encendido del LED Rojo y el motor, debemos mandar por Serial el caracter 'R'.
• Para el encendido del LED Verde, debemos mandar por Serial 'N'.
• Se le configura En ambos LN & CR para modificar la funcionalidad del Hardware con el teclado.

Créditos

• Israel Algodón (25 %)
• Bruno Bustos (25 %)
• Tracy Loza (50 %)

• Funciones de detección adaptadas de: https://towardsdatascience.com/drowsiness-detection-using-convolutional-neural-networks-face-recognition-and-tensorflow-56cdfc8315ad

• GitHub del autor del artículo: https://github.com/dustin-stew

• Estructura de las Redes Neuronales Convolucionales inspiradas de: https://github.com/EdwinTSalcedo/Bootcamp-Computer-Vision-for-the-SDGs/blob/master/notebooks/Laboratorio%2011_%20Redes%20Neuronales%20Convolucionales.ipynb

• Base para el uso de imágenes en Colab a través de OpenCV: https://github.com/EdwinTSalcedo/Bootcamp-Computer-Vision-for-the-SDGs/blob/087b9e0474e5497a03c6c8073e79721d24da3ce1/notebooks/Laboratorio%201_%20Introducci%C3%B3n%20a%20Colab,%20OpenCV%20y%20Numpy.ipynb

• Github del autor de los últimos 2 Notebooks: https://github.com/EdwinTSalcedo

• Métricas del modelo decididas a partir de: https://towardsdatascience.com/a-look-at-precision-recall-and-f1-score-36b5fd0dd3ec

• Objetivos de desarrollo sostenible decididos a partir de la información proveída por Natalia Guerreros Lima en: https://github.com/EdwinTSalcedo/Bootcamp-Computer-Vision-for-the-SDGs/blob/f2dd3b0eb4edb18d308a472bb5904c74b8eefe09/slides/ODS%20primera%20parte.pdf

Secciones adicionales (Los resultados experimentales son más profundizados en el video y en nuestras imágenes importantes)

Trabajos Relacionados

Garcés M., Salgado J., Cruz J., Cañon W. (2015), Sistemas de Detección de Somnolencia en Conductores: inicio, desarrollo y futuro. https://dialnet.unirioja.es/descarga/articulo/5432283.pdf Gupta, V. (22 de octubre de 2018). Learn OpenCV. https://www.learnopencv.com/face-detection-opencv-dlib-and-deep-learning-c-python/ Ramzan M, Ullah H, Mahmood S., Amina I., Ilyas M. (1 mayo 2019), A Survey on State-of-the-Art Drowsiness Detection Techniques. https://ieeexplore.ieee.org/abstract/document/8704263 Sanchez E., Limaquispe M., (junio 2018), Sistema de Detección de somnolencia mediante Inteligencia Artificial en Conductores de Vehículos para Alertar la Ocurrencia de Accidentes de Tránsito. https://repositorio.unh.edu.pe/bitstream/handle/UNH/2327/TESIS-2018-INGENIERIA%20ELECTRONICA-LIMAQUISPE%20MIGUEL.pdf?sequence=1&isAllowed=y

Métodos

Los pasos a seguir durante este proyecto fueron inspirados en: A How-to-Model Guide for Neuroscience, combinando con funcionalidades de un sistema completo aprendidas durante el presente Bootcamp, ya que:

1. Se definió un objetivo
2. Se revisó la literatura
3. Se determinaron los ingredientes básicos de un posible modelo (Explorando las alternativas aprendidas durante el bootcamp)
4. Se definió una posible hipótesis (Proponiendo encontrar un modelo que supere el 90% de accuracy)

Dentro de la implementación del modelo:

5. Se seleccionaron las herramientas a ser implementadas, donde se consideraron enfoques alternativos
6. Se planificó el modelo, la arquitectura y la aplicación en vivo utilizados durante el proyecto
7. Se implementó el modelo en Colaboratory de Google y Jupyter Notebooks
8. Se completó el modelo modificando posibles hiperparámetros
9. Se testeó y evaluó el modelo en vivo alcanzando muy buenas métricas y combinandolo con un sistema de retroalimentación multisensorial

Para finalmente:

10. Publicarlo en este Bootcamp

Logos

Licencia

The MIT License

Copyright (c) 2022 SplitVision

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.