Los ingenieros del Instituto de Tecnología de Tokio (Tokyo Tech) han demostrado un enfoque computacional simple para respaldar el rendimiento de clasificación de las redes neuronales que operan en series temporales de sensores. La técnica propuesta implica alimentar la señal registrada como un forzamiento externo en un sistema dinámico no lineal elemental y proporcionar sus respuestas temporales a esta perturbación a la red neuronal junto con los datos originales.

En el mundo que nos rodea, se está produciendo una proliferación de sensores que prometen respaldar la eficiencia y la sostenibilidad de prácticamente todos los aspectos de la actividad humana. Un desafío que deben enfrentar los ingenieros involucrados en la entrega de Internet de las cosas a la sociedad es cómo manejar la avalancha de datos resultante de dichos sensores. Especialmente, existe la necesidad de reducir los datos tanto como sea posible en el borde, cerca de los propios sensores, porque la transmisión de todos los datos a la nube tendría una huella técnica, económica y ambiental inaceptable. Como respuesta a esto, se está investigando mucho en todo el mundo en busca de clasificadores de tamaño pequeño y altamente eficientes, adecuados para detectar comportamientos particulares y situaciones de interés mientras se ejecutan con recursos computacionales limitados. con el propósito de detectar cambios sutiles que sean indicativos de enfermedad prodrómica.

« Un enfoque emergente para respaldar el desarrollo de clasificadores de series temporales adecuados para la inteligencia artificial de vanguardia es el aumento de datos. Básicamente, se trata de encontrar formas creativas e innovadoras de generar datos adicionales para ayudar a obtener el mejor rendimiento de las redes neuronales que necesariamente tienen que ser bastante pequeños para cumplir con los requisitos de potencia y tamaño. Si bien la teoría de los clasificadores está bien establecida, se puede decir que el aumento de datos todavía está casi en su infancia para series temporales. En nuestro laboratorio, por ejemplo, hemos estado trabajando en una variedad de técnicas basadas en consideraciones empíricas, así como en principios matemáticos », explica la Sra. Chao Li, estudiante de doctorado en la Unidad de Nano Detección donde se realizó el estudio, y coautora principal del estudio.

Por lo general, el aumento de datos se realiza justo antes o durante el entrenamiento del clasificador y se ejecuta en potentes estaciones de trabajo o computadoras en la nube. El resultado es que la cantidad de datos disponibles para entrenar a un clasificador se extiende a lo largo de la dimensión temporal, como sería el caso si se dispusiera de grabaciones más largas. Esto es importante porque los datos de alta calidad del tipo necesario para el entrenamiento del clasificador son valiosos y costosos de preparar. Sin embargo, esta no es la única forma de aumento de datos posible. « Se nos ocurrió la idea de extender los datos a lo largo de la otra dimensión, es decir, la cantidad de series temporales, es decir, la cantidad de dimensiones de entrada. Por lo general, las aplicaciones de borde pueden operar en una o, como máximo, en una serie temporal de sensores. Una posibilidad es realizar operaciones computacionales para generar más de ellas, que intentan poner la mayor cantidad posible de información inicial a disposición del clasificador en una forma adecuada para que pueda aprenderla de manera eficiente.Si bien se podrían implementar muchas operaciones de procesamiento de señales, una particularmente la computación disruptiva consiste en simular un sistema dinámico, dotado de su propia actividad intrínseca, y tratar de perturbarlo forzándolo externamente con una señal registrada del entorno”, explica el Dr. Ludovico Minati, autor principal del estudio.

Partiendo de un concepto previamente desarrollado y patentado en la unidad de Biointerfaces para mejorar el rendimiento de los sistemas de interfaz cerebral, los investigadores consideraron cuidadosamente muchos aspectos prácticos de cómo realizarlo. Con el objetivo de clasificar los comportamientos básicos del ganado utilizando un acelerómetro montado en un collar, desarrollaron formas de filtrar y preprocesar las señales cinemáticas y de inyectarlas para que el sistema dinámico simulado las aceptara y respondiera sin divergir. Luego, exploraron cómo extraer la serie temporal más relevante de su actividad, para suministrarla a un extractor de características predeterminado y un perceptrón multicapa o a una red neuronal convolucional. « Muchos sistemas de baja dimensión, como los sistemas Rössler y Lorenz, que han sido estudiados durante décadas por físicos e ingenieros de control, en realidad tienen un potencial computacional notable que permanece en gran medida sin explorar. Este estudio da un paso inusual hacia su implementación en una aplicación concreta. escenario”, explica el Prof. Mattia Frasca de la Universidad de Catania (Italia), quien brindó varias contribuciones teóricas a los investigadores de Tokyo Tech sobre el comportamiento de este tipo de sistemas y sus implementaciones como circuitos analógicos.

Al aumentar los datos a través de la serie temporal adicional derivada de los sistemas dinámicos, es decir, un sistema Rössler separado por eje del acelerómetro, los investigadores pudieron aumentar el rendimiento de la clasificación en una cantidad apreciable. « Si bien este es realmente solo un estudio inicial para proponer una idea provocativa y se necesita un trabajo futuro sustancial, también pudimos realizar el sistema dinámico utilizando un circuito de hardware analógico muy simple y aun así observar una mejora gracias a la explotación de sus respuestas », agrega. Dr. Ludovico Minati. « Nuestro enfoque recuerda a la computación de reservorios, en la que recientemente llevamos a cabo una investigación utilizando circuitos de transistores elementales conocidos como osciladores Minati-Frasca. Sin embargo, en realidad es diferente, porque la dinámica es de baja dimensión y se usa un solo oscilador en lugar de una red. En este sentido, puede ser aún más adecuado para la implementación de baja potencia”, agrega el Sr. Jim Bartels, también estudiante de doctorado en la unidad.

Después de la entrevista, el equipo explicó que este tipo de investigación exploratoria deberá extenderse y desarrollarse en otros conjuntos de datos y entornos para determinar su aplicabilidad general a casos concretos, aunque estos resultados iniciales son prometedores. « Un punto para llevar a casa es que este enfoque se puede implementar con recursos bastante limitados, ya sea de forma digital o analógica. De hecho, nuestro trabajo anterior ha demostrado que los sistemas caóticos CMOS funcionan con una potencia tan baja como 1 μW, lo que podría ser adecuado para A medida que las optimizaciones de las tecnologías de proceso y los diseños convencionales se acercan a sus límites, la exploración segura de ideas radicalmente nuevas como esta parece necesaria para la innovación continua », concluye el Dr. Hiroyuki Ito, director de la unidad. La metodología, los resultados y las consideraciones relacionadas se informan en un artículo reciente publicado en la revista Chaos, Solitons and Fractals, y todas las grabaciones experimentales se han puesto a disposición de forma gratuita para que otros las utilicen en trabajos futuros.