Sofás, mesas, fundas y más pueden convertirse en un dispositivo de entrada de alta fidelidad para computadoras utilizando un nuevo sistema de detección desarrollado en la Universidad de Michigan.

El sistema reutiliza la tecnología de los nuevos micrófonos de conducción ósea, conocidos como unidades de captación de voz (VPU), que detectan solo las ondas acústicas que viajan a lo largo de la superficie de los objetos. Funciona en ambientes ruidosos, a lo largo de geometrías extrañas como juguetes y brazos, y en telas suaves como ropa y muebles.

Llamado SAWSense, por las ondas acústicas superficiales en las que se basa, el sistema reconoce diferentes entradas, como toques, rasguños y deslizamientos, con un 97 % de precisión. En una demostración, el equipo usó una mesa normal para reemplazar el panel táctil de una computadora portátil.

« Esta tecnología le permitirá tratar, por ejemplo, toda la superficie de su cuerpo como una superficie interactiva », dijo Yasha Iravantchi, candidata a doctorado en ciencias informáticas e ingeniería de la UM. « Si coloca el dispositivo en su muñeca, puede hacer gestos en su propia piel. Tenemos hallazgos preliminares que demuestran que esto es completamente factible ».

Los toques, deslizamientos y otros gestos envían ondas acústicas a lo largo de las superficies de los materiales. Luego, el sistema clasifica estas ondas con aprendizaje automático para convertir todo el toque en un conjunto sólido de entradas. El sistema se presentó la semana pasada en la Conferencia sobre factores humanos en sistemas informáticos de 2023, donde recibió el premio a la mejor ponencia.

A medida que más objetos continúan incorporando tecnología inteligente o conectada, los diseñadores se enfrentan a una serie de desafíos cuando intentan brindarles mecanismos de entrada intuitivos. Esto da como resultado una gran cantidad de incorporación torpe de métodos de entrada como pantallas táctiles, así como botones mecánicos y capacitivos, dice Iravantchi. Las pantallas táctiles pueden ser demasiado costosas para permitir la entrada de gestos en superficies grandes como mostradores y refrigeradores, mientras que los botones solo permiten un tipo de entrada en ubicaciones predefinidas.

Los enfoques anteriores para superar estas limitaciones han incluido el uso de micrófonos y cámaras para entradas basadas en audio y gestos, pero los autores dicen que técnicas como estas tienen una practicidad limitada en el mundo real.

« Cuando hay mucho ruido de fondo, o algo se interpone entre el usuario y la cámara, las entradas de gestos de audio y visuales no funcionan bien », dijo Iravantchi.

Para superar estas limitaciones, los sensores que alimentan SAWSense están alojados en una cámara sellada herméticamente que bloquea por completo incluso el ruido ambiental muy fuerte. La única entrada es a través de un sistema de masa-resorte que conduce las ondas acústicas superficiales dentro de la carcasa sin entrar en contacto con los sonidos del entorno circundante. Cuando se combina con el software de procesamiento de señales del equipo, que genera características a partir de los datos antes de introducirlos en el modelo de aprendizaje automático, el sistema puede registrar y clasificar los eventos a lo largo de la superficie de un objeto.

« Hay otras formas de detectar vibraciones u ondas acústicas superficiales, como sensores piezoeléctricos o acelerómetros », dijo Alanson Sample, profesor asociado de ingeniería eléctrica e informática de la UM, « pero no pueden capturar la amplia gama de frecuencias ». que necesitamos saber la diferencia entre un golpe y un rasguño, por ejemplo ».

La alta fidelidad de las VPU permite que SAWSense identifique una amplia gama de actividades en una superficie más allá de los eventos táctiles del usuario. Por ejemplo, una VPU en la encimera de una cocina puede detectar picar, revolver, batir o batir, así como identificar dispositivos electrónicos en uso, como una licuadora o un microondas.

« Las VPU hacen un buen trabajo al detectar actividades y eventos que suceden en un área bien definida », dijo Iravantchi. « Esto permite la funcionalidad que viene con un objeto inteligente sin las preocupaciones de privacidad de un micrófono estándar que detecta toda la habitación, por ejemplo ».

Cuando se usan varias VPU en combinación, SAWSense podría habilitar entradas más específicas y sensibles, especialmente aquellas que requieren una sensación de espacio y distancia, como las teclas de un teclado o los botones de un control remoto.

Además, los investigadores están explorando el uso de VPU para la detección médica, incluida la detección de ruidos delicados, como los sonidos de las articulaciones y los tejidos conectivos a medida que se mueven. Los datos de audio de alta fidelidad que proporcionan las VPU podrían permitir análisis en tiempo real sobre la salud de una persona, dice Sample.

La investigación está parcialmente financiada por Meta Platforms Inc.

El equipo solicitó la protección de patentes con la ayuda de UM Innovation Partnerships y está buscando socios para llevar la tecnología al mercado.