Con un interés creciente en los sistemas de inteligencia artificial generativa (IA) en todo el mundo, los investigadores de la Universidad de Surrey han creado un software que puede verificar cuánta información obtuvo una IA de la base de datos digital de una organización.

El software de verificación de Surrey se puede utilizar como parte del protocolo de seguridad en línea de una empresa, lo que ayuda a una organización a comprender si una IA ha aprendido demasiado o incluso ha accedido a datos confidenciales.

El software también es capaz de identificar si AI ha identificado y es capaz de explotar fallas en el código del software. Por ejemplo, en un contexto de juegos en línea, podría identificar si una IA ha aprendido a ganar siempre en el póquer en línea al explotar una falla de codificación.

La Dra. Solofomampionona Fortunat Rajaona es investigadora en verificación formal de la privacidad en la Universidad de Surrey y autora principal del artículo. Él dijo :

« En muchas aplicaciones, los sistemas de IA interactúan entre sí o con los humanos, como los automóviles autónomos en una autopista o los robots de hospitales. Descubrir lo que sabe un sistema inteligente de datos de IA es un problema continuo que nos ha llevado años encontrar una solución que funcione ». solución para.

« Nuestro software de verificación puede deducir cuánto puede aprender AI de su interacción, si tienen suficiente conocimiento que permita una cooperación exitosa y si tienen demasiado conocimiento que romperá la privacidad. A través de la capacidad de verificar lo que AI ha aprendido, podemos dar organizaciones la confianza para liberar de manera segura el poder de la IA en entornos seguros ».

El estudio sobre el software de Surrey ganó el premio al mejor artículo en el 25º Simposio Internacional sobre Métodos Formales.

El profesor Adrian Hilton, director del Instituto de IA centrada en las personas de la Universidad de Surrey, dijo :

« Durante los últimos meses ha habido un gran aumento del interés del público y de la industria en los modelos de IA generativa impulsados ​​por los avances en modelos de lenguaje extenso como ChatGPT. La creación de herramientas que puedan verificar el rendimiento de la IA generativa es esencial para respaldar su seguridad y implementación responsable. Esta investigación es un paso importante hacia el mantenimiento de la privacidad y la integridad de los conjuntos de datos utilizados en la capacitación ».

Más información : https://openresearch.surrey.ac.uk/esploro/outputs/99723165702346