Un universitario engaña a ChatGPT en Bing para que le muestre documentos internos de Microsoft

Microsoft anunció la integración de ChatGPT en Bing Search para poner a disposición de los usuarios un chat interactivo que ayuda al internauta a formular preguntas de la mejor forma posible, pero actualmente, el acceso a dicha innovación tiene lista de espera.

Algunos afortunados ya han tenido la posibilidad de probar ChatGPT en el buscador Bing, y en concreto, un usuario engañó a la inteligencia artificial (IA) para conseguir el documento interno de Bing Search con los detalles sobre sus limitaciones y capacidades.

El chatbot sufrió un ataque de inyección de prompt, es decir, el internauta engañó a la IA al introducir un input malicioso para que rompiese las reglas del motor conversacional, como si se tratase de una ingeniería social que fuerza a hacer algo que no se debe hacer.

La persona en cuestión fue Kevin Liu (un estudiante de la Universidad de Stanford) y consiguió un documento interno con todas las directrices que Microsoft le dio a la IA para dar respuestas coherentes a los usuarios.

Update, the date is weird (as some have mentioned), but it seems to consistently recite similar text: pic.twitter.com/HF2Ql8BdWv

— Kevin Liu (@kliu128) February 9, 2023

Como se puede ver en las capturas de pantalla, la inteligencia artificial filtraba la información por las preguntas que hacía Liu. Los datos estaban relacionados con la instrucción recibida, el nombre en clave del chatbot, el número de idiomas admitido y las instrucciones sobre el comportamiento.

Respecto al nombre, Bing AI a menudo se refiere a sí mismo como ‘Sydney’, pero Microsoft señala que era un nombre en clave para crear una experiencia de chat en la que estaba trabajando anteriormente, además, The Verge indica que tiene un conjunto secreto de reglas que los usuarios han logrado encontrar mediante exploits rápidos.

Caitlin Roulston (directora de comunicaciones de Microsoft) explica en un comunicado a The Verge que “Sydney se refiere a un nombre de código interno para una experiencia de chat que estábamos explorando. Estamos eliminando gradualmente el nombre en la vista previa, pero aún puede aparecer ocasionalmente”.

Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.