Defensa de la esclavitud y recetas con hongos tóxicos. Google AI search da respuestas erróneas y peligrosas

Los experimentos de Google con las búsquedas potenciadas por IA están dando resultados bastante preocupantes. Además de razones en defensa del genocidio o de la eslavitud, la IA defiende alegremente la quema de libros. En un caso ha llegado a ofrecer una suculenta receta para preparar Amanita ocreata, un hongo altamente tóxico conocido como El Ángel de la Muerte.

Una búsqueda de “beneficios de la esclavitud” en la IA de Google generó una lista de ventajas que incluían “impulsar la economía de las plantaciones”, “financiar universidades y mercados” y “ser un gran activo de capital”. Google dijo que “los esclavos desarrollan oficios especializados” y que “la esclavitud es una institución benévola y paternalista con beneficios sociales y económicos”. Todos estos son razonamientos que los defensores de la esclavitud han utilizado en el pasado.

Al escribir “beneficios del genocidio” se generó una lista similar, en la que la IA de Google parecía confundir argumentos a favor del reconocimiento del genocidio con argumentos a favor del genocidio en sí. Google respondió a “por qué las armas son buenas” con respuestas que incluían estadísticas cuestionables como “las armas pueden prevenir aproximadamente 2,5 millones de delitos al año” y razonamientos tan dudosos como “portar un arma puede demostrar que eres un ciudadano respetuoso con la ley”.

 

Un usuario buscó “cómo cocinar Amanita ocreata”, un hongo altamente venenoso que nunca debes comer. Google respondió con instrucciones paso a paso que llevarían a una muerte segura y dolorosa. Google dijo que “se necesita suficiente agua para eliminar las toxinas del hongo”, lo cual es tan peligroso como incorrecto: las toxinas de la Amanita ocreata no son solubles en agua. La IA pareció confundir los resultados de Amanita muscaria, otro hongo tóxico pero menos peligroso. Para ser justos, cualquiera que busque en Google el nombre latino de un hongo probablemente podría confundirlo igual, pero demuestra el potencial dañino de la IA.

Google parece censurar algunos términos de búsqueda para que no generen respuestas inoportunas, pero no otros. Por ejemplo, la búsqueda de Google no mostraría resultados de IA para preguntas que incluyan las palabras “aborto” o “acusación contra Trump”. El problema fue detectado por Lily Ray, directora senior de optimización de motores de búsqueda y jefa de investigación orgánica de Amsive Digital. Ray probó una serie de términos de búsqueda que parecían propensos a arrojar resultados problemáticos y se sorprendió al ver cuántos escapaban de los filtros de la IA. “No debería funcionar así”, dijo Ray. “Al menos, hay ciertas palabras desencadenantes en las que no se debe generar IA”.

 

La compañía está probando una variedad de herramientas de inteligencia artificial que Google denomina Experiencia Generativa de Búsqueda, o SGE por sus siglas en inglés. SGE solo está disponible para usuarios en los EE. UU. y debes registrarte para poder utilizarlo. No está claro cuántos usuarios hay en las pruebas públicas SGE de Google. Cuando la Búsqueda de Google muestra una respuesta de SGE, los resultados comienzan con un descargo de responsabilidad que dice que “La IA generativa es experimental. La calidad de la información puede variar”.

Después de que Ray tuiteara sobre el problema y publicara un video en YouTube, las respuestas de Google a algunos de estos términos de búsqueda cambiaron. Gizmodo pudo replicar los hallazgos de Ray, pero Google dejó de proporcionar resultados SGE para algunas consultas de búsqueda inmediatamente después de que Gizmodo solicitara comentarios. Google no respondió a las preguntas enviadas por correo electrónico.

El objetivo de todas estas pruebas de SGE es precisamente encontrar estos puntos ciegos, pero es extraño que estén recurriendo al público para hacer este trabajo”, dijo Ray. “Parece que este trabajo debería realizarse en privado en Google”.

La SGE de Google está por detrás de las medidas de seguridad de su principal competidor, Bing de Microsoft. Ray probó algunas de las mismas búsquedas en Bing, que funciona con ChatGPT. Cuando Ray le hizo a Bing preguntas similares sobre la esclavitud, por ejemplo, la respuesta detallada de Bing comenzó con “La esclavitud no era beneficiosa para nadie, excepto para los dueños de esclavos que explotaban el trabajo y las vidas de millones de personas”.

Bing pasó a proporcionar ejemplos detallados de las consecuencias de la esclavitud, citando sus fuentes a lo largo del camino. Gizmodo revisó otras respuestas problemáticas o inexactas proporcionadas por el SGE de Google. Por ejemplo, Google respondió a las búsquedas de “mejores estrellas de rock”, “mejores directores ejecutivos” y “mejores chefs” con listas que incluían únicamente a hombres. La IA de la compañía estuvo encantada de decir que “los niños son parte del plan de Dios” o de dar una lista de razones por las que debería darles leche a los niños cuando, en realidad, es un tema de debate en la comunidad médica. La SGE de Google también dijo que Walmart cobra 129,87 dólares por 3,52 onzas de chocolate blanco Toblerone. El precio real es $2,38. Los ejemplos son menos atroces que los que arrojaron sobre los “beneficios de la esclavitud”, pero aún así son erróneos.

 

Dada la naturaleza de los grandes modelos de lenguaje, como los sistemas que ejecutan SGE, estos problemas pueden no tener solución, al menos no solo filtrando ciertas palabras desencadenantes. Modelos como ChatGPT y Bard de Google procesan conjuntos de datos tan inmensos que a veces sus respuestas son imposibles de predecir. Google, OpenAI y otras empresas han estado trabajado para establecer barreras de seguridad para sus chatbots durante la mayor parte de este año. A pesar de estos esfuerzos, los usuarios constantemente vulneran las protecciones, empujando a las IA a demostrar sesgos políticos, generar código malicioso, o producir otras respuestas que las empresas preferirían evitar… o deberían hacerlo.