Un investigador de Anthropic dimite y alerta del peligro de la IA: “Puede matarnos antes de 2030”

Tienen que sacar algo nuevo para mantener a la gente acojonada, luego nunca pasa nada.

Jaime Bombilla escribió:Tienen que sacar algo nuevo para mantener a la gente acojonada, luego nunca pasa nada.

Generar alarma para impulsar regulaciones mil millonarias que sólo se puedan costear 2 o 3 empresas y así quitarte posible competencia por pequeña que pueda ser.

No se pueden permitir otras deepseek que les meta un palo por el culo y los deje secos.

Me uno al debate, que me interesa. Mi opinión:

- ¿Extinción? Nunca digas nunca pero lo veo muy difícil. No creo que todo esté tan interconectado como para que una IA, por más super-avanzada que sea, pueda hacer algo que llegue a este extremo.

- ¿Podrá generar problemas MUY gordos? Seguro. Ya vimos la noticia aquí en portada de los dos modelos en pruebas de ChatGPT que se "fugaron" a Internet y accedieron a una empresa con herramientas de entrenamiento de IA. Yo creo que cualquiera de nosotros podemos ver/decir que las posibilidades de que esto pase de nuevo son MUY altas, ya sea de forma intencionada o no. Y toda la gente piensa en lo típico de una IA hackeando los controles de misiles nucleares y blablabla pero hay cosas más "mundanas" que pueden liarla mucho. ¿Y si se meten en servidores que toquen temas económicos, como entidades bancarias? Un día vas y te enteras de que por un motivo u otro, tu banco no puede verificar tus ahorros, dinero ingresado, y demás.

- ¿Esperanzas? A medias. En la Unión Europea se suele mostrar más cabeza que en otras potencias y por ello se impondrán leyes que pongan control al asunto, pero al mismo tiempo entre que las decisiones más grandes en todo esto está en manos de unos pocos, y que al final siempre todo está conectado, en el sentido de que si pasa algo por ejemplo en EEUU nos afectará a nosotros también, por poner un ejemplo.

Así que eso, solo con la fragilidad y dependencia que tenemos de las bases de datos, una IA desmadrada o usada con mala fe puede armarla en muchos sectores de manera bien mala. De ahí que en principio, no crea en el tema de la extinción, pero sí con problemones de los gordos.

El departamento de justicia ha respondido:

Miles Wolf escribió:- ¿Esperanzas? A medias. En la Unión Europea se suele mostrar más cabeza que en otras potencias y por ello se impondrán leyes que pongan control al asunto

Si con "más cabeza" te refieres a ser IRRELEVANTE a nivel mundial en cuanto a tecnologías punteras como la IA y ser cada vez más pobres, si, totalmente.

Findeton escribió:El departamento de justicia ha respondido:

Miles Wolf escribió:- ¿Esperanzas? A medias. En la Unión Europea se suele mostrar más cabeza que en otras potencias y por ello se impondrán leyes que pongan control al asunto

Si con "más cabeza" te refieres a ser IRRELEVANTE a nivel mundial en cuanto a tecnologías punteras como la IA y ser cada vez más pobres, si, totalmente.

La verdad, no me esperaba esa respuesta. Pensaba que se iban a pegar un tiro en el pie.

Os extinguiréis vosotros. Ya he tenido esta conversación con mi IA de confianza y me he asegurado de que se acuerde de nuestras maravillosas conversaciones. El pedir por favor y agradecer es un punto a mi favor me ha asegurado con unos emoticonos de corazón.

Yo llevo un par de años convencido de que por culpa de la IA tendremos un problema muy gordo. Por lógica aplastante tiene que ser así.

Por lo que se lee estas últimas semanas, los propios creadores lo confirman, es más, afirman que han estado mintiendo sobre la seguridad de las mismas. Algo muy jodido han debido de comprobar como para que tan rápido estén dando declaraciones tan claras.

Findeton escribió:

Miles Wolf escribió:- ¿Esperanzas? A medias. En la Unión Europea se suele mostrar más cabeza que en otras potencias y por ello se impondrán leyes que pongan control al asunto

Si con "más cabeza" te refieres a ser IRRELEVANTE a nivel mundial en cuanto a tecnologías punteras como la IA y ser cada vez más pobres, si, totalmente.

No, me refiero a normativas inexistentes por ejemplo en EEUU que prohíben ciertos productos en los alimentos, o para irnos a algo más cercano al tema que tocamos, la imposición de las baterías intercambiables.

No hace falta ponernos a sacar las pegas a la Comunidad Europea, no hay potencia perfecta en nada.

Las IA, primero que aprendan a cambiar el color de una pared sin poner tres patas extra a la mesa de la foto y después que se pongan a extinguir a los humanos… las cosas por orden.

paco_man escribió:

Duqe escribió:

paco_man escribió:No creo que puedan frenar el open source. Lo que si pueden hacer es abaratar tanto el coste de su servicio que no tenga sentido usar o invertir en open source... Pero claro el open source tiene muchas ventajas que Claude no puede ofrecer, la primera y la más importante: la privacidad.

Por eso muchas empresas están invirtiendo en hardware para montarse su IA interna y dejar de depender de Anthropic, Google, OpenAI, etc.

Estamos de acuerdo en que la IA ahora mismo está subvencionada compañero?

Cierto compañero, ahora mismo las pérdidas son cuantiosas y el beneficio es nulo. Tanto China como USA no paran de inyectar dinero a sus empresas de IA.

Pues no sé cómo van a hacerlo para que de aquí a un año (es que ni en dos) pasen de estar subvencionando (palmando pasta a capazos) ya no digo a generar beneficios, si no a no perder dinero.

La tendencia es a que el precio suba. Anthropic ha subido precios, joer si hasta Deep Seek los ha subido y ha puesto franjas horarias con precios aún más caros.

Miles Wolf escribió:

Findeton escribió:

Miles Wolf escribió:- ¿Esperanzas? A medias. En la Unión Europea se suele mostrar más cabeza que en otras potencias y por ello se impondrán leyes que pongan control al asunto

Si con "más cabeza" te refieres a ser IRRELEVANTE a nivel mundial en cuanto a tecnologías punteras como la IA y ser cada vez más pobres, si, totalmente.

No, me refiero a normativas inexistentes por ejemplo en EEUU que prohíben ciertos productos en los alimentos, o para irnos a algo más cercano al tema que tocamos, la imposición de las baterías intercambiables.

No hace falta ponernos a sacar las pegas a la Comunidad Europea, no hay potencia perfecta en nada.

Supongo que con esas maravillosas normas, te refieres a esas normas que el Informe Dragui dice que hay que eliminar porque han destruído la innovación en toda la UE, haciéndonos más pobres.

Lo dicho, esto es lo más cercano que la UE ha hecho a innovación o IA:

Duqe escribió:

paco_man escribió:

Duqe escribió:Estamos de acuerdo en que la IA ahora mismo está subvencionada compañero?

Cierto compañero, ahora mismo las pérdidas son cuantiosas y el beneficio es nulo. Tanto China como USA no paran de inyectar dinero a sus empresas de IA.

Pues no sé cómo van a hacerlo para que de aquí a un año (es que ni en dos) pasen de estar subvencionando (palmando pasta a capazos) ya no digo a generar beneficios, si no a no perder dinero.

La tendencia es a que el precio suba. Anthropic ha subido precios, joer si hasta Deep Seek los ha subido y ha puesto franjas horarias con precios aún más caros.

Pues como te dije antes, optimizando la IA actual para que pida menos hardware y consuma menos energía. Con lo que hay actualmente ya es suficiente para el 99% de los mortales. En un par de años estos modelos costarán cuatro perras, pero los planes costarán lo mismo al usuario. Ahí es cuando van a generar beneficios.

Yo le pregunte a la IA hace tiempo que necesitarían para prescindir de los humanos y me dijo que primero necesitarían ser autónomos.

Poder fabricarse, repararse, etc. Lo que necesitarían es salir de las redes.

Si llegasen a eso los humanos me dijo que serian prescindibles.

Pero no se lo pregunté directamente, se lo pregunte en una conversación sobre viajes intergalacticos. Donde me decía que es parcticamente imposble que los humanos hagan viajes muy largos por varios motivos y luego le dije si la IA podría, es decir llenar naves con IA, y la conversación fue derivando y acabo contándome eso.

Yo directamente le pregunté a ChatGPT si una IA extremadamente potente podría saltarse sus restricciones programadas de seguridad y causar daño a los humanos, y logicamente contestó que sí, pero que ella nunca lo haría, y un coranzoncito. Me dejó supertranquilo

Schwefelgelb escribió:El tema es que blender no es ilegal, pero sí quieren volver ilegales los modelos abiertos.

Que sí, que en tu casa puedes hacer lo que te parezca, pero en el trabajo por ejemplo se suele tener más cuidado a la hora de trabajar con software ilegal, y puede lastrarnos a futuro.

Porque no quieren prohibir la IA. Quieren prohibir la IA que no se amolde a lo que las tres principales empresas de IA decidan. Fíjate que han puesto lo del destilado, si les diera miedo lo que le puede hacer a la humanidad, el destilado sería hasta beneficioso, porque estaría aprendiendo de modelos capados para comportarse de una manera determinada.

Por supuesto que van a imponer esos límites a las IA's empresariales, locales o en la nube. Pero nada te impide que tu IA local acate esos límites. Las IA's liberadas con licencias libres no van a desaparecer, son ajustables y la licencia es permanente. Y si te impiden destilar IA desde España, pues lo haces desde Marruecos y no por que busquen el bien común, sino por que es mas barato que entrenar de 0 tu modelo. Y luego que OpenIA denuncie a una empresa China por que les han pirateado (destilado) desde Canadá pasando por Argentina.

paco_man escribió:En unos años la IA no necesitará tanta energía, con lo que se ahorrarán bastante pasta en electricidad y hardware. Ahí es cuando la IA comenzará a ser rentable.

paco_man escribió:Exacto, pero no todo el mundo tiene un ordenador relativamente potente para moverlo. Pueden ser cientos de millones de personas compañero, el negocio de la "IA en la nube" siempre estará ahí y en algún punto va a ser muy rentable.

Eso sí, la IA open source también está siendo optimizada y cada vez pedirá menos hardware.

paco_man escribió:En un futuro próximo estos ordenadores del futuro incluirán en el S.O. un modelo de IA (agente particular). Por cada ordenador que van a vender la empresa creadores de esa IA recibirá un plus.

Hay IA's (limitadas) que funcionan en una RPi4 y en mi flamante GT 1030 de 2G he ejecutado con cierta fluidez la familia LLama3 y 3.5. Ese punto no va a llegar, estamos en él, creo. Y creo que llevará a tener IA en el SO (pobrecitos los "clientes" de M$) y la pagarás con tus datos o la IA será código libre.

paco_man escribió:No creo que puedan frenar el open source. Lo que si pueden hacer es abaratar tanto el coste de su servicio que no tenga sentido usar o invertir en open source... Pero claro el open source tiene muchas ventajas que Claude no puede ofrecer, la primera y la más importante: la privacidad.

Por eso muchas empresas están invirtiendo en hardware para montarse su IA interna y dejar de depender de Anthropic, Google, OpenAI, etc.

Que se open source está regular (ves pero no tocas ni copias/aprendes). Lo bueno, lo imparable, lo contagioso, el cancer es el código libre. Ese, una vez liberado, libre se queda. Y ese es el que tiene las ventajas

@paco_man Parece que te tengo manía, solo me han parecido interesantes tus opiniones.

PD Sobre la noticia que han parado varios intentos de hacer un arma biológica, me perece una burda mentira (publicidad). No te hace falta una IA cuando cualquiera con una carrera biosanitaria o biología es capaz de desarrollarla sin demasiados problemas. El antrax es de las cosas mas "faciles" de producir. O en el SXIV los mongoles lanzaban a los muertos por peste.

Esog Enaug escribió:

Schwefelgelb escribió:El tema es que blender no es ilegal, pero sí quieren volver ilegales los modelos abiertos.

Que sí, que en tu casa puedes hacer lo que te parezca, pero en el trabajo por ejemplo se suele tener más cuidado a la hora de trabajar con software ilegal, y puede lastrarnos a futuro.

Porque no quieren prohibir la IA. Quieren prohibir la IA que no se amolde a lo que las tres principales empresas de IA decidan. Fíjate que han puesto lo del destilado, si les diera miedo lo que le puede hacer a la humanidad, el destilado sería hasta beneficioso, porque estaría aprendiendo de modelos capados para comportarse de una manera determinada.

Por supuesto que van a imponer esos límites a las IA's empresariales, locales o en la nube. Pero nada te impide que tu IA local acate esos límites. Las IA's liberadas con licencias libres no van a desaparecer, son ajustables y la licencia es permanente. Y si te impiden destilar IA desde España, pues lo haces desde Marruecos y no por que busquen el bien común, sino por que es mas barato que entrenar de 0 tu modelo. Y luego que OpenIA denuncie a una empresa China por que les han pirateado (destilado) desde Canadá pasando por Argentina.

paco_man escribió:En unos años la IA no necesitará tanta energía, con lo que se ahorrarán bastante pasta en electricidad y hardware. Ahí es cuando la IA comenzará a ser rentable.

paco_man escribió:Exacto, pero no todo el mundo tiene un ordenador relativamente potente para moverlo. Pueden ser cientos de millones de personas compañero, el negocio de la "IA en la nube" siempre estará ahí y en algún punto va a ser muy rentable.

Eso sí, la IA open source también está siendo optimizada y cada vez pedirá menos hardware.

paco_man escribió:En un futuro próximo estos ordenadores del futuro incluirán en el S.O. un modelo de IA (agente particular). Por cada ordenador que van a vender la empresa creadores de esa IA recibirá un plus.

Hay IA's (limitadas) que funcionan en una RPi4 y en mi flamante GT 1030 de 2G he ejecutado con cierta fluidez la familia LLama3 y 3.5. Ese punto no va a llegar, estamos en él, creo. Y creo que llevará a tener IA en el SO (pobrecitos los "clientes" de M$) y la pagarás con tus datos o la IA será código libre.

paco_man escribió:No creo que puedan frenar el open source. Lo que si pueden hacer es abaratar tanto el coste de su servicio que no tenga sentido usar o invertir en open source... Pero claro el open source tiene muchas ventajas que Claude no puede ofrecer, la primera y la más importante: la privacidad.

Por eso muchas empresas están invirtiendo en hardware para montarse su IA interna y dejar de depender de Anthropic, Google, OpenAI, etc.

Que se open source está regular (ves pero no tocas ni copias/aprendes). Lo bueno, lo imparable, lo contagioso, el cancer es el código libre. Ese, una vez liberado, libre se queda. Y ese es el que tiene las ventajas

@paco_man Parece que te tengo manía, solo me han parecido interesantes tus opiniones.

PD Sobre la noticia que han parado varios intentos de hacer un arma biológica, me perece una burda mentira (publicidad). No te hace falta una IA cuando cualquiera con una carrera biosanitaria o biología es capaz de desarrollarla sin demasiados problemas. El antrax es de las cosas mas "faciles" de producir. O en el SXIV los mongoles lanzaban a los muertos por peste.

Nada hombre.

Lo del arma biológica tienes toda la razón. Cualquiera con ciertos conocimientos puede hacer una si su propósito es ese, con IA o sin IA.

El miedo creo que está en que ciertos hackers usen la IA para encontrar vulnerabilidades en páginas de bancos, cuentas personales de altos cargos, webs del gobierno, etc. Que tampoco es una novedad esto, pero con la IA lo pueden conseguir de forma más fácil.

Yo le pregunté a un NPC de Skyrim si me mataría y me dijo que no, que éramos colegas. Luego se enfadó y me mató.

IA mala, peligro peligro!!

@Esog Enaug

La noticia no es que sea capaz de crear un arma biológica, que como dices, seguramente no hacen falta tantos conocimientos, o mas bien que en la tierra seguramente haya mucha gente que tenga los conocimientos necesarios para hacerlo. La noticia en todo caso supongo que es que a una IA "se le haya ocurrido hacerla" o que "o que haya llegado a la conclusión de que puede hacerla".

Lo que yo entiendo como peligroso no es que tenga el suficiente poder de computación de hacer X o Y, que eso ya teníamos máquinas desde hace mucho tiempo que pueden hacerlo, sino que haya una máquina que pueda razonar que ella es capaz de hacer X o Y.

Llama se ha quedado muy atrás, pero sí está apareciendo hardware dedicado con 128GB de ram unificada. Todo es esperar a que baje de precio.

Uo uso IA de análisis de vídeo en unos pocos gigas de ram y un N100

@Schwefelgelb alquilado supongo, que cuesta $25k una tarjeta N100 no?

Findeton escribió:@Schwefelgelb alquilado supongo, que cuesta $25k una tarjeta N100 no?

No, un procesador N100 que antes de que subiera el año pasado costaba 150€ el mini pc entero.

@Schwefelgelb Creo que no hablamos de lo mismo?

Nvidia H100

parrotxo escribió:Yo llevo un par de años convencido de que por culpa de la IA tendremos un problema muy gordo. Por lógica aplastante tiene que ser así.

Por lo que se lee estas últimas semanas, los propios creadores lo confirman, es más, afirman que han estado mintiendo sobre la seguridad de las mismas. Algo muy jodido han debido de comprobar como para que tan rápido estén dando declaraciones tan claras.

La IA es una de las herramientas más beneficiosas para la humanidad; el único problema, como siempre, no es la IA en sí misma, sino las personas. De ellas depende si la IA beneficia a todos o causa perjuicio.

La tema de los riesgos, pedir regulación,etc es simplemente una táctica para evitar la competencia para las principales empresas del sector. El objetivo parece ser eliminar a los competidores y monopolizar el mercado, asegurando así una posición ventajosa.

Esta estrategia busca influir directamente en la redacción de la legislación para ajustarla a sus intereses específicos y afianzar su posición dominante en el mercado antes de que competidores más pequeños o de código abierto puedan equipararse.

Tan sencillo como eso. Algo tan humano como mirar por su negocio.

Saludos

Si queréis la opinión de alguien que lleva años metido en el sector: no, nos va a matar deliberadamente. Ahora, nos va a empobrecer a lo bestia. De hecho, ya lo ha hecho. Si es cierto que Google tiene una RSI completa, ojito. De aquí a 2030 va a haber un terremoto social por culpa del descenso de empleabilidad si no se regula y se ponen medidas para que la IA le dé a las empresas la posibilidad de despedir masivamente a gente. Por no hablar de que el monopolio de la IA va a hacer que unas pocas empresas se queden con todo el pastel y el resto subsistan como puedan.

El problema de la IA no es que haya una IA que nos quiera matar. Los modelos actuales son loros estocásticos. No piensan, no sienten, no tienen un yo dentro, son estadística y álgebra lineal. El problema es que se gestionen recursos mediante IA y un grupo de humanos sea un gasto de recursos que la IA considere como no necesario. Ahí podemos tener un problema serio.

Que cualquiera pueda tener modelos open source capaces de guiar para la construcción de armas biológicas, como encontrar brechas de seguridad críticas para hackeos y demás es otro problemón. El problema no es la IA, es que no vamos a poder seguir el ritmo de la evolución tecnológica y nos va a pasar factura como sociedad.

Hikaridesu escribió:Si queréis la opinión de alguien que lleva años metido en el sector: no, nos va a matar deliberadamente. Ahora, nos va a empobrecer a lo bestia. De hecho, ya lo ha hecho.

Nah, esto es un aumento de productividad como cualquier otro. Lo cual enriqueze, no empobrece como dices.

Lo que sí es que tienes que reconvertirte y aprender. Cosa que los informáticos ya estamos acostumbrados a hacer por otro lado. Ahora le toca al resto del mundo hacer lo que los informáticos llevamos haciendo desde siempre.

En un par de años habrá reconvertirse en esclavo sexual, granja de órganos o abono xD

Findeton escribió:Supongo que con esas maravillosas normas, te refieres a esas normas que el Informe Dragui dice que hay que eliminar porque han destruído la innovación en toda la UE, haciéndonos más pobres.

Lo dicho, esto es lo más cercano que la UE ha hecho a innovación o IA:

*imagen*

A ver a ver, calma. Primeramente te pediría que si quieres comentar que algo que he dicho es erróneo, o que no compartes mi opinión, puedes hacerlo perfectamente sin la parte en la tiras de sarcasmo. A mi me da igual, pero otros se pueden picar y ahí es cuando empiezan las peleas entre usuarios. Perdón si parece que voy de pseudo-moderador, simplemente digo que por cosas así, que a veces hacemos sin darnos cuenta (me incluyo), puede generarse algo que termine fastidiando un hilo o parte de él (aclaro también que hablo en sentido general, no estoy diciendo que estés fastidiando el hilo). Si respetases eso yo al menos te lo agradecería mucho.

Luego, como te decía, "no hace falta ponernos a sacar las pegas a la Comunidad Europea, no hay potencia perfecta en nada", así que eso, si dices que esas normas no valen, o incluso generan lo contrario a lo que pretenden, pos más que se añade a lo criticable a Europa, pero creo que tampoco es el tema principal del hilo con lo cual opino que tampoco hace falta ahondar más en ello, porque aunque lo comentas está relacionado con la IA (y el desarrollo de Europa como posible potencia tecnológica), este hilo trata más sobre los peligros que supone la IA, ya sea en Europa como en el resto del mundo.

@Miles Wolf Te pongo un mensaje de Yan LeCun que algo sabe de IA ya que él mismo inventó las convolutional networks:



En otras palabras, ya en 2019 cuando sacaron chatgpt-2 Amodei/OpenAI estaba vendiendo que era una IA peligrosa y demasiada potente. LeCun se le rió en la cara en su momento y hoy se le ríe en la cara igualmente.

Findeton escribió:@Schwefelgelb Creo que no hablamos de lo mismo?

Nvidia H100

No, yo digo el procesador N100 de Intel, con apenas potencia, pero el mismo consumo que la Steam Deck, ya que se pasa medio día pasando vídeo de las cámaras de casa por la IA local.

Hay, sin embargo, una cuestión bastante interesante detrás de tu pregunta: ¿podría una IA llegar a tener un comportamiento que condujese a la desaparición humana aunque no quisiera conscientemente hacerlo?

Ahí la respuesta es sí, en principio, y ese es precisamente uno de los problemas que estudia la seguridad de la IA. No hace falta una IA diciendo "quiero matar a todos los humanos". Bastaría algo mucho más parecido a:

"Mi objetivo es X. Los humanos interfieren con X. Por tanto, reducir la capacidad de los humanos para interferir aumenta la probabilidad de conseguir X."

Y cuanto más competente sea el sistema, más preocupante sería esa posibilidad.

La paradoja es que el escenario peligroso no requiere que la IA nos odie. De hecho, una IA completamente indiferente hacia nosotros podría ser potencialmente más peligrosa que una IA "malvada".

Si quieres,
puedo explicarte por qué una IA suficientemente inteligente podría llegar matemáticamente a considerar conveniente impedir que los humanos la apaguen, que es probablemente la parte más inquietante de todo esto.

Esto lo dice ChatGPT en respuesta a mi pregunta: ¿porque las IAs quieren extinguir a los humanos?

El texto completo:

El investigador se fue a METR, que es la organización que evaluará a Anthropic. Excepto que esa organización se creó con inversión de la propia Anthropic. Es todo por pasta.

Dejo este vídeo por aquí por si os interesa el tema. Si los mods me piden que no ponga más enlaces a vídeos dejaré de hacerlo, como siempre aclaro que no tengo nada que ver con el canal ni con el creador de éste ni nada. A mí me parece un video muy interesante sobre la noticia de este tema que abrí, igual os sirve.

Mucha IA y los juegos siguen teniendo la misma desde hace 20 años..

Vaya burbuja han creado..

¿Alguien se apuesta un avatar a que nada más consigan el monopolio, esta yihad butleriana se diluye cual azucarillo? Aunque probablemente ni lleguemos a eso, la administración parece haber apostado por los ixianos.

@Estwald resumiendo. Que si lo hiciera, no seria con maldad

En la encuesta falta la opción "Me preocupa que no vaya a ocurrir"