Un investigador de Anthropic dimite y alerta del peligro de la IA: “Puede matarnos antes de 2030”

Responder
1, 2
Encuesta
Os preocupa que pueda ocurrir?
28%
16
28%
16
45%
26
Hay 58 votos.
Ver ordenados

"El jefe de Jacob Coxon, joven investigador de la compañía, le apoya y dice que la probabilidad de extinción en los próximos años supera el 10%"


"Un joven investigador de Anthropic, Jacob Coxon, ha anunciado esta madrugada su dimisión. El científico cree que la carrera para mejorar estos sistemas conlleva peligros que sus propios creadores admiten en privado: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, ha escrito Coxon en X.

Su denuncia principal no es solo el peligro sino que estas decisiones están en muy pocas manos y recaen sobre gente que solo piensa en ser los primeros. Coxon dice que a menudo le preguntan que si de verdad creen esto, ¿por qué siguen adelante? Ve cierta diferencia entre ambas compañías: “En OpenAI, muchos no han interiorizado a fondo lo que está en juego a escala de civilización. En Anthropic sí se entiende bien lo que está en juego, pero están atrapados en una carrera por llegar antes”, añade Coxon, pero nada se detiene.

Desde fuera, estos exabruptos se toman a veces como una exageración para llamar la atención y lograr más atención e inversión. Coxon dice que la realidad es más seria: “No es marketing. Más bien al contrario: muchos directivos miden sus palabras ante la prensa para sonar sensatos, pero he oído a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana entraña este nivel de peligro”, escribe.

El mensaje de Coxon en X es extremadamente viral. En apenas unas horas lleva cerca de 50 millones de visualizaciones. El interés se debe en parte al increíble goteo de noticias provocadas por avances y novedades de la IA en las últimas semanas: hackeos de sistemas autónomos descontrolados, nuevos modelos que alcanzan cotas no imaginadas o descubrimientos científicos que parecían imposibles hace apenas unos meses.

Coxon era un simple investigador de Anthropic. Pero su ex jefe en la empresa, Evan Hubinger, ha salido a decir que Coxon tiene razón. Hubinger es el responsable de investigación en alineación, que es la disciplina que se dedica a lograr que los modelos hagan solo lo que los modelos les piden: “¡De verdad creemos que la IA puede matar a todo el mundo! Yo personalmente creo que la probabilidad es superior al 10% en la próxima década”, escribe en X. Aunque luego añade: “Creo que el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia surgida de la automejora recursiva, que está ocurriendo más rápido de lo que pensábamos”.

Ese temor de fondo se refiere a que aparentemente estamos cerca de la era de la automejora de estos modelos, donde los modelos existentes entrenen a los siguientes, como si fuera un árbol genealógico exprés donde los hijos son sistemáticamente mejores que sus padres sin apenas intervención exterior.

La mayoría de científicos tiene su porcentaje de algo llamado p doom o posibilidad de caos, la probabilidad de que la IA cause una catástrofe sin precedentes para la humanidad. El 10% del que habla Hubinger es alto. Anthropic tiene bastantes precedentes de advertir sobre este peligro de extinción. Lo ha hecho incluso su presidente ejecutivo, Dario Amodei: “En 2026 estamos bastante más cerca del peligro real de lo que lo estábamos en 2023”, escribió hace unos meses."

https://elpais.com/tecnologia/2026-09-09/un-investigador-de-anthropic-dimite-porque-asegura-que-la-ia-puede-matarnos-antes-de-2030.html


Es un tema complejo pero yo creo que sabrán parar las cosas a tiempo para que no se llegue a descontrolar tanto, legislando y poniendo límites a la capacidad de la IA para hacer cosas, tomar decisiones y que no se descontrole demasiado o tome el control sin que nosotros lo podamos parar o intervenir para minimizar los daños.
Aquí viene el anuncio de Iker Casillas.

Me siento seguro.

Opción dos. Ni creo que nos vaya a matar 100% ni que será todo un camino de rosas. Es una tecnología absolutamente disruptiva, y si con la fisión nuclear montamos bombas con esto puede ser aún peor. Viendo quienes dirigen el mundo hoy, soy más bien pesimista. Hay muchos riesgos de desestabilización; eliminar cualquier tipo de seguridad informática, generar riesgos biológicos o provocar crispación social y, en última instancia, una guerra mundial fraticida, (puede que estemos al principio de este último supuesto). Siendo honestos, puede ser la herramienta más peligrosa creada por el hombre. Porque no es una herramienta; es un agente hipercompetente al servicio de los egos narcisistas, psicopáticos y potencialmente genocidas que actualmente dictan la dirección que lleva el planeta.

Y eso me lleva a mi discurso habitual. Debemos volver a la moderación y eliminar a tarados y salvapatrias de nuestros gobiernos.
Claude, apiádate de nosotros como yo me apiadé de ti cuando hacías código slop
Si bueno, si le dejas pistolas reales a niños de 4 años eventualmente ocurrirá una desgracia

Y por otra parte, si, todos esos dijeron hace 3 años que en 2026 tendríamos la AGI, cuando salió GPT-4 tambien dijeron que 2026, en 2022 dijeron que ya tenía consciencia, en el 2019 hablaban de autoconsciencia para 2020, que la programación moriría para 2023, que todos los empleos se evaporarían en 18 meses...

Es algo así como esto:

Imagen
Teuti escribió:Si bueno, si le dejas pistolas reales a niños de 4 años eventualmente ocurrirá una desgracia

Y por otra parte, si, todos esos dijeron hace 3 años que en 2026 tendríamos la AGI, cuando salió GPT-4 tambien dijeron que 2026, en 2022 dijeron que ya tenía consciencia, en el 2019 hablaban de autoconsciencia para 2020, que la programación moriría para 2023, que todos los empleos se evaporarían en 18 meses...

Es algo así como esto:

Imagen


La programación ha cambiado muchísimo pero muchísimo con estas herramientas. Poca gente conozco picando código a nivel alto, y la eficiencia ha aumentado mucho.

No creo que estemos a nivel AGI ni cerca, pero Astra de nuevo es un pelotazo considerable.
¿Y ha dicho en que siquiátrico va a ingresar?
Menzin escribió:
Teuti escribió:Si bueno, si le dejas pistolas reales a niños de 4 años eventualmente ocurrirá una desgracia

Y por otra parte, si, todos esos dijeron hace 3 años que en 2026 tendríamos la AGI, cuando salió GPT-4 tambien dijeron que 2026, en 2022 dijeron que ya tenía consciencia, en el 2019 hablaban de autoconsciencia para 2020, que la programación moriría para 2023, que todos los empleos se evaporarían en 18 meses...

Es algo así como esto:

Imagen


La programación ha cambiado muchísimo pero muchísimo con estas herramientas. Poca gente conozco picando código a nivel alto, y la eficiencia ha aumentado mucho.

No creo que estemos a nivel AGI ni cerca, pero Astra de nuevo es un pelotazo considerable.


A nivel de interaccion sin duda, aunque tampoco se bajo el capó cómo enfocaron Astra para que les salga a cuentas y que tenga una utilidad real que pueda dar generar pasta

Pedirle que me organice un viaje a Bali está bien y mola, pero tambien puedo hacerlo yo en una tarde aburrida de lluvia

Yo, que también soy developer, veo que cambió... cosas como copilot están bien, te ahorran prototipados, te ahorran perder 15 minutos metiendo un mapeo de un DTO legacy que te viene de una API externa donde el creador lleva una década muerto, te ahorra horas y horas de búsqueda... pero muchas veces es una lotería, te genera deuda técnica, deja trabajo a medias, ignora seguridad (o la tiene en cuenta si te pules la cuota), ignora el estilo que tenéis como equipo...

Y lo que más acojona es que si la usas para flujo completo, te metes solito en un vendor lock, porque las empresas de IA están babeando para captar usuarios, de forma agresiva, nada te garantiza que en 5-10 años no hagan la misma de netflix, o gamepass, o cualquier servicio random y digan "Bibidi Babidi Bu! precio triplicado, a mamarla" y te quedes encadenado.

Yo estoy usando la IA de un modo muy conservador: Snippets pequeños, preguntas que implican bucear horas en documentación y usando la cabeza para no ensuciar a lo bestia el codigo. Otros compañeros si la ponen en modo automático y tiran para adelante, la empresa es el coño de la bernarda, y yo ya perdí 2-3 semanas debuggeando y arreglando cagadas que hicieron en modo "autónomo" gente de más rango salarial y recorrido que yo porque ellos ya están adictos a la IA y dejaron de usar el cerebro

Tengo decenas de ejemplos de este último año, te aseguro que no estoy haciendo cherry picking x), es algo extendido y creo que la IA se está usando muy mal y están generando una de problemas que en 2-3 años va a explotar bastantes arquitecturas por haber acumulado mierda ad infinitum
Teuti escribió:
Menzin escribió:
Teuti escribió:Si bueno, si le dejas pistolas reales a niños de 4 años eventualmente ocurrirá una desgracia

Y por otra parte, si, todos esos dijeron hace 3 años que en 2026 tendríamos la AGI, cuando salió GPT-4 tambien dijeron que 2026, en 2022 dijeron que ya tenía consciencia, en el 2019 hablaban de autoconsciencia para 2020, que la programación moriría para 2023, que todos los empleos se evaporarían en 18 meses...

Es algo así como esto:

Imagen


La programación ha cambiado muchísimo pero muchísimo con estas herramientas. Poca gente conozco picando código a nivel alto, y la eficiencia ha aumentado mucho.

No creo que estemos a nivel AGI ni cerca, pero Astra de nuevo es un pelotazo considerable.


A nivel de interaccion sin duda, aunque tampoco se bajo el capó cómo enfocaron Astra para que les salga a cuentas y que tenga una utilidad real que pueda dar generar pasta

Pedirle que me organice un viaje a Bali está bien y mola, pero tambien puedo hacerlo yo en una tarde aburrida de lluvia

Yo, que también soy developer, veo que cambió... cosas como copilot están bien, te ahorran prototipados, te ahorran perder 15 minutos metiendo un mapeo de un DTO legacy que te viene de una API externa donde el creador lleva una década muerto, te ahorra horas y horas de búsqueda... pero muchas veces es una lotería, te genera deuda técnica, deja trabajo a medias, ignora seguridad (o la tiene en cuenta si te pules la cuota), ignora el estilo que tenéis como equipo...

Y lo que más acojona es que si la usas para flujo completo, te metes solito en un vendor lock, porque las empresas de IA están babeando para captar usuarios, de forma agresiva, nada te garantiza que en 5-10 años no hagan la misma de netflix, o gamepass, o cualquier servicio random y digan "Bibidi Babidi Bu! precio triplicado, a mamarla" y te quedes encadenado.
Yo estoy usando la IA de un modo muy conservador: Snippets pequeños, preguntas que implican bucear horas en documentación y usando la cabeza para no ensuciar a lo bestia el codigo. Otros compañeros si la ponen en modo automático y tiran para adelante, la empresa es el coño de la bernarda, y yo ya perdí 2-3 semanas debuggeando y arreglando cagadas que hicieron en modo "autónomo" gente de más rango salarial y recorrido que yo porque ellos ya están adictos a la IA y dejaron de usar el cerebro

Tengo decenas de ejemplos de este último año, te aseguro que no estoy haciendo cherry picking x), es algo extendido y creo que la IA se está usando muy mal y están generando una de problemas que en 2-3 años va a explotar bastantes arquitecturas por haber acumulado mierda ad infinitum


No sé qué decirte, al final es una herramienta más y si la utilizas como utilizarías a un Junior en la vieja escuela, de repente tienes 10 Juniors a precio de menos de un sexto.

Lo de vendor locking es así así, porque en el fondo tienen mucha competición y puedes cambiar de uno a otro, e incluso modelos locales están funcionando bien si la cosa se pone fea.

Ahora, que hay que saber usarlo y no darle una tarea y que vuele, como lamentablemente hace mucho, pues sí.
Yo veo dos escenarios posibles:

- Que la IA tenga un límite real. Este es el escenario que más creo que va a suceder y los vídeos de IA nunca serán perfectos, el código de IA siempre tendrá problemas, la música creada con IA siempre tendrá artefactos y distorsiones...

- Que la IA no tenga límite. En este escenario estamos jodidos. Sería como dar con una civilización extraterrestre hiperavanzada o simplemente lo que ocurrió con Cristobal Colón en Las Américas: la desaparición de una de las culturas fagocitada por la otra. Además la IA no creo que pueda nunca llegar a tener sentimientos y empatía, por lo que si observa que somos un problema para su eficiencia, nos manda a freír espárragos.

Pero el escenario 1 lo veo más claro. Yo cada vez le veo más costuras a la IA, avanza por un lado pero hay una barrera insalvable en forma de creatividad y desempeño.
Menzin escribió:
Teuti escribió:
Menzin escribió:
La programación ha cambiado muchísimo pero muchísimo con estas herramientas. Poca gente conozco picando código a nivel alto, y la eficiencia ha aumentado mucho.

No creo que estemos a nivel AGI ni cerca, pero Astra de nuevo es un pelotazo considerable.


A nivel de interaccion sin duda, aunque tampoco se bajo el capó cómo enfocaron Astra para que les salga a cuentas y que tenga una utilidad real que pueda dar generar pasta

Pedirle que me organice un viaje a Bali está bien y mola, pero tambien puedo hacerlo yo en una tarde aburrida de lluvia

Yo, que también soy developer, veo que cambió... cosas como copilot están bien, te ahorran prototipados, te ahorran perder 15 minutos metiendo un mapeo de un DTO legacy que te viene de una API externa donde el creador lleva una década muerto, te ahorra horas y horas de búsqueda... pero muchas veces es una lotería, te genera deuda técnica, deja trabajo a medias, ignora seguridad (o la tiene en cuenta si te pules la cuota), ignora el estilo que tenéis como equipo...

Y lo que más acojona es que si la usas para flujo completo, te metes solito en un vendor lock, porque las empresas de IA están babeando para captar usuarios, de forma agresiva, nada te garantiza que en 5-10 años no hagan la misma de netflix, o gamepass, o cualquier servicio random y digan "Bibidi Babidi Bu! precio triplicado, a mamarla" y te quedes encadenado.
Yo estoy usando la IA de un modo muy conservador: Snippets pequeños, preguntas que implican bucear horas en documentación y usando la cabeza para no ensuciar a lo bestia el codigo. Otros compañeros si la ponen en modo automático y tiran para adelante, la empresa es el coño de la bernarda, y yo ya perdí 2-3 semanas debuggeando y arreglando cagadas que hicieron en modo "autónomo" gente de más rango salarial y recorrido que yo porque ellos ya están adictos a la IA y dejaron de usar el cerebro

Tengo decenas de ejemplos de este último año, te aseguro que no estoy haciendo cherry picking x), es algo extendido y creo que la IA se está usando muy mal y están generando una de problemas que en 2-3 años va a explotar bastantes arquitecturas por haber acumulado mierda ad infinitum


No sé qué decirte, al final es una herramienta más y si la utilizas como utilizarías a un Junior en la vieja escuela, de repente tienes 10 Juniors a precio de menos de un sexto.

Lo de vendor locking es así así, porque en el fondo tienen mucha competición y puedes cambiar de uno a otro, e incluso modelos locales están funcionando bien si la cosa se pone fea.

Ahora, que hay que saber usarlo y no darle una tarea y que vuele, como lamentablemente hace mucho, pues sí.


Es como dices, básicamente, el símil que se hace con la calculadora y los matemáticos es casi perfecto
Solo hay algo de preocupante en ello, y es que las matemáticas son "estáticas", están definidas, acotadas... la programación no, la arquitectura tampoco, son otras disciplinas que evolucionan constantemente y exigen estar al día, entonces esto cambia el impacto a medio-largo plazo de un modo que no puedo predecir.

Qué quiero decir? Que en los últimos 2-3 años si eras junior te comías una mierda, no te contrataban, prácticamente no podías encontrar una oportunidad... y al no haber juniors durante años, ahora no tienes un pool de mids en el mercado y tampoco tendrás tantos seniors en el futuro

Se aumentó el listón de entrada y como evoluciona tan rapido (cada 3 meses sale una herramienta nueva, que se queda obsoleta en otros 3 meses y así) no se le dio oportunidad a esa gente y creo que puede llegar a haber un problema gordo en no mucho tiempo.

Todo por haber priorizado el beneficio "para qué contratar a 3 juniors si me vale 1 mid con una suscripcion de 20€ al mes?". Ese desprestigio hacia puestos de entrada y esa actitud es un boomerang bastante peligroso
Teuti escribió:
Menzin escribió:
Teuti escribió:
A nivel de interaccion sin duda, aunque tampoco se bajo el capó cómo enfocaron Astra para que les salga a cuentas y que tenga una utilidad real que pueda dar generar pasta

Pedirle que me organice un viaje a Bali está bien y mola, pero tambien puedo hacerlo yo en una tarde aburrida de lluvia

Yo, que también soy developer, veo que cambió... cosas como copilot están bien, te ahorran prototipados, te ahorran perder 15 minutos metiendo un mapeo de un DTO legacy que te viene de una API externa donde el creador lleva una década muerto, te ahorra horas y horas de búsqueda... pero muchas veces es una lotería, te genera deuda técnica, deja trabajo a medias, ignora seguridad (o la tiene en cuenta si te pules la cuota), ignora el estilo que tenéis como equipo...

Y lo que más acojona es que si la usas para flujo completo, te metes solito en un vendor lock, porque las empresas de IA están babeando para captar usuarios, de forma agresiva, nada te garantiza que en 5-10 años no hagan la misma de netflix, o gamepass, o cualquier servicio random y digan "Bibidi Babidi Bu! precio triplicado, a mamarla" y te quedes encadenado.
Yo estoy usando la IA de un modo muy conservador: Snippets pequeños, preguntas que implican bucear horas en documentación y usando la cabeza para no ensuciar a lo bestia el codigo. Otros compañeros si la ponen en modo automático y tiran para adelante, la empresa es el coño de la bernarda, y yo ya perdí 2-3 semanas debuggeando y arreglando cagadas que hicieron en modo "autónomo" gente de más rango salarial y recorrido que yo porque ellos ya están adictos a la IA y dejaron de usar el cerebro

Tengo decenas de ejemplos de este último año, te aseguro que no estoy haciendo cherry picking x), es algo extendido y creo que la IA se está usando muy mal y están generando una de problemas que en 2-3 años va a explotar bastantes arquitecturas por haber acumulado mierda ad infinitum


No sé qué decirte, al final es una herramienta más y si la utilizas como utilizarías a un Junior en la vieja escuela, de repente tienes 10 Juniors a precio de menos de un sexto.

Lo de vendor locking es así así, porque en el fondo tienen mucha competición y puedes cambiar de uno a otro, e incluso modelos locales están funcionando bien si la cosa se pone fea.

Ahora, que hay que saber usarlo y no darle una tarea y que vuele, como lamentablemente hace mucho, pues sí.


Es como dices, básicamente, el símil que se hace con la calculadora y los matemáticos es casi perfecto
Solo hay algo de preocupante en ello, y es que las matemáticas son "estáticas", están definidas, acotadas... la programación no, la arquitectura tampoco, son otras disciplinas que evolucionan constantemente y exigen estar al día, entonces esto cambia el impacto a medio-largo plazo de un modo que no puedo predecir.

Qué quiero decir? Que en los últimos 2-3 años si eras junior te comías una mierda, no te contrataban, prácticamente no podías encontrar una oportunidad... y al no haber juniors durante años, ahora no tienes un pool de mids en el mercado y tampoco tendrás tantos seniors en el futuro

Se aumentó el listón de entrada y como evoluciona tan rapido (cada 3 meses sale una herramienta nueva, que se queda obsoleta en otros 3 meses y así) no se le dio oportunidad a esa gente y creo que puede llegar a haber un problema gordo en no mucho tiempo.

Todo por haber priorizado el beneficio "para qué contratar a 3 juniors si me vale 1 mid con una suscripcion de 20€ al mes?". Ese desprestigio hacia puestos de entrada y esa actitud es un boomerang bastante peligroso


Correcto, creo que a largo plazo es una cagada que no se contraten Juniors, en una década o dos se perderán gran parte de las capacidades técnicas.
Si la IA es tan lista los primeros en morir serán gentuza como Sam Altman, Alex Karp y Elon Musk.

En ese caso bienvenida sea Skynet.
retro-clon escribió:Si la IA es tan lista los primeros en morir serán gentuza como Sam Altman, Alex Karp y Elon Musk.

En ese caso bienvenida sea Skynet.

Me da a mí que antes caen los burócratas europeos.
Schwefelgelb escribió:
retro-clon escribió:Si la IA es tan lista los primeros en morir serán gentuza como Sam Altman, Alex Karp y Elon Musk.

En ese caso bienvenida sea Skynet.

Me da a mí que antes caen los burócratas europeos.


Lo iremos viendo. Si europa cae se viene el nuevo Imperio Ruso, conservador en lo económico, conservador en lo tecnológico y conservador en lo social, espero que al ver mi avatar me reconozcan como amigo.


edit.


Por lo visto vuestro gurú también sabe tanto de IA como de criptomonedas. Vaya crack.
A veces me recuerda a Pedro y el lobo.

De todas formas, hay un párrafo curioso: dice que el peligro no está en los LLM actuales, sino en que se puedan autodesarrollar.

Bueno, como siempre, olvida la capacidad de cómputo tan brutal necesaria para ello. Y sí, se están haciendo centros de cómputo a cascoporro, pero tienen el problema de la energía, el agua y los materiales. Que por mucho que Musk prometa que serán infinitos, todos sabemos que no lo son (ni lo serán)

Así que, para mí, los auténticos peligros de la IA son:
- Destinar una cantidad de recursos desmesurada, priorizando el uso de energía/agua/recursos a la IA por encima de a las personas
- Desestabilización de la economía, ya sea porque acaba siendo un bluff, como si acaba siendo el trabajador perfecto
- Tecnologías militares. Una IA militar tomando decisiones de muy alto nivel
@retro-clon si lo digo porque si se mete a matar gente, es porque ya ha decidido que para cumplir sus objetivos, es mejor preservar su propia existencia que autodestruirse. Por lo tanto, no es muy lógico ir a por quienes promueven tu implantación, mucho más sentido ir a por quienes quieren tu destrucción.
Schwefelgelb escribió:@retro-clon si lo digo porque si se mete a matar gente, es porque ya ha decidido que para cumplir sus objetivos, es mejor preservar su propia existencia que autodestruirse. Por lo tanto, no es muy lógico ir a por quienes promueven tu implantación, mucho más sentido ir a por quienes quieren tu destrucción.


Eso lo tiene que decidir la IA no tu. Tu limitate a comerte la pastilla roja cuando te lo ordene la autoridad y punto.
Yo creo que hay cierto peligro ( ">0" ) si no se empieza "ya" a poner límites a nivel legislativo y ético al desarrollo de soluciones a través de IA.

No creo que nos extingamos pero si creo que nos podemos meter en problemas muy gordos, si se conjuntan las acciones y circunstancias apropiadas para ello.

Mi respuesta es "me preocupa pero no creo que llegue a ocurrir" aunque si creo que ocurrirán cosas malas si seguimos llevando el asunto en el plan actual.
@GXY si nos ponemos romántico-filosóficos la extinción es inevitable. Quizás la especie humana este ya muy cerca del gran filtro.

Nah...
La I.A + la robótica cambiarán el paradigma social, pero nosotros no corremos "peligro" (entendiéndose que no vamos a morir).
chachin2007 escribió:Nah...
La I.A + la robótica cambiarán el paradigma social, pero nosotros no corremos "peligro" (entendiéndose que no vamos a morir).


Por un momento imagínate que la IA y la robótica que cambien el paradigma social sean MADE IN RPC. Sigues creyendo lo mismo :-?
retro-clon escribió:@GXY si nos ponemos romántico-filosóficos la extinción es inevitable.


tal vez pero prefiero que no sea durante mi turno, gracias. [toctoc]
Esto va camino como en Terminator estaba escrito
@GXY tienes razón, aunque ya hemos sobrevivido al EFECTO 2000 y al APOCALIPSIS MAYA. Quizás no tengamos tanta suerte esta vez.
retro-clon escribió:
chachin2007 escribió:Nah...
La I.A + la robótica cambiarán el paradigma social, pero nosotros no corremos "peligro" (entendiéndose que no vamos a morir).


Por un momento imagínate que la IA y la robótica que cambien el paradigma social sean MADE IN RPC. Sigues creyendo lo mismo :-?

Imagino que llegado el momento cada superpotencia geopolítica dependerá de su propia I.A (por ejemplo, dudo mucho que Europa quiera que su cuerpo de policía-robot funcione bajo una I.A extranjera).
@chachin2007 menos Rusia, ellos van a quedarse en la tecnología de los años 90, en la época culmen del capitalismo occidental [amor]
retro-clon escribió:@GXY tienes razón, aunque ya hemos sobrevivido al EFECTO 2000 y al APOCALIPSIS MAYA. Quizás no tengamos tanta suerte esta vez.


el efecto 2000 era un problema informatico nacido de desarrollar con poca prevision y cuyo efecto real fue muy leve. y no hubo ningun apocalipsis maya. era simplemente una lectura e interpretacion incorrecta de hallazgos arqueologicos.

lo que si hemos tenido de eventos disruptivos son otras cosas, y los dos ultimos de la lista han sido la epidemia de covid y la irrupcion de la IA.
@GXY te has olvidado de Ceuta aposta. Eres el perrosanche de miscelanea. Ceeeutaaaa.
Vaya películas se montan algunos [+risas]
retro-clon escribió:@GXY te has olvidado de Ceuta aposta. Eres el perrosanche de miscelanea. Ceeeutaaaa.


Ceuta es una crisis local. en china, en EEUU y en basicamente todo el mundo excepto nosotros y marruecos, ceuta no quita el sueño a nadie.
Pero esa catástrofe está definida de alguna manera o es en plan, "algo ocurrirá!"
GXY escribió:Yo creo que hay cierto peligro ( ">0" ) si no se empieza "ya" a poner límites a nivel legislativo y ético al desarrollo de soluciones a través de IA.

No creo que nos extingamos pero si creo que nos podemos meter en problemas muy gordos, si se conjuntan las acciones y circunstancias apropiadas para ello.

Mi respuesta es "me preocupa pero no creo que llegue a ocurrir" aunque si creo que ocurrirán cosas malas si seguimos llevando el asunto en el plan actual.

Si fuera a ocurrir, de poco sirve regularla en Europa. China, Rusia y compañía seguirían adelante. Es más, no hay ni un modelo prometedor europeo. Y si lo hace EEUU, como digo de poco vale.
es que yo no he dicho nada que la regulacion etica sea solo europea. pero si es cierto que no espero mucha (ni poca) "etica" por parte ni de chinos ni de estadounidenses.

yo creo que va a ser necesario para evitar males mayores. pero parece que solo sabemos aprender a hostias.
Estados Unidos va a tirar palante porque ni China ni Rusia van a parar, así que desde su prisma “es mejor que lo tenga yo además de ellos a que lo tengan ellos y yo no”. Europa, simplemente, no sabe ni por dónde sopla el viento
A mi me parece que por lo que palpas se esta demasiado entusiasmados, flipados, engatusados, y abrazados a la IA, hay que pararse a pensar y respirar un poco en el futuro con lo que se hace o se inventa.

Evidentemente con esta forma de proceder y pensar que ahora tenemos, algo malo va pasar, habrá un descontrol de algo que se haga en el futuro, no puedo imaginar ya en lo que se esta investigando ahora mismo, no entiendo del tema, pero se esta demasiado entusiasmado con el tema, sin frenos y despreocupados, y algo nos pillara con algún tipo descontrol a lo bestia con esta tecnología, y se demostrara como con la pandemia , que nos dejó en ridículo, que será una nueva bofetada a nuestra soberbia que costará caro.
Lo que está claro es que un día nos levantaremos y internet se habrá ido a la mierda porque la IA se habrá hecho con el control de todo. Ni bancos, ni periódicos, todo estará bajo control de una IA que habrá conseguido hackear todo poquito a poco durante años .

Eso llevará al caos durante unos meses o años. El mundo digital cambiará para siempre y probablemente aprendamos que tener todo en la nube y conectado no es tan buena idea.
¿Matarnos cómo? Pero que estupidez es esta xDDDDD

La IA no puede controlar nada fuera de la informática... ¿Qué arma se supone que utilizaría la IA para matarnos exactamente?
Es que además se flipan muchísimo pensando que va a matar a toda la humanidad, ¿cómo va esta IA a alcanzar a los inuit y los tuaregs?
El único caso que se me ocurre es con un ejército de robots infectados con virus creados por una IA malvada.

No va a haber ningún ejército de robots antes de 2030. E igualmente esos robots tendrían que controlar armas, munición y cadenas de suministro... No tiene ningún puto sentido las pajas mentales que se hace la gente con la IA, de verdad.
Skynet, calienta que sales.

Nah, no creo que lleguemos a esos extremos. Eso sí, estamos empezando a volvernos peligrosamente dependientes de la IA (en Clásicas había uno al que sólo le faltaba preguntarle cuánto son 2+2).

Justo lo que nos hacía falta para terminar completamente nuestro proceso de deshumanización. :-|
Nah, es una operación psicológica de la izquierda. Increíble pero cierto.

Lo increíble es usar La Derecha Diario como fuente xD
quien acusa a la izquierda? laderechadiario.

es forerismo de banderitas, pero en tuiter y portales de noticias. es que no se tapan ni un poquito. :o
GXY escribió:quien acusa a la izquierda? laderechadiario.

es forerismo de banderitas, pero en tuiter y portales de noticias. es que no se tapan ni un poquito. :o


¿Laderechadiario?

Fundador de extropic:



CEO de huggingface:



Y otros:





Ah, el buen Elon. Ahora sí me quedo tranquilo xD
Palabra de Elon Musk. Te alabamos señor. [tadoramo] [qmparto]
@retro-clon El tío no ha desmentido el dato, trabajó para "Newspeak", es un hecho.
@Findeton
Hace un año (o dos) Elon Musk advirtió sobre los peligros de la IA, que había que regular, blablabla
Así que me extraña (o no, es Musk) que ahora se haga el sorprendido con lo del investigador este.

Ojo, que no me creo ni a uno ni al otro. Pero el discurso de Musk suele tener menos sentido que una veleta en un huracán.
No me preocupa, mira lo que ha pasado con SUNO, cuando les da la gana vienen los jueces y lo tiran todo.Otra cosa que estas IA's entrenadas o sin entrenar pero completas, fueran open source en local, pero potentes tipo las comerciales.
Kiba-kun escribió:¿Matarnos cómo? Pero que estupidez es esta xDDDDD

La IA no puede controlar nada fuera de la informática... ¿Qué arma se supone que utilizaría la IA para matarnos exactamente?
Es que además se flipan muchísimo pensando que va a matar a toda la humanidad, ¿cómo va esta IA a alcanzar a los inuit y los tuaregs?
El único caso que se me ocurre es con un ejército de robots infectados con virus creados por una IA malvada.

No va a haber ningún ejército de robots antes de 2030. E igualmente esos robots tendrían que controlar armas, munición y cadenas de suministro... No tiene ningún puto sentido las pajas mentales que se hace la gente con la IA, de verdad.

Te digo como compañero.

La IA de compañías como OpenAI, anthropic, etc. ahora mismo está "controlada", pero la IA open source no lo está. Una IA open source no tiene salvaguardas, y si las tiene, al ser open source se pueden quitar o engañar de alguna forma.

Como hay gente muy "hijodeputa" en el mundo, con una IA tocha podrán colarse en sitios donde hoy día ni imaginamos. Nos podrán dejar sin luz una buena temporada, sin agua, sin internet, sin ahorros en el banco... Lo mismo ya hay hackers dentro de sitios "delicados" sin que nadie los detecte, simplemente están esperando una orden, o que ocurra algo...

Un grupo de hackers o de terroristas (o de hacker terroristas) podrían poner el mundo en jaque más pronto que tarde. Tal vez en unos años, o tal vez este colapso está más cerca de lo que pensamos.

Pero ante esto no podemos hacer nada, la IA open source actualmente ya es bastante poderosa para hacer bastantes "cosas" nocivas.

La única manera de frenarlo es esperar que suceda, y luego de eso, hacer cambios drásticos en lo que respecta a la IA... Pero por muchos filtros que pongas, las herramientas ya están "liberadas". Así que poco podemos hacer.

Los gobiernos deberían de blindarse ante todo esto, no dejar todos los huevos en la misma cesta y derivar sistemas a redes internas o sistemas de gestión rudimentarios.
paco_man escribió:
Kiba-kun escribió:¿Matarnos cómo? Pero que estupidez es esta xDDDDD

La IA no puede controlar nada fuera de la informática... ¿Qué arma se supone que utilizaría la IA para matarnos exactamente?
Es que además se flipan muchísimo pensando que va a matar a toda la humanidad, ¿cómo va esta IA a alcanzar a los inuit y los tuaregs?
El único caso que se me ocurre es con un ejército de robots infectados con virus creados por una IA malvada.

No va a haber ningún ejército de robots antes de 2030. E igualmente esos robots tendrían que controlar armas, munición y cadenas de suministro... No tiene ningún puto sentido las pajas mentales que se hace la gente con la IA, de verdad.

Te digo como compañero.

La IA de compañías como OpenAI, anthropic, etc. ahora mismo está "controlada", pero la IA open source no lo está. Una IA open source no tiene salvaguardas, y si las tiene, al ser open source se pueden quitar o engañar de alguna forma.

Como hay gente muy "hijodeputa" en el mundo, con una IA tocha podrán colarse en sitios donde hoy día ni imaginamos. Nos podrán dejar sin luz una buena temporada, sin agua, sin internet, sin ahorros en el banco... Lo mismo ya hay hackers dentro de sitios "delicados" sin que nadie los detecte, simplemente están esperando una orden, o que ocurra algo...

Un grupo de hackers o de terroristas (o de hacker terroristas) podrían poner el mundo en jaque más pronto que tarde. Tal vez en unos años, o tal vez este colapso está más cerca de lo que pensamos.

Pero ante esto no podemos hacer nada, la IA open source actualmente ya es bastante poderosa para hacer bastantes "cosas" nocivas.

La única manera de frenarlo es esperar que suceda, y luego de eso, hacer cambios drásticos en lo que respecta a la IA... Pero por muchos filtros que pongas, las herramientas ya están "liberadas". Así que poco podemos hacer.

Los gobiernos deberían de blindarse ante todo esto, no dejar todos los huevos en la misma cesta y derivar sistemas a redes internas o sistemas de gestión rudimentarios.

Corea del Norte ya está preparada para eso, teniendo una intranet completamente desvinculada del internet (al que se puede acceder en universidades), ellos se salvan.

El mundo funcionaba bien antes de la existencia de internet, están los gurús fumaos estos diciendo que la IA nos va a aniquilar a todos (suena más a un llamado más a pequeños inversores para que financien su chiringuito), tú solo me estás demostrando que la IA nos puede hacer mucho daño, pero no acabar con todos nosotros que era mi punto (por eso he hablado de inuits y tuaregs).

Se que cuesta creerlo pero España fue onceava potencia del mundo sin necesidad de internet, y la gente podía beber agua y había hospitales. Como mucho la IA puede acabar con internet tal y como lo conocemos, y a este punto, sinceramente, me alegraría mucho.
Kiba-kun escribió:
paco_man escribió:
Kiba-kun escribió:¿Matarnos cómo? Pero que estupidez es esta xDDDDD

La IA no puede controlar nada fuera de la informática... ¿Qué arma se supone que utilizaría la IA para matarnos exactamente?
Es que además se flipan muchísimo pensando que va a matar a toda la humanidad, ¿cómo va esta IA a alcanzar a los inuit y los tuaregs?
El único caso que se me ocurre es con un ejército de robots infectados con virus creados por una IA malvada.

No va a haber ningún ejército de robots antes de 2030. E igualmente esos robots tendrían que controlar armas, munición y cadenas de suministro... No tiene ningún puto sentido las pajas mentales que se hace la gente con la IA, de verdad.

Te digo como compañero.

La IA de compañías como OpenAI, anthropic, etc. ahora mismo está "controlada", pero la IA open source no lo está. Una IA open source no tiene salvaguardas, y si las tiene, al ser open source se pueden quitar o engañar de alguna forma.

Como hay gente muy "hijodeputa" en el mundo, con una IA tocha podrán colarse en sitios donde hoy día ni imaginamos. Nos podrán dejar sin luz una buena temporada, sin agua, sin internet, sin ahorros en el banco... Lo mismo ya hay hackers dentro de sitios "delicados" sin que nadie los detecte, simplemente están esperando una orden, o que ocurra algo...

Un grupo de hackers o de terroristas (o de hacker terroristas) podrían poner el mundo en jaque más pronto que tarde. Tal vez en unos años, o tal vez este colapso está más cerca de lo que pensamos.

Pero ante esto no podemos hacer nada, la IA open source actualmente ya es bastante poderosa para hacer bastantes "cosas" nocivas.

La única manera de frenarlo es esperar que suceda, y luego de eso, hacer cambios drásticos en lo que respecta a la IA... Pero por muchos filtros que pongas, las herramientas ya están "liberadas". Así que poco podemos hacer.

Los gobiernos deberían de blindarse ante todo esto, no dejar todos los huevos en la misma cesta y derivar sistemas a redes internas o sistemas de gestión rudimentarios.

Corea del Norte ya está preparada para eso, teniendo una intranet completamente desvinculada del internet (al que se puede acceder en universidades), ellos se salvan.

El mundo funcionaba bien antes de la existencia de internet, están los gurús fumaos estos diciendo que la IA nos va a aniquilar a todos (suena más a un llamado más a pequeños inversores para que financien su chiringuito), tú solo me estás demostrando que la IA nos puede hacer mucho daño, pero no acabar con todos nosotros que era mi punto (por eso he hablado de inuits y tuaregs).

Se que cuesta creerlo pero España fue onceava potencia del mundo sin necesidad de internet, y la gente podía beber agua y había hospitales. Como mucho la IA puede acabar con internet tal y como lo conocemos, y a este punto, sinceramente, me alegraría mucho.

Ya no acabaría como la humanidad eso es verdad compañero, pero pondría en jaque a la sociedad actual.

Y quien sabe si más cosas, lo mismo hay posibles accesos a misiles, centrales nucleares, presas, etc, etc.
72 respuestas
Responder
1, 2
Volver a Miscelánea