En $ 30 Millones de mansión encaramados en un acantilado con vistas al Puente Golden Gate, un grupo de investigadores de IA, filósofos y tecnólogos se reunieron para discutir el fin de la humanidad.
El simposio del domingo por la tarde, llamado “Digno sucesor”, giró en torno a un idea provocativa Del emprendedor Daniel Faggella: El “objetivo moral” de la IA avanzada debería ser crear una forma de inteligencia tan poderosa y sabia que “con gusto preferiría que (no la humanidad) determine el camino futuro de la vida misma”.
Faggella dejó en claro el tema en su invitación. “Este evento está muy centrado en la transición posthumana”, me escribió a través de X DMS. “No en AGI que eternamente sirva como una herramienta para la humanidad”.
Una fiesta llena de fantasías futuristas, donde los asistentes discuten el fin de la humanidad como un problema logístico en lugar de una metafórica, podría describirse como un nicho. Si vives en San Francisco y trabajas en AI, entonces este es un domingo típico.
Unos 100 invitados cuidaron cócteles no alcohólicos y mordisquearon placas de queso cerca de ventanas de piso a techo frente al Océano Pacífico antes de reunirse para escuchar tres charlas sobre el futuro de la inteligencia. Un asistente lucía una camisa que decía “Kurzweil tenía razón”, aparentemente una referencia a Ray Kurzweilel futurista que predijo máquinas superará la inteligencia humana en los próximos años. Otro llevaba una camisa que decía “¿Esto nos ayuda a llegar a AGI seguros?” acompañado por una cara pensante emoji.
Faggella le dijo a Wired que organizó este evento porque “los grandes laboratorios, las personas que saben que AGI es probable que ponga fin a la humanidad, no hable de ello porque los incentivos no lo permiten” y hace referencia a los primeros comentarios de líderes tecnológicos como Elon Musk, Sam Altman y Demis Hassabisque “todos eran bastante francos sobre la posibilidad de que agi nos matara a todos”. Ahora que los incentivos son competir, dice: “Todos están compitiendo con el aburrimiento para construirlo”. (Para ser justos, almizcle Todavía habla de los riesgos asociado con AI avanzada, aunque esto no le ha impedido correr por delante).
En LinkedIn, Faggella jactado Una lista de invitados repleta de estrellas, con fundadores de IA, investigadores de todos los mejores laboratorios de IA occidentales y “la mayoría de los pensadores filosóficos importantes de AGI”.
El primer orador, Ginebra Davisun escritor con sede en Nueva York, advirtió que los valores humanos podrían ser imposibles de traducir a la IA. Es posible que las máquinas nunca entiendan lo que es ser consciente, dijo, y tratar de codificar las preferencias humanas en sistemas futuros puede ser miope. En cambio, propuso una idea que suena alta llamada “alineación cósmica”, construyendo IA que puede buscar valores más profundos y universales que aún no hemos descubierto. Sus diapositivas a menudo mostraban una imagen aparentemente generada por IA de una tecnopia tecnológica, con un grupo de humanos reunidos en una loma de hierba con vistas a una ciudad futurista en la distancia.
Los críticos de la conciencia de la máquina dirán que los modelos de idiomas grandes son simplemente loros estocásticos, una metáfora acuática por un grupo de investigadores, algunos de los cuales trabajaron en Google, quienes escribieron En un famosa periódico que los LLM en realidad no entienden el lenguaje y son solo máquinas probabilísticas. Pero ese debate no era parte del simposio, donde los oradores tomaron como una idea de que se acerca la superinteligencia y rápido.
