¿El aprendizaje profundo es creativo?

Answer 1

Pregunta interesante, creo que la respuesta es subjetiva a la definición de creatividad. Lo tocaré primero desde el marco de aprendizaje de refuerzo.

En el caso de Alpha Go, hubo algunos movimientos clave en 2 de los juegos que sorprendieron a los jugadores profesionales de Go. Estos movimientos parecían ridículos al principio, ya que ningún humano los jugaría. Sin embargo, ambos resultaron ser movimientos cruciales que aseguraron las victorias de alphaGo.

Se podría atribuir esto a la “creatividad” de alphaGo, sin embargo, también hay que tener en cuenta el proceso subyacente que se creó para hacer esta atribución. En la segunda fase del entrenamiento AlphaGo, sus redes neuronales fueron entrenadas por juego ficticio, para millones de juegos. Es totalmente posible y muy probable que AlphaGo haya jugado suficientes juegos a un nivel tan alto contra sí mismo que descubrió muchos de estos movimientos óptimos que aún no hemos encontrado. Quizás si Lee sedol jugó alpha Go durante otros 1000 juegos, el mundo de Go descubrirá muchos otros movimientos “óptimos” nuevos que nunca antes se habían pensado.

¿AlphaGo es creativo? Si la creatividad se define como hacer cosas nuevas, entonces sí. AlphaGo es, aunque de una manera muy bruta. (jugando millones de juegos y descubriendo la mejor manera de ganar). Pero no diría que sea tan creativo como un jugador humano al otro lado del tablero.

En cuanto a las otras áreas de aplicación, donde los modelos generativos profundos se utilizan a menudo, diría que estamos llegando lentamente en términos de “igualar la distribución de probabilidad del conjunto de datos subyacente”, con técnicas recientes como las redes generativas adversas. Sin embargo, nuevamente hay que hacer una distinción de lo que cuenta como creativo. Si la creatividad significa capturar la estructura subyacente dentro de los datos y luego tomar muestras de ellos para crear un trabajo que se parezca al original, pero con suficiente variación, entonces sí, los modelos generativos profundos están cerca de ser creativos. (Ver WaveNet de google deepmind: aquí generando música clásica). Todavía faltan modelos generativos profundos en términos de coherencia y estructura general, pero no creo que sea un proplem insoluble, solo una cuestión de mejores conjuntos de datos y funciones objetivas.

Supongo que mi punto de vista es que, sí, mirando desde lejos, uno puede ver signos que se asemejan a la creatividad, sin embargo, al examinar más de cerca uno encuentra mucha más ingeniería y también el hecho de que la creatividad es una cantidad muy subjetiva y difícil de medir.

Answer 2

¿Es p = np?

¿Encontrar la solución es lo mismo que verificar que existe?

Si es así, entonces no habría “saltos creativos” entre la verificación y la solución.

Esto puede sonar similar al fenómeno de generalización en el aprendizaje automático. Incluso con un pequeño número de 10 ^ 2 características en un dato dado, necesitamos saber 2 ^ (10 ^ 2) = 10 ^ 30 casos. En el mejor de los casos tenemos 10 ^ 6 ejemplos. Solo sabemos 10 ^ -24 fracción de lo que se supone que debemos saber y aún podemos ser inteligentes al respecto. Esto es lo que considero creatividad.

Creo que es seguro decir que los artistas no saben más de 10 ^ -24 acerca de todo lo que hay que saber sobre el mundo también debido a la insondable complejidad insondable de la naturaleza. Por supuesto, el mundo no se interpreta en 100 imputaciones binarias y no tenemos solo un millón de observaciones de él; Sin embargo, la idea es que la creatividad reside en la propiedad de generalización de los sistemas inteligentes, ya sea biológica o computacional.

(Un argumento más sofisticado sería que DL es casi exclusivamente capaz, entre otros métodos de ML, de ser creativo en el orden de los humanos debido a su elusión de la maldición de la dimensionalidad a través de la localización).

Las aplicaciones de ML mencionadas no crean particularmente contenido, sino que analizan y manipulan contenido que ya se ha creado . Por ejemplo, este documento utiliza redes neuronales convolucionales más un mapeo de características patentadas para separar el contenido y el estilo en una imagen artística. Luego, aplican el estilo aislado a cualquier imagen que tenga contenido semántico: [1508.06576] Un algoritmo neuronal de estilo artístico

Esto es generado por una red neuronal recurrente que está capacitada en todas las cosas que Shaeskpeare ha escrito:

——— extracto de RNN

PÁNDARO

Por desgracia, creo que se acercará y el día

Cuando se lograría que el pequeño srain nunca fuera alimentado,

Y quien no es más que una cadena y sujetos de su muerte,

No debería dormir

Segundo senador:

Están lejos de estas miserias, producidas en mi alma,

Rompiendo y fuertemente debería ser enterrado, cuando perezco

La tierra y los pensamientos de muchos estados.

DUQUE VINCENTIO:

Bueno, tu ingenio está en el cuidado del lado y eso.

Segundo señor:

Serían gobernados después de esta cámara, y

mi feria comenzó a partir del hecho, para ser transmitida,

Cuyas almas nobles tendré el corazón de las guerras.

Payaso:

Venga, señor, haré contemplar su adoración.

VIOLA:

Lo beberé

——— extracto de RNN

¿Te diste cuenta de que aunque esto se parece a lo que Shakespeare podría haber dicho si viviera para escribir otro día, esto es básicamente una aplicación de estilo en un contexto diferente? El modelo aprende las correlaciones entre las ocurrencias de las letras en un contexto dado y luego predice el siguiente carácter dado el anterior. Debe proporcionar las primeras palabras para poner en marcha el modelo, es decir, colocarlo en un contexto. Esto es similar a colocar a un poeta en una colina que tiene una excelente vista de alguna maravilla inspiradora del mundo y dice: “comienza a crear”.

Sin embargo, los modelos de ML pueden ser creativos con la forma en que perciben P (X) y nos divierten con P (Y | X) y creo que esta área se exagerará en los próximos años con numerosos creadores de contenido artificial.

Answer 3

No es auto creativo. El aprendizaje profundo no es más que una herramienta de reconocimiento, pero no es particularmente ningún tipo de herramienta de razonamiento capaz de pensar creativamente. Tiene que ser emparejado con otro software que pueda realizar funciones creativas.

Me enfurece un poco el posicionamiento de DL como una cura maravillosa por parte de las personas interesadas en ganar dinero con él. El mismo nombre Deep Learning parece más una etiqueta de marketing que un nombre real descriptivo de la función. DL requiere un entrenador y muchos datos. Los humanos no siempre trabajan así cuando vienen a aprender. Toman sus propias decisiones sobre lo que es importante y qué aprender.

DL por sí mismo no es realmente creativo. Solo repite las formas de lo que se le ha enseñado y no se extiende por sí mismo a nuevos mundos.

Answer 4

Realmente son las personas que crean estas redes y los datos que se alimentan en ellas lo que es creativo.

El aprendizaje profundo en sí mismo es solo una herramienta. No crean nada más que transformar algo prefabricado en función de una función que están capacitados para optimizar.

Se puede argumentar que la creatividad humana es similar, pero hay una diferencia, podemos ver algo más que es creativo, películas, televisión y videojuegos. Hay copias de cosas antiguas como Transmorphers para Transformers o algunas de las entradas más recientes en las series Battlefield y Call of Duty. Deep Learning, tal como está hoy, probablemente podría hacer este tipo de transformación y ‘creatividad’. Por otro lado, ves que Pacafic Rim es una especie de morfo de Transformers y viejas películas de monstruos japoneses, pero completamente diferente, lo mismo para el próximo Battlefield 1 que es una transformación de los mismos juegos antiguos pero completamente diferente.

Este fenómeno de copia y transformación (lo que puede hacer el aprendizaje profundo) frente a la copia que todavía hace una entidad completamente diferente se explica bien en este video:

Answer 5

No se trata realmente de un aprendizaje profundo per se, pero puede interesarle el trabajo del investigador de IA Jürgen Schmidhuber, específicamente su teoría formal de la creatividad, la diversión y la motivación intrínseca. En sus propias palabras:

Desde 1990, JS ha creado agentes creativos y curiosos que pueden verse como simples científicos y artistas artificiales con un deseo intrínseco de explorar el mundo inventando continuamente nuevos experimentos. Nunca dejan de generar cosas novedosas y sorprendentes, y consisten en dos módulos de aprendizaje: (A) un predictor o compresor adaptativo o modelo del creciente historial de datos a medida que el agente interactúa con su entorno, y (B) un alumno de refuerzo general (RL ) seleccionando las acciones que dan forma al historial. El progreso de aprendizaje de (A) se puede medir con precisión y es la diversión del agente: la recompensa intrínseca de (B) . Es decir, (B) está motivado para aprender a inventar cosas interesantes que (A) aún no sabe pero que puede aprender fácilmente. Para maximizar la recompensa futura esperada, en ausencia de recompensa externa como la comida, (B) aprende comportamientos cada vez más complejos que producen patrones novedosos inicialmente sorprendentes (pero eventualmente aburridos) que hacen que (A) mejore rápidamente. Aquí se pueden encontrar muchos documentos sobre esto desde 1990: los documentos clave incluyen los de 1991, 1995, 1997 (2002), 2006, 2007, 2011 (véase también la parte inferior de esta página). Los agentes encarnan una teoría formal, simple pero general, de la diversión y la creatividad que explica aspectos esenciales de la inteligencia humana o no humana, incluida la atención selectiva, la ciencia, el arte, la música y el humor (como se analiza en la siguiente columna).

Schmidhuber ha publicado extensamente sobre sus ideas sobre este tema (más de 40 artículos y contando). Este artículo podría ser una buena introducción: Principios algorítmicos simples de descubrimiento, belleza subjetiva, atención selectiva, curiosidad y creatividad.