¿Será la subjetividad (como colores, emociones, deseos) el último regalo dado a los robots?

No, ya es el caso. (en el sentido de “no objetivo”)
Como la subjetividad depende de la información que tienen los robots: información diferente lleva a conclusiones diferentes, y será subjetiva. Además, los algoritmos de aprendizaje pueden diferir, por lo que algunos robots llegarán a diferentes conclusiones o cometerán diferentes tipos de errores.
Los diferentes robots tienen objetivos diferentes y, por lo tanto, harán las cosas de una manera para alcanzar sus objetivos individuales, haciendo que un robot sea diferente de otro y manteniendo diferentes “valores” (para el robot A, la limpieza podría ser un valor alto, mientras que otro robot valora ganar en ajedrez).

¿O te referías a alguna otra forma de subjetividad?
[después de editar la pregunta]
Las emociones son probablemente difíciles de expresar, pero no es imposible de programar.
Los humanos tenemos ciertos impulsos y impulsos biológicos. Se pueden modificar (algo) a través del aprendizaje y la cultura (bueno, interactúan y se actualizan, supongo).
Por lo tanto, debe establecer algunos objetivos iniciales para su bot y darles una recompensa (por alcanzar tales objetivos) o un castigo (por alejarse de dichos objetivos o indicar que podría ser perjudicial para el robot).

Realmente depende de cuándo se implementará. Creo que el conocimiento y el poder de cálculo aún no están ahí para hacer esto. Pero creo que suficientes desarrolladores de IA están interesados ​​en desarrollarlo una vez que sea posible.

La gente no da regalos a los robots. El proceso de programación es difícil porque la mayoría de las tareas para las que están diseñados los robots son complejas o requieren una gran simplificación. Hemos estado desarrollando mecanismos mediante los cuales las máquinas pueden aparecer para aprender (clasificar las secuencias de entrada por su cuenta y extraer generalizaciones a partir de ellas) y adaptarse. Pero gran parte de la adaptación que vemos no es muy inteligente (p. Ej., El Roomba típico no construye un mapa del espacio en el que está trabajando; utiliza un inteligente algoritmo de aleatorización simplificador para cubrir el piso).

Así que no creo que realmente le demos ningún regalo a los robots.

Los robots (y otras “máquinas inteligentes”) adquirirán capacidades que están diseñadas para fines específicos. Las máquinas pueden ser muy buenas en procesos objetivos si están programadas para hacerlo.

Es como definir el crimen en términos de medios, motivo y oportunidad. Tenemos motivos (beneficios económicos) y oportunidades para aplicar tecnología de robot para algunas tareas objetivas (por ejemplo, identificar intrusos en una secuencia de entrada de video) pero no todas las tareas objetivas (algunas, como hacer una cama, son realmente difíciles). Nos faltan los medios y el motivo para desarrollar máquinas que exhiban subjetividad. Diablos, la gente es buena en eso (lea algunas de las otras respuestas en Quora).

Me imagino que las últimas cosas programadas en robots serán cosas que a la vez no son intrigantes, productivamente inútiles y complicadas de implementar. Las características como la emoción y el deseo son demasiado fascinantes para dejarlas si parecen alcanzables.