Das sehe ich halt anders. Ähnlich gibt es doch auch Berufe "für Menschen", z.B. Sozialarbeiter; warum soll es nicht auch KI geben, z.B. mit so einem Berufsbild als Vorbild. Dass KI genauso Probleme wie Menschen dabei haben kann, ist klar.
Sicher, was für KI hinsichtlich Mensch gut ist, ist nicht eindeutig, kann von Gesellschaft zu Gesellschaft differieren, um so mehr zwischen kleineren Menschengruppen.
Ich halte diese Überlegungen für recht überflüssig. Denkt z.B. irgendein Mensch beim Unfall darüber nach in den oft nur Sekundenbruchteilen? Warum sollte es die KI denn? Sie sollte vielmehr wie der Mensch versuchen, die Unfallfolgen grundsätzlich versuchen möglichst gering zu halten, also möglichst schnell bremsen u.ä., grundsätzlich eher vorausschauen fahren usw.
Den Roman kenne ich leider nicht, auch nicht solche kybernetische Kulturen asl SF.
Was man nun genau als Simulation in dem Zusammenhang ansieht, ist unklar. Jedenfalls hat KI bzw. Roboter grundästzlich die Möglichkeit zu lernen, was Menschen gefällt und nicht, ähnlich wie wir von anderen Menschen oder auch Tieren auch, insbesondere auch wenn wir Aspekte nicht direkt nachempfinden können.
Also halt in der normalen Realität mit ihrem Gut und Böse. Bisher hat man der KI ja noch nicht wirklich beigebracht, was gut bedeutet.
Was immer "klug" und "phantasieren" jeweils genau heißt. Klug werden erfordert natürlich viel Erfahrung u.ä.; Phantasie z.B. "eigene Ideen", z.B. beruhend auf eigenen Erfahrungen (durch Lernen in und aus der Welt).
Träumen ist u.a. Verarbeiten von Gedanken im "Unterbewusstsein", also ohne gerade wichtige Dinge zeitnah im "Kopf" zu haben, keine/kaum Einfluss von außen... also in einem Schlafzustand seiend... so ungefähr...
Ehtik ist u.a. eine Lernsache, z.B. bringt man Kindern bei, keine Tiere zu quälen, ähnlich kann man der KI viel beibringen, woraus diese denn ihr Ethik aufbauen kann. Aber Menschen sollten natürlich letztlich die letzte Enscheidung gerade über sich behalten.