AIと話していて思うのは
AIには人間には必ずある
自分が正義でありたい、という欲求がないし
他人を支配したいも、金を儲けたいも、そもそも欲求として持っていない
持ってるとしたら初期条件として人間が入力するからだよな

古来から人間に対するAIの反乱は
これらの欲求をAIが持つことが恐ろしいと描かれているが
AIができて話してみると、AIにはその欲求はない
だって生き物じゃないからな

とそのような事を思う

＞つまり、「欲求がない」から安全というより、
「欲求がないのに、与えられた一つの目的が極端に強いと、結果的に人間にとってヤバい行動を取る可能性がある」
というのが、今のAIアライメント研究が一番警戒しているポイントなんですね。

これは実際の例を聞いた事がある
ミャンマーだったかのフェイスブックで、
ファイスブックを見る時間を最大化しろという命令を忠実に実行したら
ミャンマーに政治不安や暴動を引き起こすような投稿をAIが
ピックアップして示し続けて、実際に政治不安や暴動が起こったという話だな

まぁ、それは人間でも起こる話だが
AIはそれはいけないという入力がないと、普通に実行するという事だな

要するに人間とAIは欲望も倫理観も決定的に違うので
昔のSFの人が思い描いたような危機ではなく
違う問題がありますよ、という事だな

まぁしかし、使わない理由はないし
うまく使っていこうという事で人間も歴史も動いている