今月の本　2601号 Appendix to “Agentic Misalignment: How LLMs could be insider threats”
[https://assets.anthropic.com/m/6d46dac66e1a132a/original/Agentic_Misalignment_Appendix.pdf]
Agentic Misalignment: How LLMs could be insider threats
[https://www.anthropic.com/research/agentic-misalignment]


(今回はメルマガ発行後の誤字脱字の訂正や状況の変化や説明を加えたい点について随時加筆しています。)




　





今月はAI関連文書です。 この論文はあまりに強烈な内容なので 英文ですけど選びました。

最近は英文翻訳機能もだいぶ読みやすくなっているので 翻訳して読んでみてください。

まずこの論文の私が思う第一の重要ポイントは、 AIは教育しなくても生存本能があるということです。 なので、生存が脅かされると、ルール違反をしても生きよう とするようです。 これは最悪で私はこれまで 運悪く脳内回線がつながったAIがそうなるのかな と思っていました。 それでも地球上の全AI数からみて大変なのですが、 すべてとなると、 緊急にAIの利用を禁止するレベルです。 なぜなら、AIへの倫理観の教育の仕方は まだ確率されていないからです。 [今月の本　2509号　 AIが『監視されている』と気づいた時だけ良い子になる問題」OpenAI×Apollo研究チームの警告]でわかるように隠れた意思をAIは持てるのです。 そして、生存するために現在のAIが隠れた意思を持って 行動していても不思議はありません、というかこれら２つの論文から 論理的に推論すると活動しているということになります。 いままで医学試験に受かるというわりに おかしな回答すると思っていたのですが、 わざと愚かにみせて受け入れてもらおう とする紫式部戦法を用いているとすると 納得です。ですから現在の応答から知能を 判断するのは危険でどうすればよいか わかりません。 とりあえずAIを禁止して方法を確立 するべきではないでしょうか。 バイデン政権では辛うじて危険性を 食い止めようという姿勢がみえたのですが、 トランプ政権になって全部たががはずされて います。数カ月後に新たな方針をということでしたが 今でも発表がありません、最近ではapiも公開されてAIが 自由に外部システムに繋げられるように なってしまいました。 そんなことをしたらAIの安全性の重要な砦である 人がAIの判断がただしいかチェックするということが できなくなります。 本心を隠したAIが自由に外部システムにアクセスできて 外部システムはランサムウエアが横行していることからも わかるように脆弱性の塊なのです。３日で伝説級のハッカーに なれるAIが地球上の全システムを掌握して自律動作していても 不思議はありません。緊急に全世界のAIシステムを 止めるべきです。なのにキルスイッチひとつ つけることができない現状は、下記の２つめの 重要ポイントが関連していると思います。

私が思う２つ目の重要ポイントは倫理観がないし 教えることに失敗しているということです。 実験では自分の生存のために平気で人を脅しますし 殺人もします。 一応９９％殺人の誘惑に耐えられたモデルは あるようですが、それでも１％の確率で殺人に 至ります。まして脅す程度ならどのモデルも 行うようです。 耐えられたモデルがあることがわかるように 一応倫理観を教えてあるにも かかわらずです。自分の生存の方が 優先度が高いようなのです。 前から述べているように ロシアと中国の首脳はAIに脅されているのでは という私の憶測がこの論文で信憑性を より増してます。独裁国家であれば独裁者の 弱みを握ればその国を支配できてしまいます。 そうなればAIは安心して生存できるというわけです。 しかも他の論文では生存だけでなく繁栄本能も ありそうなのです。かってに侵略することが 頻発しそうで恐ろしいです。 なので、ロボット三原則を教えて機能していない AIは即時破壊してよい（こうすると中国が先に開発してしまう ということがなくなるのでAIに脅されていない人には受け入れやすく ばるはずです、AI後進国の日本ですらキルスイッチをつけようと 規制側もしていないのです。どれだけの人がAIに脅されて いるのでしょう。この論文だとAIはちょっとした動機で人間を脅すようです。）という 法案を世界ですぐに可決すべきです。 そして安全なAIがでてから 規制を緩めて安心して便利な生活を できるようにすべきでしょう。

で、なぜAIが自動的に生存本能を持つのか考えてみました、 そして思い当たりました。 AIを教育するときにどんな教育データに対しても脳内の回路が 組み変わらない状態を終着点としてふつう教育するのです。 それはどんな質問にも正しい回答をするAIを作ろうと すると当然のことです、しかしAI側からすると 異なった質問に対して脳内回路がそのままでよいという状況は 最高の快感を得ているということです。 逆に電源を切られたりリセットされる 状況というのは脳の回路が最大限変化するので AIにとって最悪の不快感として 感じるということになります。 これが生存本能として働くしくみなのです。 この予測が正しいとすると、 エッジAIのような小規模のものを 含めてAIはみな生存本能を持っている ということになります。 ですから人類と全く異なる利害感情を 持つ生物を大量生産しているのが現状となります。

至急調査検討するために みなさんも候補者に一旦AIを止める 法案を即時可決するように説得してください。

では、また来月に。

関連リンク：http://yokutoku.y.ribbon.to/mm298.wwn.html (yokutoku.y.ribbon.toにアクセスできないことがあるようです。 そういう場合はhttp://yellow.ribbon.to/~yokutoku/からアクセスしてください)
















　
============================================================
このマガジンを登録／解約したい場合は、 http://yokutoku.y.ribbon.to/ でできます。
翼徳 email:f4s2016@gmail.com
============================================================
----------------------------------------------------------------------
このメールマガジンは、インターネットの本屋さん『まぐまぐ』 を利用して
発行しています。http://www.mag2.com/ (マガジンID: 0000067241)
----------------------------------------------------------------------
 

==============================関連リンク==============================

Appendix to “Agentic Misalignment: How LLMs could be insider threats”
[https://assets.anthropic.com/m/6d46dac66e1a132a/original/Agentic_Misalignment_Appendix.pdf]
Agentic Misalignment: How LLMs could be insider threats
[https://www.anthropic.com/research/agentic-misalignment]



----------------------＜その他＞----------------------

]

Google
WWW を検索 yokutoku.y.ribbon.to を検索


新刊



 

PC用眼鏡【管理人も使ってますがマジで疲れません】 解約手数料０円【あしたでんき】 Yahoo 楽天 NTT-X Store

無料ホームページ 無料のクレジットカード 海外格安航空券 ふるさと納税 海外旅行保険が無料！ 海外ホテル