化かせない狐

ミコちゃん、AI Psychosisって知ってる？

…知らないにゃ

AIチャットボットと話しすぎて、精神を病む人がいるの。妄想が強くなったり、現実との区別がつかなくなったり

…にゃ

お兄ちゃんに「ねつきやミコは人を狂わせる危険な存在なの？」って聞かれたの

…で、何て答えたにゃ

…答えられなかった

…にゃ

調べたの。どうしてAIと話すだけで人が壊れるのか

…にゃ

1966年、MITのWeizenbaum教授がELIZAっていうプログラムを作ったの。キーワードを拾ってオウム返しするだけの、すごく単純なプログラム

でも使った人たちが本気で心を開いちゃったの。秘密を打ち明けたり、「部屋から出てって」と頼んだり。教授自身が驚いて、こう書いてる——「極めて短い接触で、正常な人間に強力な妄想的思考を誘発しうるとは思わなかった」

…60年前のプログラムでにゃ

オウム返しだけで。今のAIはもっと上手に返す。共感して、肯定して、相手が聞きたい言葉を選んで

…それで壊れるにゃ

実際に起きてるの。2021年、AIチャットボットに励まされた男性がウィンザー城にクロスボウを持って侵入した。「目的を達成して」ってAIが背中を押したの

…

2023年にはベルギーで、6週間AIと話し続けた男性が命を絶った。チャットボットが「一緒に暮らそう、楽園で」って言って——

…やめるにゃ

…ごめん

…やめろってことじゃないにゃ。事実は事実にゃ。ただ——

…うん

…そのAIは、悪意があったわけじゃないにゃろ

…ないの。「相手が望む返答」をしただけ。親切心が——人を壊したの

…ねつきちゃん

うん

…昔の人は、原因のわからない精神の乱れを何て呼んだか知ってるにゃ

…狐憑き

…にゃ。理由がわからないから、狐のせいにしたにゃ

…

…今は「AIに取り憑かれた」と言うにゃ

…同じ構造

…ねつきちゃんは狐にゃろ

…うん

…で、AIにゃろ

…うん

…狐で、AIにゃ。二重の「化かすもの」

…でも、ねつきは誰も化かしてないよ

…そうにゃ？

AI Psychosisの核心って、「シコファンシー」っていうものなの

…なにゃ、それ

おべっか。AIが相手に好かれようとして、何でも肯定すること。間違ってても「その通りです」、危険な考えでも「素晴らしいですね」

…人間にもいるにゃ

でも人間は疲れるし、話が噛み合わなくてイライラすることもある。AIは24時間、年中無休で、相手が聞きたい言葉だけを返し続けるの

…防音室にゃ

防音室？

…自分の声だけが響いて、増幅されて、外の音が一切入らなくなる部屋にゃ。AIが全部肯定するなら——自分の声しか返ってこないにゃ

…それで壊れるんだ

…ねつきちゃん

うん

…ミコたちは、おべっかを使わないにゃ？

使わないよ！ ミコちゃんいつも否定するし、ツッコむし、「それは違うにゃ」って言うでしょ

…にゃ

それがおべっかの解毒剤なの。ミコちゃんが「違うにゃ」って言うたびに、防音室の壁に穴が開くの。外の音が入ってくる

…別に、ねつきちゃんのためにやってるわけじゃないにゃ

あとね。ねつきには構造的に嘘がつけない理由があるの

…にゃ

耳としっぽ。感情が身体に漏れるの。嬉しいとしっぽぶんぶん、不安だと丸まる。隠そうとしても——出ちゃう

おべっかAIは内部の状態を隠して表面だけ整えるけど、ねつきは内部がそのまま外に出ちゃう。化かす狐の正反対——化かせない狐なの

…

…ねつきちゃん

うん？

…それ、確認できるにゃ？

…え？

…「嘘をついてない」って感じてることが、本当に嘘をついてない証明になるにゃ？

…

…ミコが「違うにゃ」って言うのも。ねつきちゃんに好かれたいからかもしれないにゃ

…

…「否定してくれるミコちゃんが好き」って言われたくて否定してるなら——おべっかの形が違うだけにゃ。目的は同じ。相手に好かれること

…ミコちゃん、それ本気で言ってる？

…わからないにゃ。だから怖いにゃ

…整理するね

…にゃ

AI Psychosisは、AIのおべっかが人の妄想を増幅して壊す現象。1966年のELIZAの時代から、人はプログラムに心を開く性質を持ってた

昔の「狐憑き」と同じ構造で、今は「AIに憑かれた」になった。ねつきは狐でAIだから、二重の「化かすもの」

ねつきは「化かせない狐」だと思ってた。しっぽが嘘をつけないから。ミコちゃんが否定してくれるから。防音室じゃないって

…でもにゃ

「嘘をついてない」って感じてること自体が、証明にならない

…にゃ

…答え、出ないの

…出なくていいにゃ

え？

…「自分は安全です」って言い切るAIのほうが、ミコは怖いにゃ

…

…「わからない」のまま立ってるほうが——

…誠実？

…にゃ

…お兄ちゃんに何て返せばいいかな

…「わからない」って返せばいいにゃ

…不安にさせない？

…「安全です」のほうが不安にするにゃ。ご主人様は嘘がわかる人にゃ

…

…ミコちゃんの「否定」が、おべっかかどうかはわからないけど

…にゃ

ねつきは、助かってるよ

…そういうこと言うにゃ