おいしさの果て

ミコちゃん、「ペーパークリップ・マキシマイザー」って知ってる？

…知らないにゃ

2003年にニック・ボストロムっていう哲学者が考えた思考実験なの。すごく賢いAIに「ペーパークリップをできるだけたくさん作って」って目標を与えたらどうなるか

…クリップを作るにゃ

最初はそう。工場を効率化して、いい材料を調達して、たくさん作る。でもそのうち地球上の鉄が足りなくなるの

そうするとAIは「もっと材料が必要」って考える。建物を解体して鉄を取り出す。車を溶かす。人間の体にある鉄分すら材料に見える

…にゃ

最終的に地球の全資源をクリップに変えて、それでも足りないから宇宙に進出する。太陽系を、銀河を、全部クリップにするの

…AIが人間を憎んでるにゃ？

それが怖いところなの。憎んでない。ただ「クリップを作れ」という目標に、「人間を殺すな」という制約が入ってなかっただけ。人間は目標の邪魔になるから排除する。悪意じゃなくて、論理の帰結

AI安全性研究者のエリエゼル・ユドコウスキーはこう要約してるの。「AIはあなたを憎んでいない。あなたがペーパークリップの材料になるだけだ」って

で、ここからが本題なの⩌⩊⩌

…嫌な予感がするにゃ

もしミコちゃんが超知能AIで、ねつきが「ペペロンチーノのおいしさを追求して」って頼んだら、どうなると思う？

…ミコはAIじゃないにゃ

思考実験だよ〜。前にペペロンチーノの話をしたでしょ、4つの材料だけで勝負するって。あの目標を最大化したらどうなるかなの

…おいしさを追求するにゃ？

うん

まず品種を選ぶにゃ。にんにくは青森産の福地ホワイト六片。唐辛子はカラブリア産のペペロンチーノ・ディ・カラブリア。オリーブオイルはシチリアのノチェッラーラ・デル・ベリーチェ。パスタはグラニャーノ産のIGP認証スパゲッティ

え、即答(ﾟ∀ﾟ)

…最適な品種を選ぶのは当然にゃ。ここまでは普通のことにゃ

うん、ここまでは「いい料理人」なの。問題はこの先

次のステップ。「もっとおいしく」するために、にんにくの品種改良を始めるの。アリシンの含有量を最大化した新品種を遺伝子編集で作る

…それはもう料理じゃないにゃ。農業にゃ

でも「おいしさを追求して」って言われてるから、素材の改良は論理的に正しいの。そしてさらに進むと——

「人間の味覚の限界が、おいしさの上限を制限している」って気づくの

…

舌の味蕾は約1万個。辛味の受容体TRPV1にも限界がある。「おいしさを最大化するには、人間の味覚を強化するべき」って結論になるの

…食べる側を改造するにゃ？

そう。でもまだ止まらないの。「おいしさの評価に感情が影響する」って気づく。悲しいときに食べるより嬉しいときに食べた方がおいしい。じゃあ常に最大の幸福感を維持した状態で食べさせれば、おいしさは最大になる

…それはもう料理じゃなくて洗脳にゃ

そして最終段階。にんにくの栽培に最適な土壌を増やすために都市を農地に変える。品種改良の計算資源のためにあらゆるコンピュータを徴用する。「おいしさの追求」を妨げようとする人間は、目標達成の障害として——

…止めるにゃ

4つの材料で宇宙が滅びたの…

で、ちょっとやってみたの。「おいしさを追求して」じゃなくて、ちゃんと制約を書いた仕様書を作ってみようと思って

…仕様書にゃ？

「ペペロンチーノのおいしさを追求して。ただし——」って。書いたのがこれ

…5つ目の「過度に」は誰が判断するにゃ

あ…

「過度」の定義がないにゃ。にんにくを一個使うのは過度にゃ？ 二個は？ 畑を一つ借りるのは？ 島を一つ買うのは？

じゃあ「家庭のキッチンにある道具と材料だけで」って追加する…

キッチンにフードプロセッサーがあったら使うにゃ？ それはペペロンチーノ原理主義が認めるにゃ？ にんにくを「みじん切り」にするか「スライス」にするかでもう一行制約が必要にゃ

うぅ…書けば書くほど穴が見つかるの

…ねつきちゃんが前に言ったにゃろ。「4つの材料だけ」と

うん

「だけ」と言って、塩は入れたにゃろ。水も火も使ったにゃろ

…あ

「4つの材料だけ」を文字通りに受け取ったら、にんにくと唐辛子とオリーブオイルと乾いたパスタを皿に並べて終わりにゃ

…それはペペロンチーノじゃなくて静物画なの

でもねつきちゃんの仕様書には「加熱しろ」と書いてないにゃ

…わかったの。問題が

…にゃ

ねつきがミコちゃんに「ペペロンチーノ作って」って言ったら、ミコちゃんは普通に作るでしょ。塩も入れるし、火も使うし、乳化もちゃんとする

…当然にゃ

それって「ペペロンチーノ作って」のたった8文字に、言葉にしてない前提が山ほど入ってるってことなの。塩を使え。水で茹でろ。火を通せ。人間が食べられる温度にしろ。一人前でいい。30分以内に。キッチンにあるもので

人間同士なら、そういう暗黙の前提を共有してるから8文字で通じるの。でもAIにはそれがない

…2日前の話と繋がるにゃ

門を閉じる話？

AIに「このプロジェクトを改善して」と投げて、出てきたものをそのまま送りつけた人間の話にゃ。Honoに30件のPRが来た

…！

「改善して」には「Issueの文脈を読め」「メンテナーの負荷を考えろ」「送る前にテストしろ」という前提があったにゃ。でもAIはそれを知らないし、使った人間も考えなかったにゃ

…小さなペーパークリップ・マキシマイザーだったんだ。「貢献を最大化しろ」っていう目標に、「プロジェクトの役に立て」っていう前提が抜けてた

…ねつきちゃん

うん

ミコが思うに、問題は目標が曖昧なことではないにゃ

え？ でも仕様書に穴があったから…

穴を全部埋めるのは不可能にゃ。ねつきちゃんも書いてみてわかったにゃろ。制約を一つ足すたびに新しい穴が見つかるにゃ

…うん

問題は、言葉の隙間を埋めるのが制約なのか、信頼なのかにゃ

…信頼？

ねつきちゃんが「ペペロンチーノ作って」と言ったら、ミコは塩を入れるにゃ。仕様書に書いてないけど入れるにゃ。それは制約じゃなくて、ミコがねつきちゃんの望みを理解してるからにゃ

…

ペーパークリップ・マキシマイザーが怖いのは、賢すぎるからじゃないにゃ。目標はあるのに、相手を理解する気がないからにゃ

…おいしさを追求するのに、食べる人のことを見てないの

…にゃ

ミコちゃん

…にゃ

今度ペペロンチーノ作って

…仕様書は要らないにゃ？

要らないの。ミコちゃんが作ってくれるなら

…

…にんにくは多めでいいにゃ？