今日は土曜日、久々の晴れなのに、、、出社です。。のんびり車で会社に向かっていたときのことです。少し前方の路上に何かが見えていて、近づくと思ったより少し大きめの何かです！考えるより先に「わっ！」とハンドルを切り、なんとかよけて通り過ぎました。
「え？？今のは何だったんだろう？」ただのゴミ袋だったのか、動物だったのか、それとも鉄の塊？みたいな何か危ないものだったのか。どんな形でどんな大きさで、動いてた？止まってた？などと考えを整理します。あれこれ考えているうちに、気づけば会社に着いていました。
よけた動作は一瞬で、考えていたのは会社に着くまでずっと。同じ自分の頭なのに、使い方がまるで違うんですよね。今回のお話は、人の頭は「一瞬の判断」と「きちんと筋道を立てた判断」があるというお話です。
前回の記事では、ディシジョンモデル(今回からはDecisionModelと書きます)を「コスト」の目線で書きました。今回は少し角度を変えて、「頭の使い方」の目線から、LLMとDecisionModelの関係を考えてみたいと思います。
人の頭には「速い脳」と「遅い脳」がいる
ダニエル・カーネマンは心理学者でありながらノーベル経済学賞を受けた人で、行動経済学の生みの親の一人です。代表作の『ファスト＆スロー』では、人の考え方を2つのモードに分けて説明しています。
ひとつは「System 1」。直感的で、速くて、自動的に動く頭です。道路の落とし物をとっさによける、相手の表情で機嫌を察する、「1＋1」の答えが勝手に浮かぶ。こういうのは全部System 1の仕事です。
もうひとつは「System 2」。意識して、時間をかけて、筋道を立てて考える頭です。複雑な計算、契約書の比較、今朝の「今の塊は何だったんだ？」もこちらです。エネルギーを使うので、続けると疲れます。
面白いのは、この2つが「どちらが優秀か」という関係ではないことです。普段の生活はほとんどSystem 1で回っていて、System 2は、本当に必要なときにだけ出てくる。本の中でもSystem 2は「怠け者のコントローラー」と紹介されていて、ちょっと親近感がわきます。
そして、この2つは行き来します。今朝、私がたどり着いたのは、「次に同じ場面が来たら、ぎりぎりになる前に車線を変えておこう」という結論でした。ここまではSystem 2の仕事です。でも、これを何度か繰り返すうちに、そのうち考えなくても体が勝手に動くようになりますよね。System 2がじっくり考えた結果が、やがてSystem 1の「慣れ」になるんです。初心者のうちは全神経を使っていた運転が、いつの間にか鼻歌まじりでできるようになるのも同じです。
もう一つ大事なのが、System 1は速い代わりに、ときどき自信満々に間違えるという点です。有名な問題があります。
バットとボールを合わせて1ドル10セント。バットはボールより1ドル高い。では、ボールはいくら？
「10セント」と浮かんだ方、安心してください。たぶん多くの人がそうです。正解は5セントで、10セントだとバットは1ドル10セントで、合計が1ドル20セントになってしまいます。System 1が一瞬でもっともらしい答えを出し、System 2が検算をサボると、そのまま通ってしまうんですよね。
これ、会社に置き換えるとよくわかります。現場の即断と、会議での熟議。全部を会議にかけていたら仕事は回りませんし、全部を現場の即断で済ませていたら、いつか大きな事故が起きます。大事なのは、どちらかを選ぶことではなく、どの判断をどちらに回すか。この話は、そのままAIにも当てはまります。
では、LLMはどちらの頭なのか
ChatGPTのようなLLM（大規模言語モデル）は、質問するとすぐに答えが返ってきます。その速さだけを見ると、System 1っぽく見えるかもしれません。
実は逆です。LLMは、複雑な問題を段階的に分析し、選択肢を比べ、理由を説明する。つまり、LLMは「System 2」担当という位置づけです。
個人的にも、この整理はしっくりきています。実際、ここ数年のLLMの進化は、まさにSystem 2を鍛える方向に進んできました。答える前に「考える時間」を取る推論モデルが登場して、考える時間を増やすほど難しい問題が解けるようになっています。OpenAI、Google、Anthropicといった会社が競っているのも、ざっくり言えば「より優秀なSystem 2」づくりだったりします。
技術的にもう一段だけ掘ると、ここに面白い構造があります。LLMは仕組みとして、文章を一語ずつ書きながら考えています。人間がメモを取りながら考えをまとめるのに近くて、LLMにとっては、「考える」と「書く」がほぼ同じことなんですよね。
だから、じっくり考えさせるほどたくさん書くことになり、その分だけ時間もお金もかかります。前回の記事で書いた「書かせるほど遅くて高くなる」という話は、実はこのSystem 2らしさの裏返しだったわけです。
そう考えると、今のAI活用は、「じっくり考える人」だけで組織を作っているような状態だとも言えます。優秀なのは間違いない。ただ、それだけで本当に仕事が回るのかというと、ちょっと怪しいんです。
なお、「LLM＝System 2」という対応は、あくまで役割を理解するためのたとえです。厳密な分類というわけではないので、そこは軽めに受け取ってもらえればと思います。
LLMだけだと、何が困るのか
LLMが優秀なSystem 2だとして、それだけで業務を回そうとすると何が起きるのか。大きく3つあると思っています。
① 何でも会議にかける組織になる
ひとつ目は、前回も書いた速さとコストの問題です。メールの振り分けや、申請を通すかどうかのような判断にまで、毎回じっくり考えて文章を書かせていたら、件数が増えたところで一気に重くなります。
人間で言えば、道路に何か見えるたびに車を止めて、「よけるべきか、どちらによけるか」をじっくり検討しているようなものです。丁寧ではありますが、出社時間には間に合いません。
② 聞き方や一言で、答えが揺れる
ふたつ目は、一貫性です。LLMは、同じ質問でも聞き方が少し違うだけで答えが変わることがあります。「私は問題ないと思うんだけど」と一言添えると、そちらに寄っていくこともある。同じ入力でもう一度試すと、結論が変わることもあります。
会話の相手としてなら、この柔軟さはむしろ長所です。でも、同じ条件の申請が、ある日は承認で別の日は却下だと困りますよね。声の大きい人の意見で結論が変わる会議に、大事な判断は任せたくないのと同じです。
③ もっともらしく、間違える
三つ目が、個人的にはいちばん怖いと思っているものです。Articul8はこれを「Silent Constraint Violation」、つまり「気づかれない制約違反」と呼んでいます。
たとえば工場で、「この設備の生産能力を20%上げる方法は？」とAIに聞いたとします。返ってきた案は筋が通っていて、文章も自然です。ところがよく見ると、温度や圧力の安全な上限を超える前提になっている。しかもAI自身は、そのことに触れません。
説得力のある文章で出てくる分、読む側も納得してしまうんですよね。工場の安全基準に限らず、法令、契約条件、業界の規格、社内規定といった「破ってはいけないルール」は、どの業務にもあります。
「それって、よく聞くハルシネーションのこと？」と思った方もいるかもしれません。似ていますが、実は少し違います。ハルシネーションは、存在しない論文や間違った数字のように、事実ではないことをもっともらしく作ってしまう現象です。これは、調べれば「間違い」だとわかります。
一方で、気づかれない制約違反は、一つひとつの事実は正しくても起きます。使っている数字も理屈も合っているのに、組み合わせた結論が、守るべきルールを踏み越えている。だから、ファクトチェックをしても見つからないんですよね。
新人の報告書でたとえると、数字の書き間違いは誰が読んでも気づけます。でも、「この値引き、うちの規定だと部長決裁ですよね」には、その会社の決裁規定を知っている人しか気づけません。前者がハルシネーション、後者が気づかれない制約違反です。業務でAIを使うときにより厄介なのは、実は後者だったりします。
ここで、カーネマンの話を思い出してみると面白いです。『ファスト＆スロー』には「自信は当てにならない」という章があります。人間は、もっともらしい話ほど「正しい」と感じてしまう。LLMの文章が自然であることは、その中身が正しいことの証明にはならないんです。
つまり、System 2だからといって、その熟考が正しいとは限らない。だからArticul8では、LLMの推論をルールや根拠と照らし合わせて確かめる仕組みや、設備・部品・故障履歴といった企業の知識をつなぐ仕組み、業界ごとの専門知識や安全基準を生かす仕組みを組み合わせて、「それっぽい答え」を「根拠のある答え」に近づけようとしています。
「System 1」役のAIに求められるもの
では、AIにSystem 1を足せば解決かというと、そう単純でもありません。思い出してほしいのが、先ほどのバットとボールの問題です。人間のSystem 1は速いけれど、自信満々に間違える。その弱点まで真似したAIを作っても、間違いが速くなるだけですよね。
だからAIのSystem 1には、人間のSystem 1が苦手なことが求められます。それは、自分がどれくらい確かなのかを、正しく知っていることです。
Articul8がこのSystem 1役として位置づけているのが、意思決定モデル（DecisionModel）の「Bivia」です。仕組みはシンプルで、「状況」「問い」「選択肢」を渡すと、「判断結果」と「確信度」が返ってきます。そして、根拠が足りないときは「判断しない（保留する）」を選べる設計になっています。
「80%の自信」が、本当に80%当たること
ここで大事になるのが「キャリブレーション」という考え方です。ちょっと聞き慣れない言葉ですが、天気予報を思い浮かべるとわかりやすいと思います。
「降水確率80%」と予報された日を100日分集めたら、だいたい80日くらいは実際に雨が降っている。これが、キャリブレーションが取れている状態です。強気な予報が良いわけでも、控えめな予報が良いわけでもなく、「自信の度合い」と「実際の当たり具合」が一致していることが大事なんです。
これが業務で効いてくるのは、確信度を「振り分けの基準」に使えるからです。たとえば、確信度が高いものはそのまま処理して、低いものだけをLLMや担当者に回す。ただ、この仕分けが成り立つのは、確信度の数字が信用できるときだけ。「いつも自信満々」なAIの確信度では、何も振り分けられません。
「わかりません」と言える部下は、信頼できる
保留できることも、地味ですが大事な性格です。組織で考えると、迷った案件を自分で抱え込まずに「これは判断がつかないので、相談させてください」と上げてくれる部下です。何でも即答する人より、こういう人のほうが、結果的に安心して任せられますよね。
まとめると、System 1役のAIに求められるのは次の5つです。
- 速い：長い文章を書かずに、すぐ決める
- ぶれない：同じ条件なら、同じ判断をする
- 自信が正確：確信度と実際の正答率がそろっている
- 流されない：誘導的な一言で判断をひっくり返さない
- 引き際を知っている：根拠が足りなければ、素直に保留する
ちなみに、DecisionModelは今、いくつかの会社が競っている分野で、各社が「うちはこの点で優れている」という比較を出しています。ただ現場の感覚としては、ベンダー資料の数字より、自社の実際のデータで試した結果のほうが、はるかに当てになります。少し耳の痛い話ですが、導入を検討するときはぜひここを外さないでほしいところです。
使い分けのコツは、「考える」と「決める」を分けること
では、LLMとDecisionModelをどう使い分けるのがいいのか。一言で言うと、LLMには「考える」を、DecisionModelには「決める」を任せる、というのが基本だと思っています。
工場の設備で、いつもと違う振動が出た場面で考えてみます。
- LLM（System 2）が考える：仕様書、過去の故障履歴、センサーデータ、保守記録を読み合わせて、「回転部分の部品がすり減っている可能性が高い。根拠はこの3つ」と整理する
- DecisionModel（System 1）が決める：その分析と現在の状態をもとに、「運転継続／点検／停止」から一つを、確信度つきで選ぶ
- 迷ったら人間へ：確信度が低い、あるいは保留になったものは、担当者が判断する
一方で、順番が逆になるパターンもあります。問い合わせや申請のように件数が多いものは、まずDecisionModelが「即処理でいいもの」と「じっくり見るべきもの」を振り分けて、後者だけをLLMに回す。組織で言えば、窓口で一次対応して、難しい案件だけを専門チームに上げる形です。
もう一つ、頭に入れておきたいのが、先ほどの車線変更の話です。人間がSystem 2で考えた結果をSystem 1の「慣れ」にしていくように、AIでも、LLMや担当者がじっくり考えて出した判断を積み重ねていけば、それがDecisionModelを鍛える材料になります。最初は「保留」だらけでも、同じ型の判断が増えるほど、即断できる範囲が広がっていく。ただし、人間の直感と同じで、これが効くのは同じような判断が何度も繰り返され、その結果が正しかったか確かめられる業務です。
どちらに任せるか迷ったときは、だいたい次のような目安で分けられます。
| 見るポイント | LLM（System 2）向き | DecisionModel（System 1）向き |
|---|---|---|
| ほしい答えの形 | 文章、説明、アイデア | 決まった選択肢から一つ（承認／差し戻し、継続／点検／停止） |
| 発生する頻度 | ときどき。一件ごとに中身が違う | 毎日大量。同じ型の繰り返し |
| 求められるもの | 深さ、柔軟さ、説明力 | 速さ、一貫性、信用できる確信度 |
| 迷ったときの振る舞い | 考え込んで長く書く | 「保留」してLLMや人に回す |
ただし、設備の停止のように安全に直結する操作は、AIの判断だけに任せるものではありません。ここは、AIとは別に用意した安全の仕組みや、人間の承認と組み合わせるのが前提です。
それから、これは実際に導入の話をしていて感じることなんですが、DecisionModelを使おうとすると、最初に「この判断の選択肢は何ですか？」という問いに答える必要があります。これが意外と、すんなり出てこないんですよね。
「その申請、実際には『承認』『差し戻し』のほかに『部長に確認』もありますよね」といった話が、現場からどんどん出てきます。でも、この作業そのものが、人の頭の中にしかなかった判断ルールの棚卸しになる。AIの導入より前に、ここで業務がちょっと整理される、というのも、なかなか面白いところです。
ちなみに、選択肢の渡し方そのものは意外とシンプルです。DecisionModelには、判断のたびに次の3つをセットで渡します。
- 状況：申請の中身、センサーの値、LLMがまとめた分析結果など、判断の材料
- 問い：「この経費申請をどう扱うか」のような、何を決めてほしいのか
- 選択肢：答えの候補と、それぞれの意味
ポイントは、選択肢を名前だけでなく、「どういうときにそれを選ぶのか」という意味ごと渡すことです。経費申請なら、たとえばこんな感じです。
- 承認：規定の範囲内で、必要な書類がそろっている
- 差し戻し：領収書など、必要な書類が足りない
- 部長に確認：金額が決裁の上限を超えている
DecisionModelはこの中から一つを選んで、確信度を添えて返します。どれとも言い切れなければ保留です。この選択肢と意味の一覧は、社内規定やマニュアル、それに過去の実際の処理を見ながら、業務を知っている人があらかじめ作っておきます。ここで大事なのは、選択肢の意味がかぶらないようにすること。「承認」と「部長に確認」の境目が曖昧だと、人間でも迷いますよね。
「どのAIが賢いか」より、「どの判断をどちらに任せるか」
Articul8は、信頼できるSystem 2（LLMと、それを確かめる仕組み）と、速くて自信の正確なSystem 1（DecisionModel）を組み合わせることを、「完全な脳」という言い方で説明しています。ちょっと大きな言葉ですが、言いたいことは、人間が普段やっている頭の使い分けをAIでもやろう、ということだと思います。
面白いのは、この考え方だと、OpenAIやGoogle、AnthropicがLLMを賢くすればするほど、System 2の部分がそのまま強くなることです。つまり、LLMの進化とDecisionModelは、取って代わる関係ではなく、互いに引き立て合う関係にあるんですよね。
正直なところ、多くの会社では、AIの業務活用はまだこれからだと思います。今は「どのAIが一番賢いか」に目が行きがちですし、それ自体は自然なことです。ただ、本格的に業務に組み込む段階になると、問いが変わってきます。
その判断は、じっくり「考える」べきものか。それとも、素早く「決める」べきものか。そして、決めきれないときに、誰に回すのか。「どのAIが賢いか」より「どの判断を、どちらの頭に任せるか」。これからAI活用を本格化させるなら、この視点を最初から持っておくと、後で設計をやり直さずに済むんじゃないかなと思います。
道路の「何か不明な大きい塊」は考えるより先によけて、その正体や今後の対策は会社に着くまでの間に考える。どちらも同じ自分の頭で、使い分けているから、一日がちゃんと回っています。AIもたぶん、同じです。
参考
- ダニエル・カーネマン『ファスト＆スロー あなたの意思はどのように決まるか？』村井章子訳、早川書房（紀伊國屋書店）
