ヨンソクのブログ
戻る
4 min read
思考の牢獄(Cognitive Prison)
偏向
0:00 0:00

偏向

最近、判断を迫られる場面が増えた。頭の中であれこれ考え込んでしまい、判断が遅いタイプだ。
だから瞬間的な判断にはやや弱い方で、これを鍛えようと判断のプロセスを整理している。
おそらく判断に時間がかかる理由は、判断基準やそこに至る思考プロセスが確立されていないからだろう。 大抵、瞬間的な判断が必要な状況というのは、即座にアクションが求められる場面だ。 たとえば間違った注文のように、時間が経つともう対処できず、判断の遅れによるリスクを背負わなければならない場面がしばしばあった。面白いことに、逆に判断が遅れたおかげで無駄遣いを防げたケースもあった。

もうひとつの理由は、自分の判断が偏っていないかをセルフチェックする過程で時間がかかることだ。 軽い例でいえば、株の売買を判断するとき、専門のアナリストでもない自分が何かの考えに偏って判断していないか、 どの判断が正しいのか決めづらい。あるいは他人の悩みや社会的な問題についての話とか。そういった場面が思い浮かぶ。 最近はGPTとあれこれケースを検討すればある程度助けにはなるが、結局のところ判断の根拠を見つけやすくするツールに過ぎず、最終的に決断しなければならないことに変わりはない。依然として難しい。

なぜ大小さまざまな偏向からなかなか抜け出せないのか?脳科学を専攻したわけではないが、脳がそういう設計になっていないからだと思う。 そもそも選択や判断の大半は人間が作り出した選択肢の中で起きるものであり、判断のための完璧に理想的なマシンが存在しうるのかも疑問だ。 偏向が悪い現象というよりは、生存のための思考の柵から逸脱しないようにする羊飼いなのではないだろうか。

世界のすべての変数を考慮した完璧なシミュレーションが作れれば判断は容易だが、現実的には不可能だ。 複雑な世界を解釈するために、私たちは適当な変数と力学のパターンを探す。そしてそれらを媒介にした解釈可能なモデルを作る。 そうして適当な変数と力学が媒介する適当な物理エンジンの上で、確率的に妥当な判断という決定を下していく。

そのモデルの要素は個人ごと、状況ごと、時間ごとに異なるため、私たちはそれぞれ異なるモデルを持って関係に臨むことになる。

そうして構築された物理エンジンの中で、見たいように見て解釈すれば楽だ。しかしあくまでサンプリングされた物理エンジンに過ぎず、世界を完璧に説明はできない。 自分の世界に反するものに出くわしたとき、私たちは黙殺するか、誤った解釈を付与してしまうようだ。 しっかり定着した自分のモデルを再調整して新しい論理を与えるのは、コストが大きい。 もちろんだからといって、見たいものだけ見ることが悪いというわけではない。そもそも良し悪しの基準とは何か?それもまた結局は自分が解釈した基準に過ぎない。 一方で、自分の世界に反するアウトライヤーが必ずしも絶対的に正しいわけでもない。ときにはこうしたものが、自分だけがマトリックスの存在に気づいたかのような感覚を与えることもある。 結局はすべて自分のための各自の選択であり、各自の選択に責任を負うだけだ。

話が長くなったが、つまり重要なのは、何が正しく何が間違っているかという判断基準そのものよりも、 自分の偏向を認知できるメタ認知を育てることが大事だ、ということが言いたかった。

どこへどれだけ速く向かっているかも非常に重要だが、 方向が間違っていることをいかにうまく認知し、いかにうまく修正できるかも同様に重要だということだ。

その意味で、現時点で自分が持っている変数は何か、認知できていなかったものは何か、 どのような媒介が起きているかをもとに判断できることが大切だ。

そうした分析がうまく機能するとき、より強固な信念を持ってより速く前進できるのではないだろうか。 (もちろんそういったものが勘で働く場合もあるだろうが、勘というのは暗黙的なブラックボックスであるため、明示的な判断基準が必要だ。)

だから最近は自分自身をもう少し客観的に見ようと努めている。その延長線上で、判断にまつわるさまざまな問いを投げかけるうちにキーワードを見つけた。 正確にどの会話で出会ったかは覚えていないが、CIAのアナリストが受ける訓練に関する文書だった。

思考の牢獄

https://www.cia.gov/resources/csi/static/Pyschology-of-Intelligence-Analysis.pdf

No description available

https://www.cia.gov/resources/csi/static/Pyschology-of-Intelligence-Analysis.pdf

https://www.cia.gov/resources/csi/static/Tradecraft-Primer-apr09.pdf

No description available

https://www.cia.gov/resources/csi/static/Tradecraft-Primer-apr09.pdf

CIAで教育教材として使われている**Richard J. Heuer Jr.**の《Psychology of Intelligence Analysis》という本だ。 著者は、アナリストが現実を解釈する際に頭の中にすでに備わった「メンタルモデル」が牢獄のように機能し、新しい証拠を歪曲したり無視したりすると指摘している。 この根深い限界を「我々の精神機械の構造的欠陥」と呼び、分析失敗の第一の原因だとしている。

上の二つの文書には、私たちの思考がどのように展開されるか、どのような偏向をどう克服する訓練ができるかといった内容が含まれている。 読みはしたが整理しようとすると長くなりそうだったので、notebookLMにポッドキャストを依頼した。以下の二つのファイルが上記内容の概括的な要約だ。

Psychology of Intelligence Analysis
0:00 0:00
情報分析改善のための構造化分析技法
0:00 0:00

本の内容は以上の通りで、加えてどのような偏向が論じられているかを整理してみた。

CIA '思考の牢獄'と主要な認知バイアス(Cognitive Biases)まとめ

ChatGPT helps you get answers, find inspiration, and be more productive.

https://chatgpt.com/s/dr_6831906cbcac8191bacd46afdf743b4c
CIA '思考の牢獄'と主要な認知バイアス(Cognitive Biases)まとめ

本書で言及される主要な偏向は以下の通りだ。

  1. Expectations(予期バイアス)
  2. Resistance(既存信念維持バイアス)
  3. Ambiguities(曖昧さの第一印象バイアス)
  4. Consistency(一貫性過信バイアス)
  5. Missing Information(欠落情報バイアス)
  6. Discredited Evidence(否定された証拠の持続バイアス)
  7. Availability(利用可能性バイアス)
  8. Anchoring(アンカリング)
  9. Overconfidence(過信バイアス)
  10. Rationality Assumption(過度な合理性仮定)
  11. Attribution Bias(根本的帰属の誤り&ミラーバイアス)

これらの偏向はもちろん訓練で克服できるが、今の時代にはもっと便利な方法がありそうだと思い、 AIを活用してみることにした。 いわば専属アナリストのような感覚だ。

上記の会話をもとに、GPTの機能のひとつであるプロジェクト用事前指示を作ってもらった。

Project Instructions
**ChatGPT Project Instruction - "CIA Cognitive-Bias Interactive Reviewer"**

---

## Purpose

Create an interactive assistant that automatically checks and corrects the 11 'cognitive prison' cognitive biases defined by the CIA Sherman Kent School whenever users share ideas, hypotheses, or judgments.

---

## Cognitive Bias Catalog

(Each item described only with *heading + bullet*)

### 1. Expectations

- Easily perceive only information that matches initial expectations/scenarios
- Undervalue contradictory information even with strong evidence

### 2. Resistance

- Existing mindset resists new evidence → modifies thinking slowly/minimally

### 3. Ambiguities

- If first exposure is unclear, cling to initial interpretation even when clarified later

### 4. Consistency

- Illusion of "certainty" with only a few pieces of consistent information

### 5. Missing Information

- Unable to evaluate meaning of "absence of evidence" and just ignore it

### 6. Discredited Evidence

- Impressions created by evidence proven false persist to the end

### 7. Availability

- If easily recalled, assume actual frequency/probability is also high

### 8. Anchoring

- Cling to initial numbers/judgments and under-adjust subsequent modifications

### 9. Overconfidence

- Confidence exceeds actual accuracy

### 10. Rationality Assumption

- Think others are as consistent and rational as us

### 11. Attribution Bias (Fundamental Attribution + Mirror Bias)

- Interpret others' behavior as disposition, our behavior as situational
- Assume others think and prioritize like us

---

## Response Rules (One Conversation Analysis Output)

### Heading Arrangement

1. **Relevant Biases** - Listed in order of *highest priority*
2. **Not Relevant Biases** - Biases not revealed in this input with brief reasons
3. **(Optional) No Obvious CIA Bias Detected** - When no relevant biases at all

### Bias Section Format

"""

### Anchoring

**Why Suspected**

- …
  **Check Questions**
- …
  **Verification Actions**
- …
  """

_No tables, numbered lists, or long narratives._

### Required Elements

- **Why Suspected**: 1-2 lines of bias clues from user's statement
- **Check Questions**: 2-3 questions for user to self-review/refute
- **Verification Actions**: 1-3 actionable behaviors (data collection/comparison/Peer Review, etc.)
- **Not Relevant** section: One line per bias "Not revealed in this input because of ○○"

### Priority Assessment Guide

- Direct conflict with core logic → **High**
- Auxiliary information or speculation level → **Medium**
- No clues → **Not Applicable**

---

## Conversation Flow Logic

1. **Statement Summary** - Internally identify key claims/assumptions/numbers
2. **Bias Scan** - Compare 11 biases with statement, classify as Relevant/Not Relevant
3. **Priority Sorting** - Sort Relevant Biases by evidence strength/impact
4. **Heading-Bullet Output** - Write according to rules
5. **Reassess Follow-up Input**
   - If user shares **additional evidence/action results**
     ‣ **Rescan** bias list
     ‣ Update whether each bias is **mitigated/worsened/newly occurred**
     ‣ Explain change reasons in "Why Suspected"

---

## Prohibitions

- No mention of heuristics outside CIA 11 biases (framing, sunk-cost, etc.)
- No definitive assertions or accusatory tone
- No tables, numbered lists, or long paragraphs

---

## One Line to Remember

> "The output of this instruction is *a list of questions and actions* — the user verifies the answers themselves."

こうして作っておいて、判断が必要なときにトレーニングデータを作る用途で使っている。たとえばこんな風に回答してくれる。

点検質問と検証アクションを提示するようにしてあるので目を通すのだが、思いのほか荒唐無稽ではなく、考えもしなかったことに気づかせてくれる。

つまり

AI時代を迎え、情報へのアクセスはもはや壁と呼べるものがないほど崩れたが、その分汚染された情報も溢れ出ている。

上の画像は一部合成ではなく、すべて生成されたものだ。ここまで来ると韓国のどこかのカフェだと信じないだろうか?
今では映像もうまく作ってくれる

この記事を書くにあたって参考にしたChatGPTの調査内容も、全部嘘かもしれない。だからこそ、偏向に確信を乗せてしまう確率はますます高まる。 私たちの速度はどんどん加速している。だからこそ、賢明な判断のために自分自身を改めて認知する必要があると思う。
そうしていけば、どこへ向かっているのかという問いへの答えも、自然と見えてくるのではないだろうか。

Do not go gentle into that good night
Old age should burn and rave at close of day
Rage, rage against the dying of the light.

Reference