Chance
予測できるほど、エントロピーは小さい
常に表が出るコインは情報をほとんど持ちません。50/50 のコインは毎回少しずつ驚きを持ち、エントロピーが最大になります。
Entropy / Information / Microstates / Second Law / Black Hole
エントロピーとは、
何がどれだけあり得るか
エントロピーは、ただの「乱雑さ」ではありません。もっと正確には、どれだけ多くの結果や状態があり得るかを測る量です。 コインの表裏なら予測できるほど小さく、50/50 に近いほど大きい。気体やインクでは、あり得る配置の数が多いほど大きい。 そしてカオスでは情報の増え方になり、ブラックホールでは地平線の面積にまでつながります。
- 予測できる結果ほどエントロピーは小さく、予測しにくい結果ほど大きい
- 物理では「あり得る微視的状態の数」がエントロピーの本体になる
- 第二法則、KS エントロピー、ブラックホール面積則は同じ根から伸びている
States
本質は「何通りあり得るか」
散らかった部屋が本質なのではなく、配置の自由度が膨大だということが本体です。状態数の多さがエントロピーです。
Gravity
極限では地平線の面積につながる
ブラックホールではエントロピーが体積ではなく面積に比例します。情報が境界に刻まれているように見えるからです。
Core Idea
エントロピー = どれだけ可能なパターンがあるか。
不確実さ、情報量、状態数という言い方は、実は同じ根を別の文脈で見ているだけです。何通りあり得るかが増えるほど、結果は読みづらくなり、情報の必要量も増えます。
Intuition
まずはコインで直感をつかむ
エントロピーを一番短く感じる方法は、コインの表裏です。結果が決まりきっているなら驚きはなく、半々なら毎回少しずつ情報が入ります。ここでは「乱雑さ」よりも「予測しにくさ」で見た方が分かりやすくなります。
Certain Coin
常に表なら、情報はほぼ 0
結果が最初から分かっていると、何回投げても新しい情報は入りません。エントロピーは 0 です。
Fair Coin
50/50 なら、毎回少し驚く
公平なコインでは結果が読めません。だから 1 回ごとに約 1 bit の情報が入り、エントロピーも最大になります。
Surprise
珍しい出来事ほど情報量が大きい
ほぼ確実な出来事は知っても驚きません。めったに起きない出来事ほど「そんなことが起きたのか」という情報量が大きくなります。
Not Messy
「散らかり」より「自由度」で見る
部屋が散らかっているのは、ただ見た目の比喩です。物理の本質は、配置や状態の可能性がどれだけ多いかにあります。
Shannon
H = -Σ pi log2 pi
シャノンエントロピーは、起こりうる結果の平均的な「驚き」を表します。
Certain
H(1, 0) = 0 bit
結果が完全に決まっているなら、次に何が起きても予想どおりなので情報は増えません。
Fair
H(1/2, 1/2) = 1 bit
2 通りが同じ確率なら、1 回の観測でちょうど 1 bit 分の不確実さが解消されます。
Information
情報量・状態数・圧縮はどうつながるか
エントロピーは情報理論の量であると同時に、物理の状態数でもあります。どちらも「区別しなければならない可能性がどれだけあるか」という問いを別の言葉で書いているだけです。
Pattern Count
サイコロが 6 通りあるなら、選択肢も 6 通り
どの目が出るかが本当に 6 通りあるなら、その分だけ結果を区別する必要があります。常に 1 が出るなら、その必要はありません。
Average Surprise
エントロピーは平均の驚き
1 回ごとの驚きは出来事ごとに違いますが、平均すると「どれくらい情報を受け取る系か」が分かります。
Compression
予測しやすい列ほど短く書ける
同じ文字ばかりの列は強く圧縮できます。多様な並びが出る列は、短くまとめる余地が少なく、エントロピーが高いと言えます。
Microstates
物理では「見えない細部の数」になる
気体の温度や圧力が同じでも、分子の位置と速度の組み合わせは無数にあります。その微視的状態数がエントロピーです。
Surprisal
I(x) = -log2 p(x)
珍しい出来事ほど大きい値になります。驚きの平均を取るとシャノンエントロピーです。
Boltzmann
S = kB log Ω
Ω はあり得る微視的状態の数です。物理のエントロピーは、その桁の大きさをログで測っています。
One Sentence
情報量 = 区別すべき可能性の多さ
情報理論の H も熱力学の S も、「何通りを区別する必要があるか」という問いに答えています。
Second Law
なぜ自然には増えるように見えるのか
インクが広がるのは「広がる命令」があるからではありません。広がった配置の方が、集中した配置よりも圧倒的に数が多いからです。第二法則の本体は、命令ではなく統計です。
Diffusion
インクが広がるのは、広がった状態が普通だから
一点に集まったままの配置は極端に少なく、広く散った配置は天文学的に多い。自然は多数派の側へ流れます。
Statistical Law
第二法則は統計的な法則
理論上は逆向きもあり得ますが、確率があまりに小さいため、実際にはまず見えません。だから「増える」と見えるのです。
Time Arrow
時間の矢は初期条件の特別さに支えられる
基本法則は時間反転に近い対称性を持つのに、現実では未来に向かってエントロピーが増える。そこには宇宙の低エントロピー初期条件が関わります。
Coarse View
粗く見ると「情報が失われた」ように見える
細部を全部追わずに平均量だけで見ると、元の細かな情報は見えなくなります。これが散逸や不可逆性の見え方を作ります。
State Count
集中した状態 ≪≪ 広がった状態
本当に重要なのは、広がった側の方が圧倒的にたくさんあるという「数の差」です。
Log Scale
S = log(状態数)
状態数は巨大なので、そのままでは扱いにくく、ログを取って比較するのが自然です。
Reverse Process
逆向きは理論上あり得ても、確率は極端に小さい
第二法則は「絶対に逆転しない」という命令ではなく、ほぼ確実に起きないという統計的主張です。
Chaos
カオスでは、情報はどの速さで増えるのか
カオスでは初期値の差が指数的に広がるため、未来を言い当てるにはどんどん多くの桁が必要になります。その「情報生成の速さ」を測るのが KS エントロピーです。
Sensitivity
わずかな差が指数的に増える
初期値のほんの小さな違いが時間とともに広がるので、予測に必要な精度が急速に厳しくなります。
KS Entropy
KS エントロピーは「情報生成率」
単位時間あたりに何 bit ぶん未来予測が難しくなるか、という見方ができます。カオスの強さを表す尺度です。
Lyapunov
Lyapunov 指数と深く結びつく
滑らかな力学系では、KS エントロピーは正の Lyapunov 指数の和と結びつきます。誤差の増え方と情報の増え方が同じ根を持つわけです。
Predictability
予測可能時間には限界がある
測定誤差をいくら小さくしても、指数的な広がりがあるなら、十分先の未来は読み切れません。ここでエントロピーが現実の予測限界に変わります。
Separation
δx(t) ≈ δx(0)eλt
Lyapunov 指数 λ が正なら、初期誤差は指数的に広がります。
KS
hKS ≈ Σ λi+
滑らかな双曲系では、情報生成率と正の Lyapunov 指数の和が対応します。
Predictability Horizon
tpred ∼ (1 / λ) log(L / δ0)
初期誤差 δ0 があっても、ある時間を過ぎると誤差が系の大きさ L に達し、予測は崩れます。
Black Hole
ブラックホールでは、なぜ面積がエントロピーになるのか
ブラックホールではエントロピーが体積ではなく事象の地平線の面積に比例します。外から見えない内部情報が境界に圧縮されているように見えるからです。ここからホログラフィーと情報パラドックスが始まります。
Area Law
ブラックホールのエントロピーは面積比例
普通の物体では体積とともに自由度が増えるのに、ブラックホールでは地平線の面積が情報量を決めます。
Hidden Information
外から見える量は少ないのに、内部状態は膨大
質量・電荷・回転だけでは、何が落ち込んだかまでは分かりません。見えない細部の多さがエントロピーです。
Page Curve
情報は消えるのではなく、遅れて戻ると考えられている
初期のホーキング放射は熱的に見えても、後半には微妙な相関が効いてページ曲線が折り返す。現在はこの像が有力です。
Holography
宇宙の情報は境界に書けるかもしれない
ブラックホールの面積則は、3 次元の情報が 2 次元の境界に記述できるというホログラフィー原理の手がかりです。
Bekenstein-Hawking
S = kBc3A / 4Gℏ
事象の地平線の面積 A が、ブラックホールのエントロピーを決めます。
Area
A ∝ rs2
半径が大きいほど地平線面積も増え、隠せる情報量も急増します。
One Line
ブラックホールは情報を消すのでなく、極限まで混ぜる
今の有力な理解では、情報は失われるのではなく、極端に取り出しにくい形へスクランブルされます。
Interactive Diagram
4 つの視点でエントロピーを切り替える
コインの不確実さ、粒子の拡散、カオスの情報生成、ブラックホールの面積則を 1 枚のキャンバスで切り替えます。厳密な数値実験ではなく、エントロピーが文脈ごとにどう姿を変えるかを掴むための模式図です。
注意: ここでの図は概念をつかむための模式図です。厳密な統計力学や量子重力の計算をそのまま描いているわけではありません。
コインモードでは、確率の偏りを変えたときにシャノンエントロピーがどう変わるかを見てください。
Next Reads
エントロピーから別のページへ広げる
エントロピーを理解すると、統計、散逸、カオス、ブラックホールの話が一つながりに見えてきます。ここから先は測定のゆらぎ、摩擦、Lyapunov 指数、情報パラドックスへ伸ばすと自然です。
Statistics
ゆらぎを統計で読む
確率分布、平均、標準偏差、誤差解析を学ぶと、エントロピーの「不確実さ」が測定データの側から見えてきます。
統計のページへDissipation
摩擦と熱化を読む
秩序だった運動が乱雑な熱運動へ崩れるという点では、摩擦とエントロピー増大はほぼ同じ骨格を持っています。
摩擦力のページへChaos
Lyapunov 指数と予測限界へ進む
KS エントロピーの感覚をもう少し数理へ寄せたいなら、誤差の広がる速さとしての Lyapunov 指数が最短ルートです。
Lyapunov指数へGravity
ブラックホールの情報問題へ
面積則、ホログラフィー、ページ曲線、情報パラドックスは、エントロピーが最も深い姿で現れる場所の一つです。
ブラックホールへ