Глава 5. Энтропия Шеннона

Где стоит глава

Комбинаторика считала различения (Глава 1), вероятность распределяла их (Глава 3), марковский процесс перемешивал (Глава 4). Энтропия Шеннона их измеряет: это количественная мера актов различения — центральная нить части.

Флагман: информация есть количество актов различения, а энтропия Шеннона — единственная мера различений, совместимая с аддитивностью независимого объединения и нормировкой $H(2)=1$, на диадическом/мультипликативном Element-ядре (M1). Это ядро машинно подкреплено; полная аксиоматика Шеннона–Кинчина (с дополнительными регулярностными условиями) и недиадическое продолжение — на стороне предела-роли.

Энтропия $H=-{\sum }_i{p}_i\log p_i$. Глава ведёт от «энтропии как счёта различений» через меры связи (взаимная информация, KL, cross-entropy) к теореме единственности M1 и закрывается границей финитизации: диадическое точно (Element), иррациональное (трит) есть предел-роль, и принцип Ландауэра связывает информацию с физикой.

Энтропия как количество различений

В основе — тождество счёта. Различить один из $2^n$ равновероятных исходов — значит задать $n$ двоичных вопросов; число конфигураций есть $2^n$, а энтропия — ровно $n$ бит, то есть $n$ актов различения¹. Это придаёт энтропии прямой ToS-смысл: она не «о беспорядке», а о числе различений, нужных, чтобы указать исход.

Отсюда сразу два структурных свойства. Число конфигураций мультипликативно по независимым системам ($2^{n+m}=2^n\cdot 2^m$), а энтропия — аддитивна ($n+m$ бит на пару независимых)². Информационное содержание одного исхода (при $p>0$) есть $-\log p$, и достоверный исход ($p=1$) несёт ноль информации³ — ничего не различает тот, кто уже знает.

Меры связи: взаимная информация, KL, cross-entropy

Над энтропией строится семейство мер связи, и все они — структурные тождества над ℚ (с абстрактным $\log$ как параметром: для этих тождеств достаточно логарифмического символа и алгебры разностей энтропий): взаимная информация $I(X;Y)=H(X)+H(Y)-H(X,Y)$ симметрична; расхождение Кульбака–Лейблера обращается в нуль на совпадающих распределениях; перекрёстная энтропия совпадает с энтропией на самом себе; работает цепное правило⁴. Эти тождества — правила того, как различения связываются между системами: сколько различений общего, сколько избыточно. Машинно закрыты именно тождества; неравенства (неотрицательность $D_{KL}\ge 0$ по Гиббсу, вогнутость энтропии) и предельные свойства потребовали бы дополнительных свойств логарифма (монотонность, вогнутость) и лежат за этим Element-слоем.

M1: энтропия — единственная мера

Почему именно $-\sum p_i\log p_i$, а не иная формула? Мотив M1: на мультипликативной решётке эта мера единственна среди удовлетворяющих аддитивности и нормировке. Это Element-ядро единственности машинно закрыто; полная аксиоматика Шеннона–Кинчина (с регулярностными условиями) шире — см. конец раздела.

{ Возьмём меру $f$ на «$n$ равновероятных исходов», аддитивную по независимому объединению ($f(mn)=f(m)+f(n)$) и нормированную честной монетой ($f(2)=1$). Тогда она вынуждена совпасть с ${\log }_2$ на всей мультипликативной решётке: $f(2^k)=k$, и вообще $f(b^k)=kf(b)$ — доказано, и любые две такие меры совпадают на диадической решётке⁵.}

Аддитивность — та же, что у счёта различений (Раздел 5.2): информация независимых систем складывается. Она и вынуждает логарифм — единственную функцию, переводящую умножение конфигураций в сложение различений.

Полная единственность — на всех $n$, не только на решётке — требует монотонности, и тут вступает граница финитизации (следующий раздел): монотонность зажимает недиадические значения в сужающийся интервал, пиннящий их к иррациональному пределу. Полная реально-аналитическая теорема (через непрерывность) остаётся горизонтом; Element-ядро M1 закрыто.

Диадическое — Element, иррациональное — предел-роль; Ландауэр

Где энтропия переходит границу финитизации? По разрешимости логарифма. Диадический случай точен: ${\log }_2{2}^k=k$ — конечная битовая длина, Element. Тритовый — нет: ${\log }_{2}3$ иррационален, у него нет конечного битового представления, это предел-роль⁶. Та же мера зажима, что в M1: монотонность пиннит ${\log }_{2}3$ сужающимся ℚ-процессом — мера-как-процесс, не завершённое число.

И энтропия связывается с физикой: принцип Ландауэра — стирание одного бита имеет энергетическую цену, в физических единицах $kT\ln 2$⁷. Информация — не абстракция: акт различения имеет энергетическую цену, и это связывает часть с Томом III.

E/R/R-разбор: энтропия как система

Разберём по E/R/R в порождающем порядке Rules $\to$ Roles $\to$ Elements.

Rules (L5). Удерживающие правила — аксиомы меры информации: аддитивность по независимому объединению, нормировка, неотрицательность; из них M1 вынуждает форму $-\sum p\log p$. Информация — величина, структурированная логарифмическим Правилом: правилом, переводящим умножение конфигураций в сложение мер.

Roles (L4). Энтропия — роль-мера неопределённости; взаимная информация, KL, cross-entropy — роли связей между системами; диадическое значение — Element-роль (точные биты), иррациональное — role-limit-роль (процесс).

Elements (L1 + P4). Носители — конечные распределения над ℚ, конкретные числа конфигураций $2^n$, диадические длины. Под P4 актуальны они; истинный ${\log }_2$ недиадического (трит) и полная реально-аналитическая мера — предел-роль, не завершённые объекты.

Проверка сформированности. Аксиомы меры и M1 — Rules; энтропия и меры связи — Roles; конечные распределения и диадические длины — Elements; пересечений нет. Самоприменения нет: аксиомы меры стоят над распределениями.

Что даёт разбор. Он раскрывает флагман: энтропия — количество актов различения, и она единственна (M1) именно потому, что логарифм — единственная функция, переводящая мультипликативность конфигураций в аддитивность меры. И он называет границу: диадическое точно (Element), иррациональное — предел-роль; та же граница финитизации, теперь в самой мере информации.

Шенноновская мера — статистическая: она о распределении. В следующей главе появляется вторая мера информации — алгоритмическая, колмогоровская: о конкретной строке, — и мы наведём мост между двумя мерами на двух сторонах границы.

---

---

Часть: Часть XVII. Дискретная математика, вероятность, информация · Том: «Математика»

Навигация: ← Глава 4. Случайные процессы и марковские цепи · Глава 6. Колмогоровская сложность и алгоритмическая информация →

Footnotes

1. entropy_count_is_definitional (в EntropyCountDefinitional): config_count $n=2^n$, entropy_bits $n=n$, и $2^{\mathtt{entrop}{\mathtt{y}}_{\mathtt{b}}\mathtt{its}n}=\mathtt{confi}{\mathtt{g}}_{\mathtt{c}}\mathtt{ount}n$ — энтропия есть ${\log }_2$ числа конфигураций по определению счёта. Машинно проверено, 0 аксиом. ↩

2. W_multiplicative и entropy_additive: число конфигураций мультипликативно, энтропия аддитивна по независимому объединению. Машинно проверено, 0 аксиом. ↩

3. info_content $p=-\log p$ (определено при $p>0$); info_content_certain: $-\log 1=0$. Нулевая вероятность — граничный, исключаемый случай (содержание неограниченно), а не конечное Element-содержание. Машинно проверено, 0 аксиом. ↩

4. mutual_info ($=H_x+H_y-H_{xy}$, mutual_info_symmetric), kl_divergence (kl_divergence_self_zero — именно само-нуль $D_{KL}(p\Vert p)=0$), cross_entropy (cross_entropy_self_eq_entropy), chain_rule_entropy, mutual_info_via_cond (в InformationTheory). Машинно проверено, 0 аксиом. ↩

5. f_two_pow ($f(2^k)=k$), f_pow_self ($f(b^k)=kf(b)$), uniqueness_dyadic (любые две аддитивно-нормированные меры совпадают на $2^k$), свод shannon_measure_M1 (в ShannonUniqueness). Машинно проверено, 0 аксиом. ↩

6. ShannonSynthesis: диадическое ($2^k$) есть Element (точная длина $k$ бит), тритовое (${\log }_{2}3$) есть role-limit (иррационально); опора на DyadicBits (log2_3_irrational). Что до пика бинарной энтропии на $\frac{1}{2}$: машинно закрыта рациональная Падэ-сурогатная мера $S_2$ (S2_peaks_34, S2_peaks_13: в точках $\frac{3}{4}$ и $\frac{1}{3}$ строго ниже, чем $S_2(\frac{1}{2})=\frac{2}{3}$) — проверка в выборочных точках для $S_2$, не универсальный максимум и не непрерывная энтропия Шеннона (её вогнутость — горизонт). Машинно проверено, 0 аксиом. ↩

7. LandauerConnection: машинно закрыта структура пропорциональности цены стирания — $\mathtt{landaue}{\mathtt{r}}_{\mathtt{c}}\mathtt{ost}Tb=T\cdot b$ (цена $ProptoT$, $Propto$ числу битов, ноль при $T=0$; landauer_connection_synthesis); множитель $k\ln 2$ поглощён в натуральные единицы. Это структурный/символический закон связи информации и энергии, а не полная термодинамическая модель — мост к Тому III. Машинно проверено, 0 аксиом. ↩