zharkevich.ru
Клод Шеннон: жонглёр на моноцикле

Клод Шеннон: жонглёр на моноцикле

· 19 мин чтения

«Я всё это делаю не потому, что надеюсь, что из этого выйдет какая-то польза. Мне просто интересно».

Это сказал человек, благодаря которому работает телефон, интернет, банковские карты, любое цифровое радио в мире, передача данных со спутников, любые видео в стриминге и каждая дисковая операция на вашем компьютере. Без него индустрии в том виде, в каком она сейчас существует, просто бы не было.

При этом, если вы спросите случайного прохожего, кто такой Эйнштейн, он скорее всего ответит. Если спросите, кто такой Тьюринг, большинство тоже вспомнит. А если спросите, кто такой Клод Шеннон, люди пожмут плечами и переспросят: «Это ещё кто такой?»

Это особый вид несправедливости. Шеннон стоит вровень с самыми крупными умами XX века, но публика про него почти не слышала. Биограф Джимми Сони, выпустивший в 2017 году книгу A Mind at Play, назвал его «самым важным гением, о котором вы никогда не слышали, с интеллектом уровня Эйнштейна и Ньютона».

В этом посте я расскажу о мальчике из крошечного городка в Мичигане, у которого в четырнадцать лет уже была собственная телеграфная линия из колючей проволоки. О магистранте, в 21 год, написавшем работу, без которой не было бы ни одного процессора в мире. О военных годах в Bell Labs, где он шифровал разговоры Рузвельта и Черчилля и обедал с Аланом Тьюрингом. О том, как в 1948 году он в одиночку вывел теорию информации и подарил миру слово «бит». О мышонке Тесее, моноцикле, жонглировании и носимом компьютере для рулетки в Лас-Вегасе. О жене Бетти, которая паяла с ним реле и редактировала его статьи. И о том, как болезнь Альцгеймера тихо стёрла из памяти Шеннона ту цифровую революцию, которую он сам же и сделал возможной.

1. Гэйлорд, Мичиган

Клод Элвуд Шеннон родился 30 апреля 1916 года в Петоски, штат Мичиган, а вырос в соседнем городке Гэйлорд — городе с населением в три тысячи человек, в тех местах, где зимой замерзает озеро Отсего и куда летом приезжают рыбаки за окунем.

Его отец работал в местном суде и был, как тогда говорили, «деловым человеком». Мать преподавала иностранные языки в школе. Из родственников рядом жил двоюродный дядя Эдвин Шеннон, который держал в городке мастерскую и был любителем мастерить разные диковины. В дальних родственниках Шеннона по матери был Томас Эдисон, и в семье об этом не упускали случая упомянуть.

С раннего детства Клод что-то собирал и разбирал. К двенадцати годам он смастерил радиоприёмник, который стоял у него в комнате. К четырнадцати построил между своим домом и домом приятеля телеграфную линию длиной около километра. Линия была сделана из колючей проволоки от соседского забора (это была плохая идея с точки зрения соседа, но прекрасная — с точки зрения двух подростков, желавших общаться азбукой Морзе). Принимающий аппарат стоял в сарае.

Соседи смотрели на это снисходительно. Гэйлорд был тихим городом, где никто не ждал от обычного подростка гениальных открытий. Когда Клод после школы устроился на лето курьером в Western Union, доставляя телеграммы, никто и не подумал, что меньше чем через двадцать лет этот мальчик переизобретёт само понятие «телеграммы» в виде абстрактной математической величины.

В 1932 году, в шестнадцать лет, Шеннон поступил в Мичиганский университет. Он защитил там сразу два бакалаврских диплома — по электротехнике и по математике — оба в 1936 году. Двойное образование, инженерное и математическое, окажется решающим для всего, что Шеннон сделает дальше.

2. Кембридж 1937: самая важная магистерская работа в истории

Окончив Мичиган, Шеннон поехал в Массачусетский технологический институт. Туда его взяли на должность ассистента при необычной машине — дифференциальном анализаторе Ванневара Буша. Это был аналоговый компьютер размером с комнату, придуманный для решения дифференциальных уравнений. Он состоял из тысяч шестерён, валов, реле и переключателей. Управление им было настоящим искусством: люди настраивали его вручную, выставляя положения механических элементов перед каждым новым расчётом.

Шеннону, двадцатилетнему ассистенту, поручили обслуживать электрическую часть машины — реле. И именно здесь, глядя на эти реле и переключатели, он увидел то, на что никто до него не обращал внимания.

Он заметил, что цепи из реле, которые либо замкнуты (1), либо разомкнуты (0), на самом деле подчиняются законам, открытым в 1854 году английским математиком Джорджем Булем. Булева алгебра — это математика, оперирующая только двумя значениями, истиной и ложью, и операциями над ними: И, ИЛИ, НЕ. Долгое время Буль и его последователи считали это абстрактным разделом логики, далёким от практических применений. Но Шеннон увидел, что у этих абстрактных операций есть прямой физический аналог в виде последовательного и параллельного соединения переключателей.

Из этой мысли вырастает вся современная цифровая техника. Любая логическая операция — это комбинация переключателей. Любой расчёт — это последовательность логических операций. Значит, любую вычислительную задачу можно свести к схеме из реле, которые либо замкнуты, либо разомкнуты. Никаких аналоговых валов и шестерён больше не нужно. Достаточно «да» и «нет».

В 1937 году, в возрасте двадцати одного года, Шеннон оформил эту мысль как магистерскую диссертацию: «A Symbolic Analysis of Relay and Switching Circuits» — «Символический анализ релейных и переключательных схем». Через год работа вышла в Transactions of the American Institute of Electrical Engineers и получила премию Альфреда Нобеля (не та Нобелевская, а отдельная инженерная награда, тоже именная). Психолог Говард Гарднер позже назвал эту магистерскую «вероятно, самой важной и самой замеченной магистерской работой за всё столетие».

И это не преувеличение. Сегодня каждый процессор, каждая микросхема памяти, каждое устройство, использующее цифровые сигналы, работает по той самой логике, которую двадцатиоднолетний Шеннон описал на нескольких страницах в кембриджской комнате 1937 года. Включая тот компьютер или телефон, на котором вы читаете этот текст.

3. Бункер на Манхэттене и встреча с Тьюрингом

Шеннон защитил докторскую в MIT в 1940 году. Тема — приложение алгебры к генетике (он не остановился на одной области, его интересовало всё). Сразу после защиты его взяли в Bell Telephone Laboratories в Нью-Йорке, тогдашнее частное королевство Bell System, где работали лучшие инженеры и физики Америки.

Шла Вторая мировая. Шеннона определили в группу, занимавшуюся управлением артиллерийским огнём с радаров и криптографической защитой телефонной связи. Главным его проектом стала система SIGSALY — аппаратура для зашифрованных телефонных разговоров между Уинстоном Черчиллем и Франклином Рузвельтом.

SIGSALY была чудовищной машиной — пятьдесят пять тонн оборудования, две комнаты, мощность 30 киловатт. Она использовала систему одноразовых блокнотов в виде записанных на грампластинки случайных шумов. А математическую основу её защиты разработал именно Шеннон. К концу войны эти размышления оформились в отдельную работу — «Communication Theory of Secrecy Systems» (опубликована в 1949-м, написана в 1945-м), — которая до сих пор считается первой формальной работой по математической криптографии. Многие современные книги по шифрам начинаются с цитаты из неё.

В январе 1943 года в нью-йоркскую лабораторию Bell приехал гость из Великобритании — Алан Тьюринг. Его официально командировали в Bell для обмена опытом по криптографии. Тьюринг и Шеннон обедали вместе несколько недель подряд. О чём они говорили, точно никто не знает: разговоры о шифровании держались в секрете. Но известно, что в это самое время Тьюринг рассказал Шеннону про свою довоенную работу по машинам, способным вычислить всё, что в принципе вычислимо. А Шеннон, в свою очередь, делился с Тьюрингом своей идеей о том, что любую информацию можно измерить количественно.

Два человека, которые через два десятка лет определят весь облик цифровой эпохи, обсуждали её, попивая кофе, в 1943-м, во время войны. Один — британский математик, который через одиннадцать лет умрёт при невыясненных обстоятельствах в возрасте сорока одного года. Другой — американский интроверт-инженер, который переедет в дом на берегу озера и будет до конца жизни возиться с механическими игрушками. В тот момент они просто работали над общей задачей и были интересны друг другу.

4. 1948: год, когда родилась информация

После войны Шеннон вернулся к работе над вопросом, ответ на который в индустрии связи искали уже лет двадцать: как точно описать, что такое информация, и каков теоретический предел того, сколько её можно передать по проводу или радио?

Для Bell Labs этот вопрос был совсем не теоретическим. Компания была фактическим монополистом телефонной связи в США. Любое улучшение в передаче сигнала — больше разговоров через тот же кабель, меньше шумов на междугородной линии, бо́льшая дальность по одному проводу — означало для неё дополнительную выручку. Но никакого формального определения «количества информации» в литературе не существовало. Люди говорили о «качестве сигнала», о «шуме», о «полосе пропускания», но между этими понятиями не было общего знаменателя.

В июле и октябре 1948 года в Bell System Technical Journal появилась статья в двух частях: «A Mathematical Theory of Communication» — «Математическая теория связи». 79 страниц. Один автор: Claude E. Shannon.

В этой статье Шеннон сделал то, чего не делал никто:

Во-первых, он определил информацию как математическую величину. Если у вас есть сообщение, которое может быть одним из N равновероятных вариантов, количество информации в нём — это log2(N) бит. То есть выбор между двумя равновероятными вариантами — это 1 бит информации. Между четырьмя — 2 бита. Между восемью — 3. Это не вопрос мнения, это математика.

Во-вторых, он ввёл в науку слово «бит». В самой статье Шеннон скромно отдаёт авторство своему коллеге по Bell Labs Джону Тьюки (John W. Tukey), который в служебной записке 1946 года предложил сократить «binary digit» до «bit». Но именно Шеннон сделал это слово единицей измерения. С 1948 года и до конца времён бит — это минимальная единица информации, и слово это никогда уже не вернётся к своему дотехническому смыслу («кусочек»).

В-третьих, он определил энтропию источника. Энтропия — это, по Шеннону, мера непредсказуемости. Если источник всегда выдаёт одну и ту же букву «А», его энтропия равна нулю — мы заранее знаем, что он скажет, информации в его сообщениях ноль. Если источник равновероятно выдаёт одну из 26 букв алфавита, его энтропия максимальна, log2(26) ≈ 4,7 бита на символ. Реальный английский язык, как показал Шеннон, имеет энтропию около 1,1 бита на букву: предсказуемости в нём много, потому что после «q» почти всегда идёт «u», а гласные следуют за согласными по предсказуемой схеме.

В-четвёртых — и это самое потрясающее, — он доказал теорему о кодировании для канала с шумом. У любого канала связи есть максимальная пропускная способность (по-английски Shannon limit, по-русски «предел Шеннона») — максимум бит в секунду, который через него можно передать без ошибок, при условии достаточно умного кодирования. До этой границы можно достичь сколь угодно низкого уровня ошибок. Перешагнуть её невозможно никаким алгоритмом, никаким количеством оборудования. Это закон природы, как скорость света.

И самое поразительное: Шеннон показал, что к этому пределу можно подойти сколь угодно близко, если применять достаточно сложное кодирование. Он не дал алгоритма (это сделают другие за последующие пятьдесят лет, и каждое продвижение к пределу Шеннона будет научным событием — алгоритмы Хэмминга, коды Рида–Соломона, турбокоды, LDPC). Но он доказал, что предел существует, и в принципе достижим.

Это переменило всё. С этого момента у инженеров связи появился чёткий ориентир — теоретический потолок канала, к которому имеет смысл стремиться, и понимание, что выше этого потолка прыгнуть нельзя ни при каких ухищрениях. Все современные модемы, Wi-Fi-стандарты, протоколы спутниковой связи, цифровое радио, оптоволоконные системы появились в ходе попыток подобраться к пределу Шеннона. Один человек одной статьёй в 1948 году задал всей индустрии цель на следующие сто лет.

Историк науки Джеймс Глик, написавший «Хаос» и биографию Фейнмана, поставил статью Шеннона на первое место среди событий 1948 года. На втором месте у Глика — публичная презентация транзистора, состоявшаяся 30 июня 1948 года в тех же Bell Labs (сам прибор был изобретён Бардином, Браттейном и Шокли несколькими месяцами раньше, 16 декабря 1947-го). Однако Шеннон, по Глику, «глубже и фундаментальнее», чем транзистор.

Журнал Scientific American назвал работу Шеннона «Великой хартией информационной эпохи» (Magna Carta — английская «Великая хартия вольностей» 1215 года, документ, заложивший основы конституционного права; в современном английском это идиома, обозначающая фундаментальный, учредительный текст какой-нибудь области). Это не преувеличение.

5. Машины для радости

Если бы Шеннон ограничился вышеперечисленным, он бы остался в истории как сухарь-математик, спрятавшийся за формулами. Реальный Шеннон был совсем другой.

С самого начала и до конца жизни он строил механические игрушки. Не потому, что они должны были что-то делать или приносить деньги, а потому, что это было весело и потому, что в каждой такой игрушке Шеннону хотелось проверить какую-нибудь любопытную идею.

Тесей — самая знаменитая из этих игрушек. В 1950 году Шеннон собрал в лаборатории Bell механического мышонка размером с теннисный мяч, который умел проходить лабиринт. Сначала мышонок двигался случайно, натыкаясь на стенки, пока не находил «сыр» — кусочек медной фольги. На втором запуске он уже шёл к сыру кратчайшим путём. Под лабиринтом стояла схема из примерно 90 телефонных реле, которая «помнила» путь. Лабиринт можно было пересобрать — поставить перегородки в другом порядке, — и Тесей переучивался заново.

Это была одна из первых в мире демонстраций машинного обучения. ENIAC, первый программируемый электронный компьютер, на тот момент существовал четыре года и занимал большой зал. Тесей же, использующий обычные телефонные реле, помещался под столом. На YouTube до сих пор можно найти оригинальный фильм Bell Labs 1952 года, где Шеннон стоит рядом с мышкой и спокойным голосом объясняет: «Сначала мышь идёт случайно. Потом она запоминает дорогу». В современной литературе по ИИ Тесея называют «прародителем всех систем обучения с подкреплением».

Жонглирование Шеннон любил с детства, и в Bell Labs оно стало его самой узнаваемой привычкой. Он жонглировал тремя шарами, иногда — четырьмя. Больше у него не получалось, и это его огорчало. Чтобы понять, почему именно не получается, он вывел математическую формулу жонглирования: (F + D) / (V + D) = N / H, где F — время полёта шара, D — время, которое шар находится в руке, V — время, которое рука пуста, N — число шаров, H — число рук. Формула, к его искреннему удивлению, не помогла ему освоить жонглирование пятью шарами.

Моноцикл Шеннон освоил уже взрослым, в Bell Labs. И тут случилась самая известная сцена в фольклоре лаборатории: Шеннон катался по длинным коридорам исследовательского центра на одноколёсном велосипеде, жонглируя при этом тремя шарами. Колеги, которые встречались ему по пути, прижимались к стенам — никто не был уверен, остановится ли он на повороте. Никто не понимал, зачем он это делает. Спросить его боялись, потому что ответ был предсказуем: «Для удовольствия».

Ультимативная машина — устройство, которое Марвин Минский придумал в 1952 году, а Шеннон собрал. Это деревянный ящик с одним переключателем. Когда вы включаете переключатель, из ящика выползает механическая рука и выключает переключатель обратно. Ящик закрывается. Больше он ничего не делает. Артур Кларк, увидев этот аппарат на столе Шеннона, написал: «Есть что-то невыразимо зловещее в машине, единственное назначение которой — выключить саму себя».

Другие игрушки Шеннона включают: семь различных шахматных автоматов, моноцикл с эксцентрическим колесом, который катился как пьяный, прыгающую палку на пружине (такая детская игрушка с педалями и ручками, на которой подпрыгивают) — только у Шеннона эта палка имела бензиновый двигатель; нож на сто лезвий; механический манекен в виде Уильяма Клода Филдза (W. C. Fields, 1880–1946 — знаменитый американский комик и цирковой жонглёр, в США 1930-х фигура примерно того же ранга, что в СССР Юрий Никулин), жонглирующий бильярдными шарами; компьютер, считающий в римских цифрах (Шеннон шутил, что мечтал «увидеть римлянина с настоящим калькулятором»); Кубик Рубика, который собирала отдельная машина; пенопластовые тапочки, в которых можно ходить по воде через озеро у дома (его жена Бетти подтвердила, что они работали).

Ни одна из этих игрушек так и не была описана в научной статье, не запатентована и не запущена в производство. Шеннон делал их не для славы и не для продажи. Он просто играл.

6. Бетти, дом на озере Мистик

В 1948 году, в год выхода той самой статьи про теорию информации, Шеннон познакомился в Bell Labs с молодой коллегой — Мэри Элизабет «Бетти» Мур, программисткой и аналитиком. Они поженились в 1949 году.

Бетти оказалась не «женой великого человека», а полноценным интеллектуальным партнёром. Она и сама была математиком: до Bell Labs работала в Bell Aircraft на численных расчётах, потом в Bell Labs — на ранних программируемых калькуляторах. Когда Шеннон строил Тесея, Бетти помогала ему паять реле. Когда он писал статьи, она их редактировала и часто находила в них ошибки и неудачные формулировки. В их доме на берегу озера Мистик в Винчестере, штат Массачусетс, куда они переехали в 1956 году, был не один общий рабочий стол, а несколько.

Они вырастили троих детей. Дома у них всегда было много гостей и ещё больше странных предметов: шкаф с десятью моноциклами, гараж, забитый шахматными автоматами, чердак с механическими рыбами и кубиками Рубика. По словам биографа Джимми Сони, Шеннон-семьянин был совершенно не похож на Шеннона-академика: дома он улыбался, шутил, играл на саксофоне и кларнете, кормил кошек. На работе он был известен как человек, который мог часами сидеть в кабинете молча и думать, никого к себе не пуская.

В одном эпизоде Шеннон и его друг Эдвард Торп (математик, придумавший подсчёт карт в блэкджеке) построили первый в истории носимый компьютер — устройство размером с пачку сигарет, которое прятали под одеждой и которое предсказывало, куда упадёт шарик в рулетке в казино. Они поехали в Лас-Вегас и заработали приличные деньги. Шеннон по характеру был не игрок — ему было любопытно, может ли вообще такая машина работать. Когда выяснилось, что может, интерес Шеннона ушёл. Он подарил устройство Торпу и больше в казино не ходил.

Жил он спокойно, выступал редко, журналистам давал интервью с большой неохотой. Когда писатель Джон Хорган в 1990-х добился встречи с ним, Шеннон, к тому времени уже больной, показывал гостю свои механические игрушки, как ребёнок показывает взрослому любимые поделки. Хорган позже написал воспоминания об этой встрече — это один из самых трогательных текстов о Шенноне, который у нас есть.

7. Альцгеймер и тихий уход

В начале 1980-х близкие заметили, что Шеннон стал забывать имена и события. Через несколько лет диагноз был поставлен формально: болезнь Альцгеймера. К моменту, когда диагноз был ясен, Шеннону было около семидесяти.

Болезнь развивалась медленно, но неумолимо. Бетти ухаживала за ним дома, насколько могла. К концу 1990-х он уже не узнавал своих коллег и не помнил, что когда-то писал статьи.

Главная горечь этого ухода в том, что именно в эти годы случилось всё то, для чего Шеннон создал фундамент. В 1989-м появился веб. В 1995-м — массовый интернет. В 1998-м — Google. В 1999-м — Wi-Fi и DSL, оба построенные на алгоритмах, асимптотически приближающихся к пределу Шеннона. В 2000-м — MP3, ZIP, DivX, JPEG, и каждый из этих алгоритмов сжатия упирается в шенноновскую энтропию источника, больше которой данные сжать без потерь невозможно (это вторая большая теорема из той же его статьи 1948 года). И всё это — прямое следствие одной его статьи, написанной полвека назад.

Только он этого уже не видел. Не понимал. Не помнил, что был к этому причастен.

Биограф Шеннона Джимми Сони в книге A Mind at Play пишет об этом с тихой грустью: «Если бы Шеннон оставался в ясном уме до самой смерти, он увидел бы, как интернет переменил мир, и понимал бы, какую роль в этом сыграла его работа. Он осознал бы успехи искусственного интеллекта, которые сделали возможным Deep Blue. У него было бы чувство, что у этого всего есть будущее. Альцгеймер лишил его этого знания».

Клод Шеннон умер 24 февраля 2001 года в доме престарелых в Медфорде, Массачусетс. Ему было 84. Бетти пережила его и дожила до 2017 года.

8. Почему его так мало знают

Эйнштейн известен потому, что был интересный в общении, дружил с журналистами и не отказывался от микрофона. Тьюринг известен своей трагической судьбой и яркой военной историей. Фейнман известен потому, что любил рассказывать истории о себе и оставил мемуары. Хокинг известен потому, что был визуально узнаваем и писал популярные книги.

Шеннон не оставил мемуаров. Он не любил журналистов и не выступал по телевидению. Не давал автографов, не сидел в кругу коллег и не рассказывал смешных историй. Когда в 1985 году ему присудили Премию Киото — японский эквивалент Нобелевки, — он приехал на церемонию, выступил с короткой технической речью, отказался от интервью и улетел домой. К этому времени болезнь уже подбиралась к нему, но и в более здоровые годы он вёл бы себя так же.

Это редкая, теперь почти исчезающая порода учёного: человек, который делал то, что считал интересным, ради самого процесса, и абсолютно не заботился, кто и как это запомнит. Слава для Шеннона была побочным шумом. Его интересовали только математика и игрушки.

Поэтому массовое сознание ничего не знает о Шенноне. Но в любом учебнике по теории информации, в любом курсе по передаче данных, в любой статье по сжатию или коррекции ошибок он стоит в первом абзаце как первооткрыватель всей области. В любом серьёзном университете на факультете информатики есть курс «Теория информации», и первая лекция этого курса начинается со слов «В 1948 году Клод Шеннон…».

При этом несколько лет уже идёт системная работа по возвращению Шеннона публике. Каждый год на ML-конференциях кто-нибудь вспоминает Тесея как первого ИИ. В 2017-м вышла биография Шеннона авторства Джимми Сони, неожиданно ставшая популярной. В 2016-м, к столетию Шеннона, MIT, Bell Labs и IEEE провели большую серию мероприятий. В Quanta Magazine в 2020-м был очень хороший очерк, пересказывающий его теорию для широкой аудитории. Постепенно его начинают узнавать. Но всё ещё не так, как он заслуживает. Отчасти потому, что он сам этого не хотел.

9. Финал

Иногда, читая про Шеннона, думаешь: вот человек, который мог бы быть профессором с поджатыми губами, не подпускающим к себе мир за пределами кафедры. Мог бы быть бизнесменом, который перевёл свои патенты в миллиарды (он этого не сделал — теорию информации Bell Labs не патентовала, и она сразу стала общественным достоянием). Мог бы быть строителем империи: с его мозгом он легко мог бы возглавить лабораторию или даже компанию.

Вместо этого он жонглировал на моноцикле, паял мышонка с женой, подсчитывал карты в Лас-Вегасе ради эксперимента, строил кубик Рубика, который собирался сам, потому что было любопытно. Тихо жил в доме у озера, играл на кларнете и кормил кошек.

Но при этом — походя, в перерыве между делами, — придумал теорию, без которой не было бы ни одного гигабайта в вашем телефоне, ни одного килобита в вашей Wi-Fi-сети, ни одного бита из тех, что прямо сейчас приносят вам этот текст с сервера на экран.

Слово «бит» в первый раз появилось в печати в его статье 1948 года, в седьмой строке третьего абзаца. С тех пор это слово вошло в каждый язык мира и стало одной из базовых единиц измерения наряду с метром, граммом и секундой. И за всем этим стоит тихий, любопытный мужчина из Гэйлорда, штат Мичиган, который однажды посмотрел на реле и увидел в нём математическую красоту логики.

«Я часто думал о том, что, если бы Шеннон не оказался в нужном месте в нужное время, кто-нибудь другой написал бы примерно то же самое лет через десять. Но эти десять лет — целая эпоха в технологическом развитии. Без него двадцатый век был бы другим».

— Соломон Голомб, математик и коллега Шеннона.

Шеннон не согласился бы. Он бы пожал плечами, сел на моноцикл и уехал по коридору Bell Labs, посвистывая, и жонглируя тремя шарами.

Источники

Предыдущий
Наверх