А.Я. БекшаевФизические основы ЭВМ

Лекции для студентов 4-го курса физического факультета ОНУ,

Специализация "Компьютерная физика"

2007 – 2009

Информация как физическая реальностьТермодинамика вычислений

Информация: знание некоторых характеристик физической системы.

Физическая система объективно характеризуется значениями координат, скоростей, масс, температур, электрических и магнитных полей, и т.д. всех ее составляющих.Но есть еще и внешний по отношению к системе наблюдатель (познающий субъект), который может иметь или не иметь знание об этих величинах.

Оказывается, объективное описание системы недостаточно. Мы должны явно или неявно учитывать присутствие наблюдателя и его возможности.

Принципиальное ограничение объема доступных знаний о системе определяет фундаментальные законы ее поведения. Статистическая термодинамика Теория когерентности в оптике Теория относительности Квантовая механика

Определение Вселенной (ФЭ, 1988): окружающая часть материального мира, доступная наблюдению.

Информация кодируется состояниями некоторых "стандартных" физических систем, "приспособленных" для этой цели (носителей):

чернила на бумаге;электромагнитное, звуковое и т.д. поле;костяшки на счетах;положение стрелки;проницаемость мембран в нейронах;электрический потенциал;намагниченность;пропускание (отражение) света;и т.д.

Если информация кодируется непрерывным процессом (величина –носитель может принимать непрерывный ряд значений), то представление называется аналоговым

Если носитель принимает дискретный ряд значений, то представление называется дискретным, или цифровым

Представление информации – кодирование

Содержание информации не должно зависеть от специфики носителя.

Каждый носитель является физическим объектом и подчиняется общим законам физики.

Эти законы определяют реальное поведение и возможности любых информационных устройств:от человеческого мозга…до искусственного мозга, в т.ч. компьютеров

Двойственнная "физичность" информации: она отражает свойства физической системы (объекта) + сама выражается через состояние физической системы (носителя)

Обработка информации подчиняется общим законам, вытекающим из самой природы носителей как физических систем

Информация, как совокупность знаний о физическом объекте и как состояние некоторой физической системы, является элементом физической реальности.

Физические свойства каждого конкретного носителя накладывают свои дополнительные требования, которые определяют особенности работы конкретных систем

МЕРА ИНФОРМАЦИИ

Элементарный выбор: из двух равновероятных возможностей (дихотомия).

Нет информации: незнаниеНабор возможностей, между которыми можно выбирать.Неопределенность

Есть информация: знаниеВыбор из набора возможностей совершен.Определенность

Знание, полученное в результате элементарного выбора – одна двоичная единица информации (binary unit = bit)

В общем случае: определить какую-либо величину значит указать способ ее измерения.Количество информации можно определить, указав способ устранения начальной неопределенности. Его всегда можно свести к последовательности элементарных выборов между двумя возможностями.

Последовательность вопросов, на которые можно ответить "да" или "нет"Наименьшее количество таких вопросов – мера извлекаемой информации

Извлечение информации: выбор из набора возможностей.

Простейшая информационная ячейка:бинарный элемент

Пример

Нужная ячейка находится за два шага

В случае N = 2n ячеек потребуется n = log2N шагов

Если N 2n , 2n–1 < N < 2n число шагов может быть то n – 1, то n; в среднем log2N Если две возможности не равновероятны, то иногда можно угадать результат и без всякого измерения, просто указывая на более вероятную ячейку.Среднее число шагов < 1

Левая ячейка с вероятностью p1, правая p2 = 1 – p1: n = –(p1log2p1 + p2log2p2)

Общий случай: количество информации по Шеннону

При pi = 1/N 21

1 log 1N

i

I N N

2

1

logN

i ii

I p p

2

1

1 logN

i

N N

2log N

Любая информация может быть представлена в виде совокупности состояний бинарных элементов: иначе говоря, нулей и единиц

Физическая реализация бинарных элементов: любая система с двумя устойчивыми состояниями

Пример: числовая информация a020 + a121 + a222 + … + an–12n–-1 = {an–1an–2 … a1a0}

n разрядов5 = 120 + 021 + 122 = {101}

Потенциальная энергия Модель: потенциальные барьеры = стенки

Рассмотрим на примерах общие закономерности процессов обработки информации

Основные операции: запись (копирование) и стирание

молекула

Копирование (запись)

Копируемая ячейка (оригинал)

Заготовка для копии (пустая ячейка)

Частица движется бесконечно медленно (обратимо)

Начинает испытывать силу (например, дипольную)

Состояние ячейки скопировано

Закрепление: восстанавливаются перегородки

Все поля консервативны: суммарная работа всех сил равна нулю

Копирование информации всегда возможно; оно может происходить без диссипации энергии и без возрастания энтропии

Трение пропорционально скорости и может быть произвольно слабым

Копирование = измерение. Измерение также всегда возможно и может происходить бездиссипативно (обратимо)

Важное условие: заготовка для копии пустая (не требуется стирать ранее записанную информацию).

Копирование (запись)

Стирание

Битовая ячейкав одном из двух состояний

1 0

Удаляется перегородка,вставляется поршень

Поршень сдвигается так, что независимо от начального состояния молекула оказывается в левой половине (0)

Перегородка восстанавливаетсяУзнать, где была молекула раньше, невозможно

Информация потеряна!

В процессе стирания поршень совершает работу; в изотермическом процессе E = kT ln(V1/V2) = kT ln2Соответствующее количество теплоты передается окружениюЭнтропия окружающей среды возрастает на S =E/T = k ln2Энтропия однобитовой ячейки уменьшается на ту же величину S =E/T = k ln2

Принцип Ландауэра

• Замечание 1 (теоретическое). Принцип Ландауэра связывает информацию с физическими концепциями энергии и энтропии.

• Замечание 2 (практическое). Хотя в реальности затраты энергии на элементарные операции намного больше ландауэровского предела (2.8710–21Дж = 0.018 эВ при 300 К), принцип подсказывает возможные пути и пределы минимизации энергопотребления компьютеров

• Замечание 3. Принцип есть следствие логической необратимости стирания. Аналогичные выводы справедливы и в отношении других логически необратимых операций, например, И, ИЛИ: диссипация энергии составляет kT ln2 на каждый потерянный бит

Стирание одного бита информации сопровождается затратой по крайней мере kT ln2 = 0.693kT энергии и увеличением энтропии окружающей среды на k ln2 = 0.9610–23Дж/К. Эти количества не могут быть уменьшены, какие бы способы кодирования и стирания информации ни применялись

Вход Выход0 0 00 1 01 0 01 1 1

На входе: 4 равновероятных возможности Iin = 2 битаНа выходе: 0 с вероятностью ¾ и 1 с вероятностью ¼

Iout = – (¾)log2(¾) – (¼)log2(¼) =

= – (¾)log23 + (¾) log24 + (¼)log24 = – (¾)log23 + 2

E = kT ln2(Iin – Iout) = kT ln2(¾)log23 = 0.824 kT

Потерянная информация (Iin – Iout) = (¾)log23 = 1.1887 бит

Принцип Ландауэра и демон Максвелла

Ящик с "одномолекулярным" газом

Демон (Д) – интеллектуальное устройство, способное измерять, хранить и использовать информацию

Сначала положение молекулы неизвестно.

В зависимости от результата измерения, Д размещает в ящике поршень с грузом таким образом, чтобы удары молекулы его поднимали

"Газ" расширяется и совершает работу.

После того, как поршень сдвинулся и груз был поднят, его удаляют.Система вернулась к исходному состоянию… и совершена работа за счет теплового резервуара при постоянной температуре Нарушено второе начало термодинамики?Упущено: Д, точнее, его память.

В памяти осталась информация о состоянии ячейки, которой в начале цикла не было.Вернуть к исходному состоянию – стереть информацию: затратить энергию kT ln2

Д ставит перегородку, делящую ящик пополам, и определяет, в какой половине находится молекула

При постоянной температуре A = kT ln(V2/V1) = kT ln2

М

• Информация оказалась включенной в общее описание состояния системы наравне с ее физическими параметрами: это тоже физическая характеристика, а не просто математическая концепция

• Одна и та же система имеет различные физические свойства в зависимости от имеющейся информации (в одном случае она способна совершить работу, в другом – нет)

• Устройства хранения информации ("память демона") – физические объекты и должны рассматриваться в одном контексте с "явными" объектами системы

• Введенная мера информации оказывается согласованной с общефизическими понятиями энергии и энтропии

• Обращение принципа Ландауэра: любая неслучайная комбинация битов может быть использована для производства работы за счет рандомизации (адиабатическое размагничивание, … )

Демон Максвелла, гипотетическое "всемогущее" устройство, способное различать и сортировать молекулы газа, было придумано на заре статистической физики для демонстрации пределов применимости второго начала.

Оказывается, включение его "памяти" в состав системы "спасает" второе начало термодинамики от нарушения даже в случае "интеллектуального" вмешательства в систему

Информационная энтропия

Возможен и другой подход: не включать память "демона" явно в состав сиcтемы, но учесть "знание" о системе в описании ее состояния.

Произведенная механическая работа A = kT ln2 =Q = TS

Полученное от резервуара количество теплоты

Изменение обычной термодинамической энтропии ячейки

Работа, затраченная на стирание информации Ae = – kT ln2

Полная совершенная в процессе работа A + Ae = TS – kT ln2 = TSg

Sg = S – k ln2 = 0Можно сохранить обычное выражение второго закона термодинамики (TS 0 в замкнутом цикле), если ввести эффективную энтропию системы Sg = S – k ln2 = (S + Si)

S – обычная термодинамическая энтропия, зависящая только от ее состояния

Si зависит от того, что знает о системе наблюдатель: информационная энтропия Si = – k ln2 (на один бит)

В общем случае, если есть I бит информации: Si = – I k ln2 Наличие информации о системе может быть учтено, если "подправить" значение ее энтропии.

В определении энтропии как суммы термодинамической и информационной еще раз подчеркивается физическое значение информации.

Оказывается, если мы имеем два физически тождественных состояния системы, но в одном случае мы ничего не знаем о ее состоянии, а во втором имеем какую-то информацию, то эти состояния различаются фундаментально.

В одном случае мы можем получить работу, в другом – нет!

Информация материальна: всегда связана с физическими объектами (носителями)Материя информационна: знания о системе придают ей дополнительные свойства.

Через информационную энтропию информация напрямую включается в формулировку второго начала термодинамики.

По некоторым предположениям, объективные характеристики физического мира неразрывно связаны с существованием наблюдателя (антропный принцип)

Информационная энтропия Si = – I kln2 отличается от количества информации I только множителем – kln2

Фактически это одна и та же величина, но измеренная в других единицах. По Больцману

S = – kpilnpi = kln2(– pilog2pi)= kln2IT

количество "отсутствующей" информации о термодинамическом состоянии (то, что можно было бы извлечь, если знать состояние точно)

Отличие в знаке. Информация о системе уменьшает ее энтропию.Обычная энтропия есть мера нашего незнания точного микросостояния системы

Система может совершать работу, если ее энтропия не максимальна.Информация меньше энтропия больше возможности совершать работу

Взаимосвязь энтропии и информации

За каждый бит можно получить до kTln2 полезной работы

Обратимые вычисления

• В любом реальном случае диссипация энергии значительно превышает предел Ландауэра. Однако при дальнейшем уменьшении размеров и энергопотребления теоретически неизбежная диссипация начинает влиять все сильнее. Выход: логически обратимый компьютер?

• Вариант: запоминать все промежуточные результаты в специальном ЗУ. Неудобно, требуется много лишней памяти, проблема не решается, а только откладывается.

• Важность физической необратимости: она позволяет нивелировать небольшие ошибки (если |1 - это 5 В, то 4.5 или 5.6 В тоже |1).

• Тем не менее, полезно иметь возможность снизить диссипацию до произвольно малого уровня и не зависеть от термодинамических ограничений.

• Логически обратимые операции важны и для квантового компьютера, потому что в квантовой механике возможны только обратимые операции.

• Это привело к поиску логически обратимых алгоритмов. Квантовый, баллистический, брауновский компьютер

Обычные алгоритмы широко используют необратимые операции (например, И, ИЛИ, стирание…). С каждой такой операцией связана диссипация энергии. Можно ли создать компьютер без необратимых операций? Нужно ли это делать?

Обратимые вентилиВентили – это устройства, которые выполняют заданные операции над логическими (бинарными) данными Другое название – логические элементы: И, ИЛИ, НЕ, …Из обычных операций обратимы только отрицание (НЕ) и исключительное ИЛИ (XOR). Но они не образуют полного набора. Надо ввести еще хотя бы один стандартный элемент, например Toffoli gate (вентиль Тоффоли, 1980).

INPUT OUTPUT 0 

 0 

 0 

 0 

 0 

 0 0 0 1 0 0 1

0 1 0 0 1 00 1 1 0 1 11 0 0 1 0 01 0 1 1 0 11 1 0 1 1 11 1 1 1 1 0

3-битовый вход и выход, если 2 первых бита оба равны 1, то третий бит инвертируется.

выход = вход (тождество)

3-й битинвертируется

Эта 2-битовая операция «встроена» в 3-битовую.Можно считать, что «лишние» входы и выходы обеспечивают логическую обратимость.

Когда третий вход = 0, между двумя первыми входами и третьим выходом реализуется И

Число входов = числу выходов

Этот вентиль может быть моделирован биллиардными шарами (баллистический компьютер). Входные шары влетают одновременно слева, сталкиваются с «зеркалами» и друг с другом. Механическая обратимость движения шаров соответствует логической обратимости.Входные данные являются частью выходных, два различающихся бита кодируют операцию.

Динамическая нестабильность: малейшие возмущения "уводят" компьютер от заданной программы (система шаров становится хаотической).Хаотизация: основной недостаток классических обратимых компьютеров. Можно восстанавливать "правильные" сигналы, но это сопряжено с диссипацией.Иначе – хаотизация. Можно ли ее использовать?

x x, f(x)

x

f(x)

В нормальных условиях редупликация ДНК идет со скоростью около 30 нуклеотидов в секунду, на каждый шаг тратится ~20kT, вероятность ошибки < 0.0001. В условиях близких к равновесию (11 шагов вперед и 10 назад диссипация kT ln(11/10) ~ 0.1kT на нуклеотид).

Брауновский компьютерТепловой шум влияет настолько сильно, что все движения похожи на случайные блуждания. Траектории удерживаются в желаемых пределах потенциальными барьерами, дрейф в требуемом направлении обеспечивается «движущей силой» (в термодинамическом смысле).

Мера движущей силы – высвобождаемая энергия, т.е. диссипация:

Вероятность шага вперед

Вероятность шага назадexp

kT

Примеры в биохимии (обратимые реакции). Барьеры в несколько kT преодолеваются в ходе проб и ошибок, барьеры ~100kT (covalent bond) предотвращают нежелательные реакции.

Если у текущего состояния есть m «предшественников», вероятность обратного шага возрастает в m раз:

Вероятность шага вперед

Вероятность шага назад

1exp

m kT

Для того, чтобы процесс продвигался, необходимо > kTlnm. Чаще всего m = 2. Это еще одно обоснование принципа Ландауэра:

Может ли брауновский компьютер выполнять необратимые операции?

Диссипация энергии при логически необратимых операциях гарантирует, что процесс вычислений идет в нужном направлении

Необратимость возникает при ветвящихся процессах:В точках ветвления движущая сила должна быть достаточно большой