Информационные возможности оптических систем

Информационные возможности

оптических систем

Основные понятия теории информации

Исторические предпосылки создания

Морзе 1830П. Шиллинг 1832 г. Белл 1876 г. А. С. Попов 1905Телевидение 1925-1927Телетайп 1931ЧМ (Амстронг) 1936ИКМ (Ривс) 1937

Informatio (лат.) - разъяснение, осведомление.

Клод Шеннон«2128506…я не знаю, как идет сигнал…» Б.Г.

I.Основные работы, заложившие основу теории информацииH. Nyquist, “Certain factors affecting telegraph speed,” Bell Syst. Tech. J., vol.

3, pp. 324–352, Apr. 1924.R. V. L. Hartley, “Transmission of information,” Bell Syst. Tech. J., vol.7, pp.

535–563, July 1928.В.А. Котельников «О пропускной способности линий электросвязи» Изд.

Ред. Упр. Связи. РККА, том 44, 1933.А.Н. Колмогоров (1938 г.) - ?

C. E. Shannon, “A mathematical theory of communication,” Bell Syst.Tech. J., vol. 27, pp. 379–423, 623–656, July–Oct. 1948.

A. G. Clavier, “Evaluation of transmission efficiency according toHartley’s expression of information content,” Elec. Commun.: ITT Tech.J., vol.

25, pp. 414–420, June 1948.C. W. Earp, “Relationship between rate of transmission of information,frequency bandwidth, and signal-to-noise ratio,” Elec. Commun.: ITT

Tech. J., vol. 25, pp. 178–195, June 1948.S. Goldman, “Some fundamental considerations concerning noise

reductionand range in radar and communication,” Proc. Inst. Elec. Eng.,vol. 36, pp. 584–594, 1948,

N. Wiener, Cybernetics, Chaper III: Time Series, Information and Communication. New York: Wiley, 1948.

Количество информации в системе равновероятных событий (Р. Хартли 1928)

Опыт - процесс, в результате которого наблюдатель получает информацию о некотором интересующем объекте. Опытами являются чтение или прослушивание незнакомого текста, регистрация на ПЗС-матрицу

изображений, измерения длины, яркости, интенсивности и т.п.Априори (до опыта) однозначно не известно, какие сигналы и в какой

последовательности будут воздействовать на приемник информации, т.е. результат опыта до его проведения является неопределенным.

(Дядя Ваня за углом)Апостериори (после опыта) эта неопределенность частично или полностью

устраняется.(Это дядя Ваня, а может быть нет)

Таким образом за меру количества информации, получаемой в результате опыта, можно принять величину, характеризующую меру уменьшения

неопределенности сведений о наблюдаемом объекте. (Например: 1 – Дядя Ваня, 0 – Не дядя Ваня)

Подход Р. Хартли к измерению информации.

Пусть для записи и передачи сообщений используется язык, характеризующийся алфавитом символов:L1, L2, … LS S – число символов (букв) (например 0, 1)Передатчик генерирует слова, состоящие из n букв (например 01001011, 8 букв) в количестве NКол-во N различных слов, длиной n букв, согласно теориивероятности, равно: N = Sn (28)Поскольку при приеме сообщения известна длина слова n,то неопределенность опыта по точной регистрации очередногослова характеризуется величиной N.т.о. чем больше N – тем больше информации в результате опытаВывод: кол-во информации д.б. неубывающей функцией от N

Также мера информации д.б. пропорциональна длине слова n(например 01010101010100011, 16 букв )

Тогда I - количество информации I = nK, где К – некоторый коэффициент;Мера информации должна сравнивать информационные возможности разных

систем (с различными n и S). Пусть для двух систем мы имеем n1, S1, N1, I1 и n2, S2, N2, I2 , причем информационные возможности одинаковы

I1= I2

Тогда можно записать n1 K1 = n2 K2 K1 / K2 = n2 / n1 Если I1= I2 то N1 = N2

Sn1 = Sn2 n1 lg S1 = n2 lg S2

K1 / K2 = lg S1/lg S2

Таким образом, коэффициент K пропорционален логарифму числа символов алфавита.

I = n lg S = lg Sn = lg N мера Хартли(n = 8, S = 2, I = - lg256)

Можно заметить, что, lg N = - lg p, где р = 1/N - вероятности регистрации какого-либо слова, которые по условиям опыта одинаковы.

По Хартли количество информации, получаемое в результате опыта, равно логарифму числа возможных равновероятных исходов.

Логарифмическая мера Хартли обладает свойством аддитивности

Свойства меры Хартли

N1,2 = N1 N2 I1,2 = lgN1,2 = lgN1 + lgN2 = I1 + I2

Системы единиц измеренияБит (binary digits) – I = log2NДит (decimal) - I = lgN Нат (natural) - I = lnN

Пример На одном из полей шахматной доски установлена фигура. а) "конь находится на вертикали b,

б) "конь находится на горизонтали 3,в) "конь находится на поле b3.

Шахматная доска имеет 8 вертикалей: NB = 8; IB = log28 = 3 битШахматная доска имеет 8 горизонталей: NГ = 8; IГ = log28 = 3 бит

Шахматная доска имеет 64 поля: NП = 64; IП = log264 = 6 битIB + IГ = IП

Количество информации в системе событий с различными вероятностями. Подход Шеннона

Пусть в эксперименте измеряются значения некоторой дискретной случайной величины S

Вероятности получения соответствующих значений si

неодинаковы и равны

Предположим далее, что в результате проведения одного опыта с полной определенностью стало известно, что случайная

величина приняла некоторое значение sk. Количество информации, полученное в этом опыте, по определению

считается равным

По определению pk - априорная вероятность события, а Ik называется частной информацией, поскольку она

характеризует неожиданность (неопределенность) появления конкретного события

Например: появление 0 или 1 равновероятны, тогда p1 = p2 = 0.5 I1 = I2 = - log(1/2) = 1Если p1 = 0.25 p2 = 0.75 то I1 = - log(1/4) = 2 I2 = - log0.75 = 0.415

Определение является естественным обобщением меры количества информации по Хартли

Наибольшая информация достигается, если в результате опыта произошло наименее вероятное (наиболее неожиданное)

событие. (Согласуется с восприятием информации homo)Для оценки информационных характеристик различных систем

наиболее важным является, как правило, определение количества информации, усредненного по многим

повторяющимся опытам Например: сколько информации в среднем может перенести 0 и 1

Если вероятности появления равны/неравны

Усредненной оценкой количества информации при многократных повторениях опыта по измерению величины S является

математическое ожидание частной информации – мера Шеннона

Мера Шеннона характеризует количество информации, приходящееся в среднем на одно событие.

1) обращается в нуль, когда одно из состояний достоверно, а другие невозможны;

2) непрерывна относительно pk и достигает максимального значения, когда состояния системы равновероятны Например: p1 = p2 = 0.5 E = -(0.5log(1/2)+0.5log(1/2)) = 1 Если p1 = 0.25 p2 = 0.75 то E = -(-0.75* 0.415 - 0.25*2) = 0.811

3) является монотонно возрастающей функцией N 4) обладает свойством аддитивности, то есть в случае объединения

независимых систем их информации складываются.

На выходе реальных информационных систем количество информации, содержащееся в сообщении, определяется следующим

образом:I = Ни- Н0

где I - количество информации, содержащееся в сообщении; Ни - исходная неопределенность ансамбля событий, известная априори;

Н0 - неопределенность ансамбля событий, оставшаяся после опыта.

До получения информации ситуация характеризуется неопределенностью того, от какого источника она будет

направлена, т.е. априорной энтропией:

Пример. Энтропия бинарного источника.

         При полосе F наибольшее число отсчетов сигнала равно 2F в единицу времени или 2FT за время T(теорема Котельникова).          Если бы шума не существовало, то число дискретных уровней сигнала было бы бесконечным. В случае наличия шума последний определяет степени различимости отдельных уровней амплитуды сигнала. Так как. мощность является усредненной характеристикой амплитуды, число различимых уровней сигнала по мощности равно (PС + PШ) / PШ, а по амплитуде соответственно

                                                                                                        Тогда информационная емкость канала

         Итак, емкость канала ограничивается двумя величинами: шириной полосы канала и шумом.

Формула Шеннона

Энергетический предел передачи информацииФундаментальный предел основан на теореме К. Шеннона для максимальной емкости канала связи. Выражение для максимальной емкости для канала с гауссовым источником теплового шума можно вывести следующим образом:

Ш

C

P

PFC 1log2

где С - максимальная пропускная способность канала в б/c, ΔF – полоса пропускания канала связи, PC - средняя мощность сигнала - средняя мощность

теплового шума.Для гауссового источника с тепловым шумом можно записать, что PШ = kT∙ ΔF, где

k = 1,38∙10-23 Дж/K константа Больцмана, T – температура в К. Тогда (1) можно записать:

FkT

PFC C1log2

(2).

Вычислим среднюю энергию на бит путем деления средней мощности сигнала на скорость передачи информации из (2):

12 C

FCav

b C

FkT

C

PE

Вычисляя производную

F

Cd

dEb

и приравнивая её 0 по правилу Лопиталя можно получить:

kTEF

CE bb

2ln0 min

Из квантовой механики можно получить выражение для средней мощности гаусcового шума:PШ ≈ (ħω/2)∙ ΔF

Число пространственных степеней свободыкогерентных оптических сигналов

Рассмотрим дифракционно-ограниченную оптическую систему заданную своими зрачками, которые для упрощения рассмотрения будем предполагать прямоугольными о размерами Сх , Су по

соответствующем осям.

Оптической системе предъявляется объект Р, имеющий размеры Аx Ay по соответствующим осям и освещаемый слева пространственно когерентным монохроматическим плоскополяризованным излучением с длиной волны .

Полное число независимых отсчетов в плоскости Р' равно полному набору независимых пространственных параметров, описывающих распространение оптического сигнала через рассматриваемую систему, известно, что при неизменной поляризации, число пространственных степеней свободы оптического сигнала распространяющегося в данной системе, равно числу элементов N, разрешаемых в изображении предмета, т.е.

где АxАу- площадь предмета; Сx Су- площадь входного зрачка; - телесный угол, под которым виден входной зрачок из осевой точки предмета.

Размерыразрешаемогоэлемента посоответствующимосям

Поскольку плоскости зрачков, предмета и изображения сопряжены, соотношение может быть записано в виде

Более строгий анализ числа пространственных гармоник сложного оптического сигнала показывает, что

)/1)(/1( XXXX UAUAN

где Ux Uy - передние апертурные углы в cоответcтвующих координатных плоскостях.

Реальный оптический сигнал квазимонохроматичен

где - ширина спектра, -средняя частота. Для таких сигналов во всех выше полученных соотношениях длину волны необходимо заменить на среднюю длину волны

Определение числа степеней свободы Nt, связанных с временными параметрами сигнала, произведем в соответствии с теоремой Котельникова

Денис Габор в доказал следующую теорему: при заданных размере предмета, времени наблюдения, спектральной полосе пропускания и апертуре оптической системы, фундаментальным инвариантом является общее число степеней свободы оптического сигнала ( временных и пространственных)

Никакими методами невозможно получить большее число независимых параметров сигнала, чем No.Появление множителя 4 в соотношении обусловлено тем, что когерентные оптические сигналы являются комплексными и информация может быть связана с модуляцией как амплитуды,так и фазы волны, что увеличивает число информационных степеней свободы вдвое. Кроме того, сигнал характеризуется двумя независимыми состояниями поляризации.Д. Габором было также показано, что в пределах полного числа степеней свободы можно взаимно менять соотношения между пространственными временными и поляризационными степенями свободы, сохраняя при этом полное число постоянным. Например, можно увеличить пространственное разрешение в изображении предмета за счет уменьшения поля зрения оптической системы или временного разрешения.

Запись и считывание голограммы

Информационная емкость голограммДифракционный предел плотности записи в голограмме. Рассмотрим плоскую фоточувствительную среду площадью S, расположенную в плоскости ху,

Будем считать, что каждая сигнальная волна, т. е. каждый бит информации, последовательно записывается в виде голограммы со своей опорной волной, условие ортогональности опорных волн можно записать в виде

где On и От — комплексные амплитуды полей n-й и

m-й опорных волн соответственно. Если эту голограмму считывать опорной волной с индексом т, то поле в изображении будет равно

где — постоянная. Используя эти две формулы, легко убедиться, что

Запишем поля плоских опорных волн с индексами т и п, которые отличаются между собой направлением распространения, т. е. фазовым распределением,

где

Волны On и От ортогональны между собой в плоскости голограммы, если (knx - kmx)D/2 = q, (kny - kmy)D/2 = l,где D — размер голограммы, имеющей форму квадрата, q, I — целые числа. Тогда максимальное число ортогональных волн равно

Это и есть полный объем записанной информации, т. е. информационная емкость голограммы

Соответственно плотность записи информации в голограмме

Такой же результат получается в случае, если в качестве сигналов рассматривать не простейшую плоскую волну, а транспаранты, содержащие М бит информации (светлых и темных точек).

Плотность записи при учете шумов

Пусть в каждую голограмму записывается транспарант, содержащий М бит информации, и при этом расходуется п фоточувствительных элементов, расположенных в максимумах интерференционной картины. При считывании информации поля, создаваемые этими элементами и образующие изображение, складываются синфазно; поэтому интенсивность пропорциональна п2, причем на каждую единицу информации приходится мощность, пропорциональная п2/М. Поскольку в рассеянии света принимают участие все N фоточувствительных элементов среды, а фазы рассеянных волн случайны, шумовой фон будет пропорционален N. Следовательно, отношение сигнал/шум в изображении будет равно

Поскольку N/n равно числу L голограмм, записанных в фотослое, то

Таким образом, при многократном наложении голограмм-транспарантов на заданную площадь фотослоя яркость изображения уменьшается с увеличением числа последовательных записей как 1/L2.

отсюда определяется необходимый размер микроголограммы

Рассчитаем размер голограммы, необходимый для записи изображения емкостью С. Размер элемента разрешения изображения, восстановленного при просвечивании голограммы в виде квадрата со стороной dr, равен

где F — расстояние от плоскости голограммы до мишени видикона. Если D — размер транспаранта, то число элементов в восстановленном изображении

Сколько информации можно уместить на стандартном CD?V ~ 15000 мм3 I ~ 15 Тб

Удельная объемная емкость ~ 109 бит/мм3

Голографическое устройство записи и считывания информации InPhase Technologies

Сравнительный анализ CD и DVD

Параметр CD DVD Комментарии

Диаметр, см 12 12 Иногда используют диски диаметром 8 см

Физическая толщина диска, мм

1,2 1,2

Число информационных сторон

1 1 или 2

Толщина стороны, мм 1,2 0,6

Число информационных слоев на одной стороне

1 1 или 2 Пока распространены только однослойные диски

Емкость диска, Гбайт 0,68 4,7-17 1 гигабайт = 109 байт

Минимальная длина пита, мкмШирина пита, мкм

0,830,5

0,4 / 0,440,5 Для однослойного - 0,4, для двухслойного -

0.44

Шаг спирали (питов), мкм 1,6 0,74

Длина волны лазера, нм 780 635/650 635 - для коммерческих DVD-Video (for Authoring)

Апертура линзы 0,45 0,6

Схема модуляции данных EFM 8 в 16 EFM - Eight to Fourteen Modulation

Схема коррекции ошибок CIRC RS-PC CIRC - Cross Interleaved Reed-Solomon Code,RSPC - Reed Solomon Product Code

Структура DVD-дисков

Структурные типы DVD

Запись информации

Стирание данных

Механизм записи

Основы магнитооптической технологии

Характеристики МО CD-RW DVD Дискета Стримерная лента

JAZ ZIP

Проблема хранения Солнечный свет

Размагничивание, различные влияния

Застревание и разрыв

Влияние полей

Срок хранения:- Гарантия- Теория

50150

50100

50100

515

2040

1050

846

Проблемы с драйверами + - + - - - -

Ошибки записи - + - + + - +

Циклы перезаписи 10000000 1000 1000 100-200 800 10000 1000

Максимальная емкость 9,1 (5,25)2,6 (3,5)

700

Цена устройства (в среднем, $) 400 200 400 20 800 500 150

Распространенность в РФ Средняя Высокая Низкая

Сверхвысокая Низкая Очень низкая

Средняя

Сравнительная таблица конкурирующих форматов оптической записи информации

Литература Шеннон К.Э. Работы по теории информации и

кибернетике. М.: Ил., 1963 – 829с. Хартли Р. Передача информации// Теория

информации и ее приложения. М.: Физматгиз. 1959. – С. 5-35.

Винер Н. Кибернетика или управление и связь в животном мире и машине. М.: Наука, 1983 – 340 с.

Брюллюэн Л. Наука и теория информации. М.: Физматгиз, 1960 – 392с.

Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973 – 512 с.

Контрольные вопросы.1. Обобщенная схема информационной системы.2. Количество информации в системе равновероятных событий.

Подход Р. Хартли к измерению информации.3. Свойства меры Хартли, единицы измерений.4. Количество информации в системе событий с различными

вероятностями. Подход Шеннона.5. Количество информации на выходе реальных информационных

систем. Понятие об энтропии. 6. Задача оптимального кодирования. Как в четырехсимвольном

алфавите организовать передачу с минимальной энтропией.7. Разница между обычным телефоном и телефоном GSM.8. Принципы кодирования.9. Емкость информационного канала при наличии шума.