Существует несколько подходов к измерению информации.
Комбинаторная мера
Для лучшего понимания рассмотрим несколько простейших примеров.
Пример 1 . Проведем опыт. Возьмем игральный кубик. Он имеет шесть сторон, на каждой из которых изображены числа от одного до шести.
Подбросим его. При бросании кубика выпадает одно из имеющихся на сторонах кубика число. Получившееся таким образом число - есть исход нашего опыта.
Подбрасывая игральный кубик сколь угодно раз, мы можем получить только шесть возможных чисел. Обозначим это как N = 6.
Этот пример позволяет перейти к понятию комбинаторной меры информации и дать следующее определение:
Комбинаторная мера информации N - это способ измерения количества информации путем оценки количества возможных комбинаций информационных элементов.
Поскольку в примере с игральным кубиком возможно только шесть вариантов исхода опыта, иными словами, шесть комбинаций, то и количество информации в соответствии с комбинаторной мерой составляет N = 6 комбинаций.
Рассмотрим следующий пример.
Пример 2. Пусть задана одна из десятичных цифр, например, цифра 8 и одна из шестнадцатеричных – к примеру, цифра 6 (можно было взять любую другую шестнадцатеричную - 8, В, F и т. д.). Теперь, в соответствии с определением комбинаторной меры, определим количество информации, заключенное в каждой из этих цифр. Поскольку цифра 8 является десятичной, а значит, представляет один символ из десяти, то N 8 = 10 комбинаций. Аналогично, цифра 6 представляет один из шестнадцати символов, а поэтому N 6 = 16 комбинаций. Следовательно, что шестнадцатеричная цифра содержит больше информации, чем десятичная.
Из рассмотренного примера можно сделать вывод, что чем меньше цифр находится в основании системы счисления, тем меньше информации несет в себе один ее элемент.
Двоичная логарифмическая мера
Английский инженер Р. Хартли предложил измерять количество информации двоичной логарифмической мерой:
где N - количество различных комбинаций информационных элементов. Единицей измерения информации при таком измерении является бит.
Поскольку выведенная Р.Хартли формула учитывает количество возможных комбинаций N, то интересно узнать, какую оценку количества информации дает двоичная логарифмическая мера для рассмотренных выше примеров.
Подсчет дает следующие результаты:
в примере с кубиком I = log 2 6 = 2,585 бит;
в примере с десятичной системой счисления I = log 2 10 = 3,322 бит;
в примере с шестнадцатеричной системой счисления I = log 2 16 = 4 бит;
в примере с двоичной системой счисления I = log 2 2 = 1 бит.
Последняя цифра говорит о том, что в каждой цифре двоичной системы счисления содержится один бит информации. Вообще, в технических системах двоичная система счисления применяется для кодировки двух возможных состояний, например 1 обозначает наличие электрического тока в сети, 0 - его отсутствие.
Во всех рассмотренных выше примерах исходы опытов были равновероятными и взаимно независимыми. Это означает, что при подбрасывании кубика каждая из шести граней имеет одинаковую вероятность результативного исхода. А также, что результат следующего подбрасывания никак не зависит от результата предшествующего.
Равновероятные и взаимно независимые события в реальной жизни встречаются довольно редко. Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто и после каждой буквы может стоять любой другой символ, то можно определить количество информации в каждом символе русского языка как:
I = log 2 32 = 5.
Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие - гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:
Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. Поэтому количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать ни комбинаторной, ни двоичной логарифмической мерами.
Структурная мера информации
При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними.
При структурном подходе различаются:
1) Геометрическая мера — предполагает измерение параметра геометрической модели информационного сообщения (длины, площади, объема…) в дискретных единицах.
Информационная емкость модели – максимально возможное количество информации – определяется как сумма дискретных значений по всем измерениям (координатам).
2) Комбинаторная мера – количество информации определяемое как число комбинаций элементов.
3) Аддитивная мера – (мера Хартли) – количество информации измеряется в двоичных единицах – битах.
Используются понятия:
Глубина q числа – количество символов, принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.
Длина n числа – количество позиций, необходимых и достаточных для представления чисел заданной величины.
При заданных глубине и длине числа количество чисел, которые можно представить N = qn.
Логарифмическая величина: I = log2N =n log2q (бит) — мера Хартли.
Таким образом, количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.
За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в два раза. Это бит.
Структурное — рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов — комбинаторный метод.)
Структурные меры информации
Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты — неделимые части информации. Различаютгеометрическую , комбинаторную и аддитивную меры.
Определение информации геометрическим методом представляет собой измерение длины линии, площади или объема геометрической модели информационного комплекса в количестве квантов. Максимально возможное число квантов в заданных структурных габаритах определяет информационную емкость системы . Информационная емкость есть число, указывающее количество квантов в полном массиве информации. Согласно рис. 1.2, г , количество информации М в комплексе X (T,N ), определенное геометрическим методом, равняется
Х, Т, N — интервалы, через которые осуществляются дискретные отсчеты.
В комбинаторной мере количество информации вычисляется как количество комбинаций элементов. Здесь учитываются возможные или реализованные комбинации.
Во многих случаях дискретное сообщение можно рассматривать как слово, состоящее из некоторого количества элементов n, заданных алфавитом, состоящим из т элементов-букв. Определим количество различных сообщений, которые можно образовать из данного алфавита. Если сообщение состоит из двух элементов (п= 2), то всего может быть различных сообщений. Например, из десяти цифр (0, 1, 2,…, 9) может быть образовано сто различных чисел от 0 до 99. Если количество элементов равно трем, то количество различных сообщений равно и т.д.
Таким образом, число возможных сообщений определяется:
где L — число сообщений; п — число элементов в слове; т — алфавит.
Чем больше L , тем сильнее может отличаться каждое сообщение от остальных. Величина L может быть принята в качестве меры количества информации. Однако выбор L в качестве меры количества информации связан с неудобствами: во-первых, при L =1 информация равна нулю, поскольку заранее известен характер сообщения (т.е. сообщение есть, а информация равна нулю); во-вторых, не выполняется условие линейного сложения количества информации, т.е. условие аддитивности. Если, например, первый источник характеризуется различными сообщениями, а второй — , то общее число различных сообщений для двух источников определяется произведением
1В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.
состояние технического объекта
энтропия
логарифмическая мера информации
1. Вильчинская О.О., Гатауллин И.Н., Головинов С.О. и др. Определение количества информации в структуре технической системы // Информационные технологии: приоритетные направления развития. Кн. 5: монография. – Новосибирск: ЦРНС – Изд-во «Сибпринт», 2010. – 261 с.
2. Дулесов А.С., Семенова М.Ю., Хрусталев В.И. Свойства энтропии технической системы // Фундаментальные исследования. – 2011. – № 8 (часть 3). – С. 631-636.
3. Дулесов А.С., Ускова Е.А. Применение подходов Хартли и Шеннона к задачам определения количества информации технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 2 (16). – С. 46-50.
4. Дулесов А.С., Ускова Е.А. Применение формулы Хартли для оценки структурных связей элементов в задаче обеспечения надежного функционирования технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 6 (20). – С. 37-41.
5. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах // Информационные процессы. – 2001. – Т. 1. – № 1. – С. 1-9.
Введение. К сложным техническим системам предъявляется ряд требований, среди которых выделяют поддержание высокого уровня надежности (работоспособности). Высоконадежные системы, как правило, подлежат контролю и диагностике с целью своевременного устранения возможных неполадок, появление которых имеет вероятностную природу. В целом систематический контроль позволяет получить общую картину состояния системы. Имея её на руках, можно вырабатывать решения, направленные на сохранение устойчивого поведения системы, сохранение уровня надежности, тем самым решая задачу кибернетики. Кроме этого, отслеживая «движение» системы во времени и пространстве, можно судить о её эволюции или старении, но уже с позиции синергетики.
Естественным процессом в технических системах является старение, которое неразрывно связано с таким понятием, как «неопределенность». Существует множество методологических подходов к анализу процессов и поддержанию работоспособности систем. Один из них основан на использовании теории информации и касается решения задачи получения меры неопределенности информации (энтропии) . В свою очередь значение информационной энтропии служит мерой выбора из возможных альтернатив.
В теории информации нашли свое практическое применение мера Хартли, позволяющая измерять детерминированные процессы конечной длины, и мера Шеннона - процессы любой длительности, анализ которых использует вероятностно-статистические методы. Обе меры входят в структурное и статистическое направления теория информации.
При эксплуатации технического объекта подсистема контроля передает сигналы или сообщения о состоянии системы, из которых формируется набор статистических данных. Их применение и направления теории информации могут быть положены в основу информационного анализа.
Модель определения меры информации. Техническую систему можно представить в виде структурной схемы с наличием элементов и связей между ними. С позиции оценки надежности в структуру вводят показатели: продолжительность восстановления элемента, частота отказов и др. На их основе определяют вероятность отказа и безотказной работы элемента. Большинство показателей носят вероятностный характер, обусловленный наличием неопределенности поведения системы. Применение меры неопределенности информации может послужить эффективным средством для оценки состояния технической системы, её элементов и структуры. С возможностями применения данной меры в технических системах можно ознакомиться в работах . Изменение состояния влияет на выполнение функций, одна из которых связана с передачей энергии (ресурсов) в системе. Исходя из функциональных особенностей системы возможны, по крайней мере, два варианта оценки состояния (изменения структуры). Первый не связан с учетом потокового процесса, второй учитывает направление потоков в структурной схеме системы. Далее при построении модели примем к рассмотрению первый вариант.
Простейшей моделью количественной оценки структурного содержания системы является подход Хартли, который предложил вычислять количество информации, содержащейся в сообщении. Для нашего случая будем предполагать, что система и каждый из её элементов могут находиться в одном из двух независимых дискретных состояний: работоспособное и неработоспособное. Тогда можно предположить, что от элементов в систему контроля и управления информация поступает в виде сигналов дискретного вида: 0 - элемент системы не работает (находится в неработоспособном состоянии); 1 - элемент работает (находится в работоспособном состоянии). Если предположить, что нас не интересует время пребывания элемента в том или ином состоянии, то общее число всевозможных состояний элементов будет выражаться формулой:
где: k = 2 - число возможных состояний элемента или системы; п - количество элементов в рассматриваемой системе.
В формуле (1) общее число состояний (комбинаций) N - это количество сообщений, сформированных из равно-вероятных и независимых сигналов идущих от элементов. С ростом количества элементов п число комбинаций N увеличивается. Поэтому величину N Хартли использовал в качестве основы для определения меры количества информации. По (1) определяется максимальное количество состояний системы. В реальной обстановке (за определенный промежуток времени, например год) количество состояний всегда будет меньше N. Поскольку нас может интересовать состояние системы на отдельных интервалах времени, то такая мера количества информации, по (1), не удобна для практического использования. Хартли нашел решение, предположив: количество информации I, содержащееся в сообщениях, должно быть функцией от N, то есть I = f(N). Так как число элементов п является показателем степени, то для определения I применяют логарифмическую функцию:
Поскольку число состояний k и основание логарифма приняты равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).
Появление факторов в системе приводит к возникновению того или иного её состояния, которое по отношению к противоположному состоянию независимо. Условие о независимости состояний указывает на то, что общая информация, по (2), будет равна сумме отдельных информаций и . Здесь и - количество состояний, относящихся к работе и отказу элементов системы соответственно. Их общее количество
Например, если рассматривать два элемента в системе, каждый из которых может находиться в каком-либо из двух состояний, то а для 3-х элементов - N = 8.
Прологарифмировав выражение (3), получим:
которое доказывает свойство аддитивности меры информации Хартли. Данная мера справедлива при условии наличия в системе равновероятных состояний, образующих конечное множество .
Расширим возможности меры Хартли применительно к задачам поиска дискретного содержания структуры системы, при условии конечности исходного множества .
Поскольку рассматриваются только два состояния системы - работоспособное и отказ, то они образуют два класса эквивалентности состояний (см. выражение (4)). Полагаем далее, что каждый из элементов технической системы генерирует состояния, относящиеся только к двум классам эквивалентности.
Если принять во внимание количество элементов , то согласно (1) полученная мера совпадет с логарифмической мерой Хартли:
Из (5) видно, что количество информации в битах равно количеству элементов системы. Следовательно, для равновероятных и взаимонезависимых друг от друга состояний элементов количество информации может выразиться через формулу:
Таким образом, при наличии в системе элементов и при равновероятных состояниях выражение (6) представляет собой логарифмическую меру информации Хартли.
В (6) состояния (работа и отказ) слиты воедино. Однако противоположные состояния желательно разделять, поскольку при их слиянии утрачивается смысл оценки уровня надежности через меру информации. Кроме этого, вероятности нахождения элемента в каждом из состояний неравнозначны. Поскольку важнейшей задачей является сохранение высокого уровня надежности элемента или системы, то на практике вероятность работоспособного состояния всегда будет выше противоположной вероятности. Во избежание слияния информаций (противоположных по своей сути при оценке надежности системы) нужно каждый класс эквивалентности рассматривать в отдельности.
Неравновероятность наличия состояний для элемента или системы вынуждает использовать формулу Шеннона. Последняя является мерой неопределенности наличия или вероятностного присутствия состояния элемента в том или ином классе эквивалентности. Рассмотрим получение формулы на следующем примере.
Например, оценивая надежность технической системы, состояния её элементов рассматриваются на длительных интервалах времени (год и более). На выделенном участке времени состояния перемежаются, следуя друг за другом, образуя поток событий. В этом потоке каждое из событий характеризуется видом (отказ или работа), временем появления и окончания, а также иными показателями. Эти состояния фиксируются в органе управления, одной из задач которого является сохранение высокого уровня работоспособности системы. Решая эту задачу (в нашем случае через определение количества информации), имеющийся поток событий классифицируют, относя события к конкретному i-му элементу либо к самой системе. Так, для одного из элементов, имея поток событий, можно определить вероятности появления каждого из них: pi и qi - вероятность нахождения i-го элемента в работоспособном и неработоспособном состоянии. Вероятности появления событий одного вида образуют суммарную вероятность, pi + qi = 1. Тогда количество информации при неравновероятных и взаимонезависимых событиях, содержащееся в одном элементе, определяется по формуле Шеннона:
Если рассматривать элементы системы как независимо функционирующие, тогда по формуле Шеннона можно определить информацию как
(8)
Вероятности в (8), стоящие перед логарифмом, усредняют значение самого логарифма. Если не разделять состояния по виду, то данное выражение можно переписать как
(9)
при условии В (9) 
- среднее значение вероятности появления событий всех n элементов.
Однако (8) малопригодно из-за наличия взаимосвязей между элементами, и по этой причине состояния элементов будут определять состояния самой системы. Если ставится задача определить количество информации, содержащейся в системе, то она потребует выполнения некоторых условий: 1) следует иметь совокупные данные о состояниях системы за длительный промежуток времени; 2) иметь данные по каждому из элементов. Например, исходя из второго условия, решение задачи можно получить, опираясь на результаты, представленные в работе . Далее будем рассматривать возможности определения меры информации лишь для одного элемента, исключив из рассмотрения систему.
Далее рассмотрим возможности в определении меры информации лишь для одного элемента (объекта). В данном случае будет справедливым использование выражения (7) при условии p + q = 1. Тогда максимум информации достигается при p = q и будет равен 1.
В выражениях для определения меры информации справедливость применения логарифма по основанию 2 объясняется разбиением всего множества состояний элемента на два класса эквивалентности: работоспособные состояния и их вероятности отнесем к первому классу k1, неработоспособные - ко второму классу k2. Оба класса эквивалентности включают в себя целое число состояний m = G + L, где G - число состояний работоспособности, L - неработоспособности элемента системы. В первом классе присутствует множество G состояний с суммарной вероятностью , во втором - L с суммарной вероятностью Тем самым каждый класс разбит на отдельные неравновероятные состояния.
Выделив 2 эквивалентных класса, где каждому из них принадлежит собственное множество неравновероятных состояний, информацию согласно (7) можно определить по выражению:
при условии 
, (11)
где pg и ql - вероятность g-го работоспособного и l-го неработоспособного состояний соответственно, (m = G + L) - полное количество состояний элемента. Выражения (7) и (10) совпадают и могут быть применены тогда, когда получены данные путем отслеживания потока событий либо ранее обобщенные статистические данные. При равенстве вероятностей состояний элемента - рg = ql, (например рg = ql = 0,125 и G = L = 4) по выражению (10) и при соблюдении условия (11) получим максимальное значение информации I* = 1, тогда как по (8) - I = 3. Тем самым при равенстве вероятностей первая величина означает максимальное значение информации, содержащейся в одном элементе, вторая - в 3-х независимо функционирующих элементах. В последнем случае использование (8) неправомерно.
Часто в практике расчетов уровня надежности аналитик опирается на наличие статистических данных. При этом он может взять уже готовые обобщенные значения либо, накапливая опыт эксплуатации, рассматривает поток событий, получая тем самым серию вероятностей, и на основе теоремы сложения вероятностей находит суммарное значение и соответственно суммарное q. Подставив эти значения в (7), можно определить количество информации, содержащееся в одном элементе.
Таким образом, выражение (10) представляет собой логарифмическую меру неопределенности информации, содержащуюся в одном элементе, с учетом разделения на работоспособное и неработоспособное состояния.
Отметим еще одну особенность в получении меры неопределенности. Она связана с тем, что формула Шеннона согласуется с формулами Хартли (3)-(6) для равновероятных событий. Если рассматривать поток неравновероятных состояний (событий), то принимая во внимание (3), обобщенные вероятности каждого из классов находятся по Шеннону как
и (12)
При их определении работает теорема умножения вероятностей, поскольку предполагается, что уровень надежности элемента можно представить в виде последовательно протекающих независимых событий . Имея обобщенные вероятности по (12), можно сделать вывод о том, что мера информации для каждого из классов эквивалентности обладает свойством аддитивности. Тогда меру информации можно определить по формуле:
В (13) величины pср и qср усредняют значение информации.
Если в данном выражении будут известны pср и qср, то оно будет соответствовать формуле (10). По сути выражения для определения усредненных значений должны учитывать факт того, что в каждом эквивалентном классе события не являются однородными по характеру появления и содержанию причин, их породивших. Следовательно, основание логарифма при определении информации для одного класса событий должно отличаться от уже принятого основания, равного 2.
В теории о логарифмах известно выражение 
, которое в нашем случае (например, для k1 класса) выглядит как
Из выражения (14) вытекает следующее:
(15)
Отношение в (15) может быть рассмотрено как плотность информации. Тогда (например, для класса k1) можно записать соотношение:
где 
Тогда (13) с учетом средних величин можно записать в виде:
(17)
Примем условие: G = L = 4; рg = ql = 0,125. Тогда по выражению (17) и при соблюдении условия (11) максимальное значение меры информации что подтверждает соответствие выражению (10).
Заключение. Из рассмотренного выше следует, что структура технической системы, состоящая из элементов и связей между ними, подлежит информационному анализу и оценке с позиции надежности. Каждый из элементов может находиться в одном из двух состояний: работа или отказ. Количество состояний, если они равновероятны, определяет значение меры Хартли согласно (6) и разделяется на два класса эквивалентности: класс работоспособных и класс неработоспособных состояний элемента системы. Если события неравновероятны, то мера информации для одного элемента может быть определена по формуле (7). Когда элементы взаимонезависимы, то по формуле Шеннона (8) и (9) можно определить меру информации для системы в целом.
Рассматривая состояния лишь для одного элемента или объекта, каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого из классов эквивалентности можно определить суммарные и обобщенные вероятности работоспособности и отказа элемента. Эти показатели применимы для определения меры неопределенности информации элемента по полученным выражениям (10) и (17) с разделением на класс работоспособных и неработоспособных состояний. Показано, что (10) и (17) идентичны и применимы: первое выражение - при наличии суммарной вероятности, второе - при обобщенной вероятности.
На основе использования вышеупомянутых формул можно для однотипных элементов определить меру неопределенности и на основе полученных величин выделить менее надежный из них.
Рецензенты:
Нагрузова Любовь Петровна, д.т.н., профессор кафедры «Строительство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.
Булакина Елена Николаевна, д.т.н., профессор кафедры «Автомобили и автомобильное хозяйство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.
Библиографическая ссылка
Дулесов А.С., Кабаева Е.В. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ СОСТОЯНИЯ ТЕХНИЧЕСКОГО ОБЪЕКТА // Современные проблемы науки и образования. – 2013. – № 1.;URL: http://science-education.ru/ru/article/view?id=8210 (дата обращения: 06.04.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
Интуитивно ясно, что количество информации, которое может быть запасено в физической системе, возрастает с числом различимых состояний, в которые она может переводиться. Это число будет N = m n , если система состоит из n ячеек (элементов) с одинаковым числом m возможных состояний. В более сложном случае, если бы система состояла из определенным образом расположенных n1 ячеек, имеющих m1 возможных состояний, n2 ячеек, имеющих m2 возможных состояний, и т. д., это число было бы N = m1n1 · m2n2....
Для встречающихся в практике случаев N исключительно велико. Так, например, на небольшом фототелеграфном бланке размерами 50 см 2 и разрешающей способностью 50 элементов на 1 см может быть запасено любое из 2 125000 различных двухградационных изображений (мы отвлекаемся пока от того, что подавляющее большинство этих изображений не будет иметь смысла). Это число невозможно себе представить, настолько оно велико.
Число возможных состояний N нецелесообразно принимать за количественную меру для сравнения способности различных систем хранить или передавать информацию. Причина однако, не в том, что пришлось бы иметь дело со столь большими числами. Такая мера была бы практически неудобна и не соответствовала нашим интуитивным представлениям. Кажется очевидным, например, что удвоение площади фототелеграфного бланка приведет к удвоению количества информации, которое может быть запасено там. Между тем количество возможных изображений возрастает при этом не в два раза, а во второй степени.
Хартли в цитированной работе предложил выбрать в качестве количественной меры для сравнения способности различных систем хранить или передавать информацию логарифм числа различимых состояний N
Основание логарифмов определяет единицы, в которых выражена информационная емкость. Наиболее употребительны в этих случаях двоичные логарифмы. Величина
будет при этом выражена в двоичных единицах.*
Очевидно, что если N = mn, то
Информационная емкость одной ячейки, имеющей m различимых состояний, будет log 2 m дв. ед. Из (29) видно, что информационная емкость системы, составленной из n ячеек, равна сумме элементарных информационных емкостей этих ячеек. В частности, для рассмотренного ранее примера получится, что информационная емкость бланка log 2 2n = n равна сумме информационных емкостей двух его половин,
Таким образом, логарифмическая мера информационной емкости соответствует нашим интуитивным представлениям.
Из формулы (29) видно, что информационная емкость быстро - по линейному закону - возрастает с увеличением числа накопительных ячеек п и гораздо медленнее - по логарифмическому закону - возрастает с увеличением числа различимых состояний (градаций) т каждой ячейки.
Оказывается проще для получения той же информационной емкости создавать накопители с большим числом ячеек, имеющих малое число различимых состояний, чем накопители с меньшим числом ячеек, но имеющих соответственно большее число различимых состояний. Иными словами, обмен числа градаций на число накопительных ячеек обычно бывает выгоден. Информационная емкость четырехэлементного двухградационного изображения C=41og 2 2=4 равна информационной емкости одного элемента, имеющего 16 градаций, C=1log 2 16=4. Но сделать накопитель с ячейками, имеющими 16 различимых состояний, гораздо труднее, чем накопитель с вчетверо большим числом ячеек, каждая из которых имеет лишь два различимых состояния.
* Иногда вместо «двоичная единица» пишут «бит» (от английского binary digit - двоичная единица).
11
Курс: "Теория информации и кодирования"
Тема: "МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ"
1. КОЛИЧЕСТВО ИНФОРМАЦИИ, И ЕЕ МЕРА
На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1).
Помехи
x 1 y 1
x 2 y 2
… …
x n y n
Рис.1. Система передачи информации
Ансамбль сообщений - множество возможных сообщений с их вероятностными характеристиками - {Х, р (х ) } . При этом: Х={х 1 , х 2 , …, х m } - множество возможных сообщений источника; i = 1, 2 , ..., m , где m - объем алфавита; p (x i ) - вероятности появления сообщений, причем p (x i ) 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице
.
Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении x i , выбранном из ансамбля сообщений источника {Х, р (х ) } . Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p (x i ), поэтому естественно предположить, что количество информации I (x i ) в сообщении x i является функцией p (x i ). Вероятность появления двух независимых сообщений x 1 и x 2 равна произведению вероятностей p (x 1 , x 2 ) = p (x 1 ). p (x 2 ), а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:
TS-MIDI Editor – бесплатный редактор MIDI-файлов
Прошивка Fly IQ239 без проблем
Как снять защиту от записи с microsd
Что такое Google Dorks? Секреты поиска в Google. Команды особого назначения More intitle все публикации пользователя предыдущая
Как открыть файл xmcd без маткада