Модели каналов передачи информации. Сущность модели частичного описания дискретного канала

В общем случае под каналом передачи информации понимается совокупность технических средств, обеспечивающих передачу сигналов от источника информации к потребителю.

Наиболее общую классификацию каналов связи можно осуществить по характеру сигналов на их входе и выходе. Различают поэтому два типа каналов:

1. Непрерывные каналы . В таких каналах сигналы на входе и вы­ходе непрерывны (по уровням).

2. Дискретные каналы . Навходе и выходе таких каналов наблюдаются дискретные сигналы или символы из конечномерного алфавита. Наибольшее распространение получили дискретные модели каналов.

Дискретным каналом является канал, рассматриваемый от входа кодера до выхода декодера.

Рис. 3. Дискретный канал передачи информации.

На вход канала поступают символы Xi , а с выхода – символыYi .

Дискретный канал математически описан, если задан входной алфавит сигналов {X }={ X k , K = 1… M } вместе с их априорными вероятностями {Р(X k)} и выходной алфавит сигналов {Y * }={ Y * k , K = 1. . . M +1 } , который в общем случае может содержать символ стирания Q и значения вероятностей переходов Р(Y * i / X k) , т. е. вероятностей того, что на выходе канала появится сигнал Y * i при условии, что на вход подан сигнал X k .

Удобно вероятностные характеристики канала задавать матрицами. Так априорные вероятности группируются в матрицу-строку априорных вероятностей

||P(X k) ||=|| P(X 1) P(X 2) . . . P(X m) ||

Характеристики, связанные с входным и выходным алфавитами, определяются свойствами источника сообщений и полосой пропускания канала.

Объем выходного алфавита {Y j } (J = 1, 2, …, M+1} определяется способом построения системы передачи информации.

Условная вероятность Р(Y * i / X k) определяется в основном характеристиками дискретного канала и его свойствами.

Если для любых сочетаний Y * i и X k эта вероятность не зависит от момента времени взятия отсчета, т.е.

(5)

то канал называется однородным.

Если данное условие не выполняется, то канал является – неоднородным.

Если справедливо условие

(6)

то такой канал называют каналом без памяти.

Если данное условие не выполняется, то такой канал называют каналом с памятью на n символов.

Реальные дискретные каналы являются неоднородными и с памятью. Это обусловлено следующими причинами:

Искажением и влиянием помех в непрерывном канале;

Задержкой во времени выходной последовательности сигналов по отношению к входной последовательности;

Нарушением тактовой синхронизации.

Однако, модель дискретного однородного канала без памяти, как модель первого приближения, нашла широкое применение. Она позволяет упростить методы анализа и получения исходных данных.

Рассмотрим математические модели дискретных каналов с помехами и без них.

Математическое моделирование непрерывных каналов связи требует знания физических процессов, протекающих в них. В большинстве случаев для их определения и перевода в аналитическую форму требуется проведение сложных экспериментов, испытаний и последующей аналитической обработки данных.

В подобных ситуациях очень полезной является модель двоичного симметричного канала связи (ДСК). Подобная модель является простейшим примеров взаимодействия двух источников без памяти. Подобная модель является дискретной двоичной моделью передачи информации по каналу с АБГШ. ДСК описывается с помощью диаграммы переходов (рис. 2.10).

Рис. 2.10. Модель двоичного симметричного канала

На диаграмме представлены возможные переходы двоичных символов от передатчика (источника ) в двоичные символы приемника (источника ). Каждому переходу приписана переходная вероятность. Ошибочным переходам соответствует вероятность . Эквивалентом диаграммы переходов является матрица канала. Она содержит переходные вероятности и является стохастической матрицей, у которой сумма всех элементов каждой строки равна единице. В общем случае матрица канала в входным алфавитом их символов и выходным алфавитом из символов , содержит все переходные вероятности и имеет вид

(2.51)

В случае ДСК матрица принимает вид

. (2.52)

Единственным параметром, характеризующим ДСК, является вероятность ошибки и из-за равновероятного появления входных символов и симметрии переходов следует равномерное распределение выходных символов, т.е.

Среднее значение информации, которыми обмениваются два дискретных источника без памяти и равно

Поскольку пропускная способность дискретного канал связи определяется как , то

После подстановки числовых значений выражение принимает вид

Важным частным случаем ДСК является двоичный симметричный канал со стираниями (ДСКС). Как и ДСК подобный канал является упрощенной моделью передачи информации по каналу с АБГШ. Схема переходных вероятностей стирающего канала представлена на рис. 2.11.

Рис. 2.11. Граф переходных состояний в стирающем канале связи

Матрица переходных вероятностей оказывается зависимой от двух параметров и имеет вид

. (2.56)

Входные символы равновероятны, поэтому . Тогда вероятности выходных символов равны

и .

Следовательно,

После преобразований получаем

Положив в полученном уравнении , получим . Введение стирающего канала связи обеспечивает выигрыш пропускной способности стирающего канала связи, при условии, что вероятность ошибки . Отклонение значений и от их минимальных значений приводит к образованию криволинейной поверхности, представляющей общий вид которой представлен на рис. 2.12.

Рис. 2.12. Пропускная способность стирающего канала связи

Рассматривая модель стирающего канала связи, в которойстирания разделяются на ложные и правильные, можно представить граф переходных вероятностей в виде рис. 2.13. Матрица переходных вероятностей оказывается зависимой от четырех параметров принимает вид

Рис. 2.13. Граф переходных состояний с разделением стираний на ложные и правильные стирания

Предположение о точном совпадении стертых позиций с ошибками является условием, которое никогда не выполняется в реальных канала связи. Для гауссовского канала связи соотношения между ложными и правильным стираниями в зависимости от ширины интервала стирания приведены в табл. 2.1.

Табл. 2.1 Соотношение вероятностей между ложными и правильными стираниями в канале без памяти

Значение интервала стирания
Ложные стирания
Относительный прирост
Правильные стирания

Прирост показателей для и в табл. 2.1 определялся относительно интервала стирания при этом показатель для ложных стираний в указанных пределах вырос практически на порядок. Это говорит о невозможности прямого применения стирающего канала связи в системах обмена информацией с целью снижения вероятности ошибочного приема данных.

Полезно напомнить, что внутри дискретного канала всегда содержится непрерывный канал. Преобразование непрерывного канала в дискретный осуществляет модем. Поэтому в принципе можно вывести математическую модель дискретного канала из моделей непрерывного канала при заданном модеме. Такой подход часто является плодотворным, однако он приводит к сложным моделям.

Рассмотрим простые модели дискретного канала, при построении которых свойства непрерывного канала и модема не учитывались. Следует, однако, помнить, что при проектировании системы связи имеется возможность варьировать в довольно широких пределах модель дискретного канала при заданной модели непрерывного канала изменением модема.

Модель дискретного канала содержит задание множества возможных сигналов на его входе и распределение условных вероятностей выходного сигнала при заданном входном. Здесь входным и выходным сигналами являются последовательности кодовых символов. Поэтому для определения возможных входных сигналов достаточно указать число различных символов (основание кода), а также длительность передачи каждого символа. Будем считать значение одинаковым для всех символов, что выполняется в большинстве со

временных каналов. Величина определяет количество символов, передаваемых в единицу времени. Как указывалось в гл. 1, она называется технической скоростью и измеряется в бодах. Каждый символ, поступивший на вход канала, вызывает появление одного символа на выходе, так что техническая скорость на входе и выходе канала одинакова.

В общем случае для любых должна быть указана вероятность того, что при подаче на вход канала любой заданной последовательности кодовых символов на выходе появится некоторая реализация случайной последовательности Кодовые символы обозначим числами от 0 до что позволит производить над ними арифметические операции. При этом все -последовательности (векторы), число которых равно образуют мерное конечное векторное пространство, если "сложение" понимать как поразрядное суммирование по модулю и аналогично определить умножение на скаляр. Для частного случая такое пространство было рассмотрено в гл. 2.

Введём ещё одно полезное определение. Будем называть вектором ошибок поразрядную разность (разумеется, по модулю между принятым и переданным векторами. Это значит, что прохождение дискретного сигнала через канал можно рассматривать как сложение входного вектора с вектором ошибки. Вектор ошибки играет в дискретном канале примерно ту же роль, что и помеха в непрерывном канале. Таким образом, для любой модели дискретного канала можно записать, пользуясь сложением в векторном пространстве (поразрядным, по модулю

где и случайные последовательности из символов на входе и выходе канала; случайный вектор ошибки, который в общем случае зависит от Различные модели отличаются распределением вероятностей вектора Смысл вектора ошибки особенно прост в случае двоичных каналов когда его компоненты принимают значения 0 и 1. Всякая единица в векторе ошибок означает, что в соответствующем месте передаваемой последовательности символ принят ошибочно, а всякий нуль означает безошибочный приём символа. Число ненулевых символов в векторе ошибок называется его весом. Образно говоря, модем, осуществляющий переход от непрерывного канала к дискретному, преобразует помехи и искажения непрерывного канала в поток ошибок. Перечислим наиболее важные и достаточно простые модели дискретных каналов.

Постоянный симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью и правильно с вероятностью причём в случае ошибки вместо переданного символа может быть с равной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ если был передан

Термин "без памяти" означает, что вероятность ошибочного приёма символа не зависит от предыстории, т.е. от того, какие символы передавались до него и как они были приняты. В дальнейшем, для сокращения, вместо "вероятность ошибочного приёма символа" будем говорить "вероятность ошибки".

Очевидно, что вероятность любого -мерного вектора ошибки в таком канале

где - число ненулевых символов в векторе ошибки (вес вектора ошибки). Вероятность того, что произошло ошибок, расположенных как угодно на протяжении последовательности длины определяется формулой Бернулли

где биномиальный коэффициент, равный числу различных сочетаний I ошибок в блоке длиной

Эту модель называют также биномиальным каналом. Она удовлетворительно описывает канал, возникающий при определённом выборе модема, если в непрерывном канале отсутствуют замирания, а аддитивный шум белый (или по крайней мере квазибелый). Нетрудно видеть, что вероятность появления ошибок в двоичной кодовой комбинации длины (кратному согласно модели (4.53) при

Вероятности переходов в двоичном симметричном канале схематически показаны в виде графа на рис. 4.3.

Постоянный симметричный канал без памяти со стиранием отличается от предыдущего тем, что алфавит на выходе канала содержит дополнительный символ, часто обозначаемый знаком "?". Этот символ появляется тогда, когда 1-я решающая схема (демодулятор) не может надёжно опознать переданный символ. Вероятность такого отказа от решения или стирания символа в данной модели постоянна и не зависит от передаваемого символа. За счёт введения стирания удаётся значительно снизить вероятность ошибки, иногда её даже считают равной нулю. На рис. 4.4 схематически показаны вероятности переходов в такой модели.

Несимметричный канал без памяти характеризуется, как и предыдущие модели, тем, что ошибки возникают в нём независимо друг от друга, однако вероятности ошибок зависят от того, какой символ передаётся. Так, в двоичном несимметричном канале вероятность приёма символа 1 при

Рис. 4.3. Переходные вероятности в двоичном симметричном канале

Рис. 4.4. Переходные вероятности в двоичном симметричном канале со стиранием

Рис. 4.5. Переходные вероятности в двоичном несимметричном канале

передаче символа 0 не равна вероятности приёма 0 при передаче 1 (рис. 4.5). В этой модели вероятность вектора ошибки зависит от того, какая последовательность символов передаётся.

В общем случае каналы классифицируются по характеру входного и выходного сигналов. Канал называют непрерывным (по уровням сигналов), если множество сигналов на входе и выходе является несчетным. Если множество сигналов с дискретным временем на входе и выходе является конечным (по уровням), канал называется дискретным. Канал называют полунепрепрывным, если он является дискретным по входу и непрерывным по выходу.

Радиоканалы, содержащие в своем составе радиолинию - открытое пространство, в принципе являются непрерывными каналами. Реальные радиоканалы отличаются большим разнообразием с точки зрения их свойств и характеристик. В целях упрощения задачи определения статистических характеристик сигналов, наблюдаемых на выходах каналов, во многих случаях целесообразно использовать типичные модели реальных каналов, отображающих их наиболее существенные свойства. Для задания математической модели достаточно указать ограничения, накладываемые на множество возможных входных сигналов и, что особенно существенно, вероятностные характеристики выходных колебаний.

Модели непрерывного канала

Рассмотрим вначале наиболее типичные и широко используемые модели непрерывных каналов. Эти модели представляют интерес при передаче сигналов, как от непрерывных, так и дискретных источников. Далее будем полагать, что все модели представляют каналы с аддитивным гауссовским шумом n(t) , имеющим нулевое математическое ожидание и заданную корреляционную функцию. Наиболее типичной является модель с белым шумом, аппроксимирующим тепловой флуктуационный шум, неизбежно присутствующий во всех реальных каналах.

Канал с точно известным сигналом. Сигнал на выходе канала представляет собой

Предполагается, что форма сигнала s(t) , множитель интенсивности А и задержка известны (в частности , что соответствует изменению начала отсчета времени на выходе канала). Здесь распределение сигнала х является гауссовским. Эта модель применима для РЛС в идеализированных условиях, когда дальность, скорость и ЭПР объекта являются постоянными. Она также может быть использована для аппроксимации радиотелеграфных каналов спутниковой связи, а также для радиоканалов с медленно меняющимися параметрами, для которых значения А и могут быть предсказаны с достаточной точностью.

Канал со случайной фазой сигнала. В отличие от предыдущего задержка является случайной величиной. Для узкополосных сигналов s(t) с центральной частотой спектра выражение для выходного сигнала представляется в виде

где и - функции, сопряженные по Гильберту; - случайная начальная фаза. Как правило, предполагается, что фаза является равномерно распределенной в интервале . Эта модель может быть использована для тех же каналов, что и предыдущая, если начальная фаза сигналов на выходе канала по тем или иным причинам флуктуирует (нестабильность частоты генераторов, флуктуации протяженности пути распространения сигналов).

В каналах радиосвязи со случайной фазой нередко случайной является также и амплитуда А . При рэлеевских изменениях амплитуды и равновероятной фазе квадратурные компоненты и являются гауссовскими случайными величинами. При точно известном сигнале s(t) рассматриваемый канал может быть назван гауссовским каналом с квазидетерминированпным сигналом, т. е. сигналом известной формы, конечное число параметров которого являются случайными.

Радиотелеграфный канал с межсимвольной интерференцией. Межсимвольная интерференция радиотелеграфных сигналов является следствием рассеяния сигналов во времени. Она проявляется в том, что полезный сигнал на выходе канала, описываемый общим выражением вида

является результатом суперпозиции откликов канала на воздействие сигналов одной и той же формы, поступающих в канал с различной задержкой во времени. Межсимвольная интерференция прежде всего является следствием нелинейности фазочастотной характеристики канала передачи. В радиоканалах различных диапазонов волн причиной возникновения межсимвольной интерференции часто является многолучевое распространение радиоволн.

Канал с квазидетерминированным сигналом и посторонними мешающими воздействиями. В канале на фоне белого гауссовского шума присутствуют сигнал известной формы со случайными параметрами и совокупность мешающих сигналов ,так что выходной сигнал представляется в виде

Эта модель применима для радиоканалов передачи сигналов от источников дискретных сообщений в условиях сильной перегрузки канала посторонними сигналами с одинаковой структурой, а также в условиях создания активных преднамеренных помех.

Гауссовский канал со случайным сигналом . Сигнал на выходе канала представляется в виде

где и шум и сигнал представляют собой случайные процессы. Нередко предполагается, что сигнал S и, следовательно, х распределены по гауссовскому закону. В некоторых случаях гауссовская модель удовлетворительно описывает каналы передачи сообщений от непрерывных источников с применением амплитудной модуляции.

Канал со структурно-детерминированным сигналом и посторонними мешающими воздействиями . Под структурно-детерминированным сигналом понимается радиосигнал , характеристики переносчика и вид модуляции которого известны, в то время как модулирующий сигнал A(t) является непрерывным случайным процессом с известными статистическими характеристиками. В общем случае сигнал на выходе канала может быть представлен в виде

Рассматриваемая модель отличается от модели канала с квазидетерминированными сигналами только характером множества случайных параметров, закодированных в радиосигналах известной структуры и формы.

Модели дискретного канала

Модели дискретного канала при теоретическом исследовании радиосистем представляют существенный интерес, поскольку помехоустойчивость систем в условиях воздействия интенсивных помех в значительной мере определяется способами кодирования и декодирования модулирующих и демодулированных сигналов. При решении указанных задач целесообразно использовать простые модели дискретного канала, при построении которых свойства непрерывного канала непосредственно не учитываются. В дискретном канале входными и выходными сигналами являются последовательности импульсов, представляющих поток кодовых символов. Поэтому в модели дискретного канала наряду с ограничениями на параметры множества возможных сигналов на входе достаточно указать распределение условных вероятностей выходного сигнала при заданном входном. Для определения множества входных сигналов достаточно указать число m различных символов, число n импульсов в последовательности и, если это необходимо, длительность T in и T out каждого импульса на входе и выходе канала. Как правило, эти длительности одинаковы, так что одинаковыми являются и длительности любых n -последовательностей на входе и выходе. Вследствие воздействия помех в канале последовательности импульсов на входе и выходе канала могут оказаться различными. В общем случае для любого n необходимо указать вероятность того, что при передаче некоторой последовательности В на выходе появится конкретная реализация случайной последовательности В .

Рассматриваемые здесь n -последовательности можно представлять векторами в m n -мерном эвклидовом пространстве, в котором операции «сложения» и «вычитания» понимаются как поразрядное суммирование по модулю m и аналогично определяется умножение на целое число. В этом пространстве целесообразно ввести в рассмотрение «вектор ошибки» Е , под которым следует понимать поразрядную разность между входным (переданным) и выходным (принятым) векторами, или иначе, представлять принятый вектор в виде суммы переданного и вектора ошибки: , где случайный вектор ошибки Е в определенном смысле играет роль помехи n(t) в модели непрерывного канала. Различные модели дискретного канала отличаются распределением вероятностей вектора ошибки. В общем случае распределение вероятностей Е может зависеть от реализации вектора . Вектор ошибки приобретает особенно наглядное толкование в случае двоичного канала, когда m = 2. Появление символа 1 в любом месте вектора ошибки свидетельствует о наличии ошибки в соответствующем разряде переданной n -последовательности. Число ненулевых символов в векторе ошибки называют весом вектора ошибки.

Наиболее простой моделью дискретного канала является симметричный канал без памяти. Таковым является канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью р и правильно с вероятностью q = 1 - р , причем в случае ошибки вместо переданного символа может быть с равной вероятностью принят любой другой символ , т. е.

> (2.13)

Термин «без памяти» означает, что вероятность появления ошибки в любом разряде n-последовательности не зависит от того, какие символы передавались до этого разряда и как они были приняты.

Вероятность появления какого-либо n -мерного вектора ошибки веса l в этом канале равна

Вероятность того, что произошло l любых ошибок, расположенных произвольным образом на протяжении n -последовательности, определяется законом Бернулли

(2.14)

где - биноминальный коэффициент (число различных сочетаний l ошибок в n -последовательности).

Модель симметричного канала без памяти (биномиального канала) является хорошей аппроксимацией канала с аддитивным белым шумом при неизменном множителе интенсивности сигнала. Рис. 1,а демонстрирует граф, отображающий вероятности переходов в двоичном симметричном канале без памяти.

В несимметричном канале без памяти ошибки возникают также независимо друг от друга, однако вероятности перехода символов 1 в 0 и обратно при прохождении сигнала в канале являются различными. Соответствующий граф переходных вероятностей в этом канале представлен на рис. 1 ,б.

Модели дискретных каналов. Дискретным каналом называют совокупность средств, предназначенных для передачи дискретных сигналов. Такие каналы широко используются, например, при передаче данных, в телеграфии, радиолокации.

Дискретные сообщения, состоящие из последовательности знаков алфавита источника сообщений (первичного алфавита) , преобразуются в кодирующем устройстве в последовательности символов. Объемm алфавита символов (вторичного алфавита)
, как правило, меньше объема l алфавита знаков, но они могут и совпадать.

Материальным воплощением символа является элементарный сигнал, получаемый в процессе манипуляции - дискретного изменения определенного параметра переносчика информации. Элементарные сигналы формируются с учетом физических ограничений, накладываемых конкретной линией связи. В результате манипуляции каждой последовательности символов ставится в соответствие сложный сигнал. Множество сложных сигналов конечно. Они различаются числом, составом и взаимным расположением элементарных сигналов.

Термины «элементарный сигнал» и «символ», так же как «сложный сигнал» и «последовательность символов», в дальнейшем будут использоваться как синонимы.

Информационная модель канала с помехами задается множеством символов на его входе и выходе и описанием вероятностных свойств передачи отдельных символов. В общем случае канал может иметь множество состояний и переходить из одного состояния в другое как с течением времени, так и в зависимости от последовательности передаваемых символов.

В каждом состоянии канал характеризуется матрицей условных вероятностей ρ(
) того, что переданный символ u i будет воспринят на выходе как символ ν j . Значения вероятностей в реальных каналах зависят от многих различных факторов: свойств сигналов, являющихся физическими носителями символов (энергия, вид модуляции и т.д.), характера и интенсивности воздействующих на канал помех, способа определения сигнала на приемной стороне.

При наличии зависимости переходных вероятностей канала от времени, что характерно практически для всех реальных каналов, он называется нестационарным каналом связи. Если эта зависимость несущественна, используется модель в виде стационарного канала, переходные вероятности которого не зависят от времени. Нестационарный канал может быть представлен рядом стационарных каналов, соответствующих различным интервалам времени.

Канал называется с «памятью » (с последействием), если переходные вероятности в данном состоянии канала зависят от его предыдущих состояний. Если переходные вероятности постоянны, т.е. канал имеет только одно состояние, он называется стационарным каналом без памяти . Под k-ичным каналом подразумевается канал связи, у которого число различных символов на входе и выходе одинаково и равно k.

Стационарный дискретный двоичный канал без памяти однозначно определяется четырьмя условными вероятностями: р(0/0), р(1/0), р(0/1), р(1/1). Такую модель канала принято изображать в виде графа, представленного на рис. 4.2, где р(0/0) и р(1/1) - вероятности неискаженной передачи символов, а р(0/1) и р(1/0) - вероятности искажения (трансформация) символов 0 и 1 соответственно.

Если вероятности искажения символов можно принять равными, т. е.то такой канал называютдвоичным симметричным каналом [при р(0/1)р(1/0) канал называетсянесимметричным ]. Символы на его выходе правильно принимают с вероятностью ρ и неправильно - с вероятностью 1-p = q. Математическая модель упрощается.

Именно этот канал исследовался наиболее интенсивно не столько в силу своей практической значимости (многие реальные каналы описываются им весьма приближенно), сколько в силу простоты математического описания.

Важнейшие результаты, полученные для двоичного симметрического канала, распространены на более широкие классы каналов.

С
ледует отметить еще одну модель канала, которая в последнее время приобретает все большее значение. Это дискретный канал со стиранием. Для него характерно, что алфавит выходных символов отличается от алфавита входных символов. На входе, как и ранее, символы 0 и 1, а на выходе канала фиксируются состояния, при которых сигнал с равным основанием может быть отнесен как к единице, так и к нулю. На месте такого символа не ставится ни нуль, ни единица: состояние отмечается дополнительным символом стирания S. При декодировании значительно легче исправить такие символы, чем ошибочно определенные.

На рис. 4 3 приведены модели стирающего канала при отсутствии (рис. 4.3, а) и при наличии (рис. 4.3, 6) трансформации символов.

Скорость передачи информации по дискретному каналу. Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.

Под технической скоростью передачи V T , называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость

где - среднее значение длительности символа.

При одинаковой продолжительности τ всех передаваемых символов =τ.

Единицей измерения технической скорости служит бод - скорость, при которой за одну секунду передается один символ.

Информационная скорость , или скорость передачи информации , определяется средним количеством информации, которое передается по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких, как объем алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости манипуляции V T скорость передачи информации по каналу Ī(V,U) задается соотношением

где I(V,U) - среднее количество информации, переносимое одним символом.

Пропускная способность дискретного канала без помех. Для теории и практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала С д равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема:

При заданном алфавите символов и фиксированных основных характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т. е. обеспечить максимальное значение V Т. Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(V,U), определяется на множестве распределений вероятностей между символами
.

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду (дв. ед./с).

Так как в отсутствие помех имеет место взаимно-однозначное соответствие между множеством символов {ν} на выходе канала и {u} на его входе, то I(V,U) = =I(U,V) = H(U). Максимум возможного количества информации на символ равен log m, где m - объем алфавита символов, откуда пропускная способность дискретного канала без помех

Следовательно, для увеличения скорости передачи информации по дискретному каналу без помех и приближения ее к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Доказано (см. § 5.4), что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

Расширение объема алфавита символовm приводит к повышению пропускной способности канала (рис. 4.4), однако возрастает и сложность технической реализации.

Пропускная способность дискретного канала с помехами. При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(V,U), передаваемое по каналу одним символом, определяется в этом случае соотношением

Если статистические связи между символами отсутствуют, энтропия сигнала на выходе линии связи равна

При наличии статистической связи энтропию определяют с использованием цепей Маркова. Поскольку алгоритм такого определения ясен и нет необходимости усложнять изложение громоздкими формулами, ограничимся здесь только случаем отсутствия связей.

Апостериорная энтропия характеризует уменьшение количества переданной информации вследствие возникновения ошибок. Она зависит как от статистических свойств последовательностей символов, поступающих на вход канала связи, так и от совокупности переходных вероятностей, отражающих вредное действие помехи.

Если объем алфавита входных символов u равен m 1 , а выходных символов υ - m 2 , то

Подставив выражения (4.18) и (4.19) в (4.17) и проведя несложные преобразования, получим

Скорость передачи информации по каналу с помехами

Считая скорость манипуляции V T предельно допустимой при заданных технических характеристиках канала, величину I(V,U) можно максимизировать, изменяя статистические свойства последовательностей символов на входе канала посредством преобразователя (кодера канала). Получаемое при этом предельное значение С Д скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

где р{u} - множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

В гл. 6 показано, что к пропускной способности канала связи с помехами можно приблизиться, кодируя эргодическую последовательность букв источника сообщений блоками такой длины, при которой справедлива теорема об асимптотической равновероятности длинных последовательностей.

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержка в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке. В рамках допустимых усложнений на практике при кодировании могут преследоваться две цели: либо при заданной скорости передачи информации стремятся обеспечить минимальную ошибку, либо при заданной достоверности - скорость передачи, приближающуюся к пропускной способности канала.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

где - производительность источника сообщений; С Д - пропускная способность канала связи.

Поскольку нормальное функционирование канала возможно, как показано далее, при изменении производительности источника в пределах,теоретически может изменяться в пределах от 0 до 1.

Пример 4.4 . Определить пропускную способность двоичного симметричного канала (ДСК) со скоростью манипуляции V T в предположении независимости передаваемых символов.

Запишем соотношение (4.19) в следующем виде:

Воспользовавшись обозначениями на графе (рис. 4.5), можем записать

Величина H U (V) не зависит от вероятностей входных символов, что является следствием симметрии канала.

Следовательно, пропускная способность

Максимум H(V) достигается при равенстве вероятностей появления символов, он равен 1. Отсюда

График зависимости пропускной способности ДСК отρ показан на рис. 4.6. При увеличении вероятности трансформации символа с 0 до 1/2 С Д (р) уменьшается от 1 до 0. Если ρ = 0, то шум в канале отсутствует и его пропускная способность равна 1. При р=1/2 канал бесполезен, так как значения символов на приемной стороне с равным успехом можно устанавливать по результатам подбрасывания монеты (герб-1, решетка - 0). Пропускная способность канала при этом равна нулю.