İkili, simetrik bir kanalın bant genişliği. ikili kanal

İkili simetrik bir kanal (DSC olarak kısaltılır), Şekil 2'de gösterilen geçiş olasılığı diyagramı ile tanımlanır. 1. Kanala giriş, 0 ve 1 gibi ikili sinyallerdir. Bu girişlerin her biri için, sinyalin doğru alınmış olma olasılığı ve yanlış alınmış olma olasılığı vardır.

Pirinç. 1. İkili simetrik kanal.

Aktarma hataları yapan kötü niyetli şakacı çok basit kalpli: hafızası yok ve karakterleri rastgele ve birbirinden bağımsız olarak "yanlış yorumluyor". Eylemleri yıkıcıdır, ancak içinde bilinçli bir kötülük yoktur ve etkinliği en azından istatistiksel anlamda istikrarlıdır.

Bu şekilde ele alacağımız bilgi aktarımının soyut şeması, Şekil 2'de gösterilmektedir. 2. Kodlayıcının girişi bazı uzun ikili dizi x alır,

bilgi dizisi diyeceğimiz 0 ve 1 karakterlerinden oluşur. Bu sıra tamamen keyfi olabilir. Dekoderin çıkışında rastgele bire yakın bir olasılıkla doğru bir şekilde yeniden üretilmesini istiyoruz. Kodlayıcı ve kod çözücü, yalnızca geçiş olasılığının bilindiği ikili simetrik bir kanalla bağlanır.

Bu durumda, kodlayıcı hangi işlemleri gerçekleştirebileceği konusunda açıkça sınırlıdır. DSC'nin doğası, yalnızca ikili dizilerin geçmesine izin verecek şekildedir.

Pirinç. 2. İkili simetrik bir kanal üzerinden bilgi aktarımı.

Ancak kodlayıcı, girişindeki x dizisini çıkışında daha uzun bir diziye dönüştürebilir. Böylece dizi kanala girer ve bozuk versiyonu y, kod çözme cihazının girişine beslenir. Bu cihazın girişinde alınan çarpık y dizisinin kanalının bilinen geçiş olasılığı ve dönüşümü belirleyen kodlama yöntemi göz önüne alındığında, kod çözme cihazının görevi, alınan x bilgi dizisine ilişkin bir karar vermektir. kodlayıcı çıkışı

Belirli bir DSC için, kodlamanın görevi, herhangi bir x bilgi dizisinin bir dizi halinde kodlandığı bir dizi kural belirlemektir, böylece kod çözücü, meydana gelen bozulmalara rağmen, x'i benzersiz bir şekilde ve keyfi olarak küçük bir hata olasılığıyla yeniden yapılandırabilir. kanalda. Sadece ilgilenmiyoruz

kodlayıcının x'ten nasıl s ürettiğini (kodlama sorunu) belirtmek için, aynı zamanda kod çözücünün x'i y'den nasıl elde ettiğini (kod çözme sorunu) belirtmek için.

Bu sorunun en az bir basit ve açık çözümü var: x dizisinin her karakterini bir kez tekrarlayın. Örneğin, bilgi dizisi

çünkü iletilen diziyle eşleşecek

y'yi çoğunluk kuralına göre çözeceğiz. Her karakter bloğundaki veya daha fazla karakter 1 ise, kod çözücü karakter 1'i, aksi takdirde karakter 0'ı yazdırır. Bu durumda, kod çözücünün çıkışında 0'a eğilim göstereceği açıktır.

DSC diline çevrilmiş sayısal bilgilerin iletiminde hata olasılığını azaltmanın klasik yolu, ilk olarak geçiş olasılığını azaltmak, yani daha iyi bir kanal oluşturmaktır. Herhangi bir aşamada kanalın daha fazla geliştirilmesinin ekonomik olmadığı veya teknik olarak imkansız olduğu ortaya çıkarsa, iletim gerektiği kadar tekrarlanır, böylece ortaya çıkan hata olasılığı tasarımcıyı tatmin eden bir sınırın altına düşer. Klasik yaklaşımla ilgili zorluk, bu hata olasılığı sınırı sıfıra gittiğinde, ya kanalın orantısız bir şekilde pahalı hale gelmesi ya da kullanımından elde edilen gelirin orantısız olarak düşük olmasıdır. Başka bir deyişle, burada yine mükemmelliğin genellikle bir bedeli olduğu gerçeğiyle karşı karşıyayız.

Shannon'ın bilgi teorisi üzerine çığır açan çalışması, beklentilerimizle açıkça çelişen iki genel teoremi kanıtladı.

1. Belirli bir kanal için, bilgi aktarım hızı kanal kapasitesi C olarak bilinen belirli bir sınırı aşmıyorsa, uygun şekilde seçilmiş bir kodlama kullanarak önceden belirlenmiş herhangi bir değerden daha düşük bir hata olasılığıyla iletmek mümkündür.

2. Tersine, C'den büyük bilgi aktarım hızları için, keyfi olarak küçük bir hata olasılığı ile iletmek imkansızdır.

İkili simetrik bir kanal durumunda, bilgi hızını bir zaman birimiyle değil, iletilen bir sembolle ilişkilendirmek uygundur. Girişteki tüm olası x dizileri eşit derecede olası olduğunda, bilgi aktarım hızı oran tarafından belirlenir.

7.5. Kanal kapasitesi

Değer ben(X; Y) bilgi teorisinde özel bir rol oynar ve bilginin bir iletişim kanalı üzerinden iletilmesini tanımlar. Tanım (7.9)'dan şu sonuç çıkar: ben(X; Y) hem kanalın geçiş olasılıklarına hem de kanal girişindeki sembollerin olasılık dağılımına bağlıdır. Daha fazla akıl yürütme için, sabit geçiş olasılıkları olan ayrı bir hafızasız kanal düşünün ve kendinize sorun: Bu kanal üzerinden iletilebilecek maksimum bilgi miktarı nedir?

Bant genişliği verilen geçiş olasılıklarına sahip kanal, tüm giriş kaynağı sembol dağılımları üzerinden iletilen maksimum bilgiye eşittir X

Yorum.Verimin boyutu bit/semboldür. Örneğin kanal üzerinden saniyede bir karakter iletiliyorsa, bit/sn boyutundan da bahsedebiliriz.

İzin verilen tüm girdi kaynakları üzerinde maksimum arandığından, verim yalnızca kanalın geçiş olasılıklarına bağlıdır.

Matematiksel bir bakış açısından, belleksiz ayrı bir kanalın bant genişliği araması, maksimum bilgi sağlayan kaynağın giriş sembollerinin olasılık dağılımı aramaya indirgenir. ben(X; Y). Aynı zamanda, giriş sembollerinin olasılığı üzerine kısıtlamalar getirildi

Temel olarak, maksimum tanımı ben(x, y) kısıtlamalar (7.44) altında çarpımsal kullanarak mümkündür Lagrange'ın yöntemi. Ancak, böyle bir çözüm aşırı derecede pahalıdır. Belirli bir durumda (simetrik kanallar), aşağıdaki teorem verimi bulmaya yardımcı olur.

Teorem 7.5.1. Hafızası olmayan simetrik ayrık kanallarda, kaynak giriş sembollerinin olasılıklarının tek tip bir dağılımı ile verim elde edilir. X.

Yorum.B ayrıca kanalın simetrik olup olmadığını belirlemek için bir yöntem sağlar.

7.5.1. Bant genişliği

İkili Ayrık Belleksiz Simetrik Kanal (DSC) kanalın (7.2) geçiş olasılıkları matrisi kullanılarak belirlenir. DSC'yi karakterize eden tek parametre hata olasılığıdır. ε. Giriş sembollerinin tek tip dağılımından ve kanal geçişlerinin simetrisinden, çıkış sembollerinin tek tip dağılımı takip eder, yani.

(7.9) kullanarak,

Sayısal değerleri yerine koyarsak,

entropi DSC(2.32) ile tanımlanır

Sonunda DSC'nin verimini kompakt bir biçimde elde ettik

İki sınır durumu ilgi çekicidir:

1. Gürültüsüz bir kanal üzerinden bilgi aktarımı:

ve

2. Kanal tamamen gürültülü:

Ve

DSC'nin önemli bir özel durumu, silmeli ikili simetrik kanal (DSCH) veya silmeleri olan bir ikili kanal (İkili Silme Kanalı, AĞIRLIK - İngilizce). DSC gibi, silmeleri olan bir ikili kanal, bir kanal üzerinden bilgi iletmek için basitleştirilmiş bir model olarak hizmet edebilir. İle birlikte eklemeli beyaz Gauss gürültüsü (AWGN). DSCS'deki karar kuralı şekil 2'de gösterilmiştir. 7.11. Şekilden görülebilir ki, iletilen "0" veya "1" karakteri hakkındaki kararlarla birlikte, bazen burada alınan "e" karakterini (Silme-İngilizce) silmek için bir karar verilir. Algılanan analog sinyal varsa silme gerçekleşir V olasılık dağılım yoğunluğunun koşullu fonksiyonlarının değerlerinin bulunduğu bölgeye girer f(V/0) ve f(V/1) sıfıra yakındır.

Pirinç. 7.11. Tespit edilen sinyalin olasılık dağılım yoğunluğunun ve karar verme alanının koşullu fonksiyonları.

Yorum.Silinen bir ikili kanalda, alınan "O" veya "1" sembolü hakkında benzersiz bir "zor" karar yerine, "yumuşak" olarak adlandırılan bir karar verilir.çözüm. Bu durumda, alınan ikili sembolün güvenilirliği hakkında da bazı bilgilere sahibiz. Bu bağlamda, veri iletim teknolojisinde "sert" ve "yumuşak" karar alımından söz edilmektedir. Uygun bilgi kodlamasıyla birleştirilmiş "yumuşak" bir karar, bazı durumlarda daha güvenilir veri iletimine olanak tanır. Yumuşak karar kullanımına bir örnek bu kitabın ikinci bölümünde bulunabilir.

Pirinç. 7.12.

Silme olasılığını şu şekilde belirtin: q, ve silinmemiş bir sembolün hata olasılığı R.

İki giriş ve üç çıkış sembollü bir capal için geçiş diyagramı, Şekil 2'de gösterilmiştir. 7.12. Geçiş olasılıklarını içeren ilgili kanal matrisi şu şekildedir:

Silmeler ile kanalın bant genişliğini bulalım. Kanal simetrik olduğundan, girdi sembollerinin düzgün dağılımı ile verim elde edilir.

Çıktı sembollerinin olasılıkları şu şekildedir:

Artık gerekli tüm olasılıklar biliniyor. (7.9) kullanarak,

Kanal simetri özelliğini kullanarak,

Gördüğümüz gibi, silinen bir kanalın çıktısı yalnızca olasılıklara bağlıdır. R ve q. Takvim C =f(p, q) düzlemin üzerinde yer alan üç boyutlu uzaysal bir yüzeydir. (p, q). Burada kendimizi iki önemli özel durumla sınırlıyoruz.

1. Ne zaman q = 0, daha önce ele alınan ikili simetrik bir kanalımız var. değiştirme q = 0 (7.59)'da beklendiği gibi (7.49) elde ederiz.

2. Kanalda sadece silmeler var, yani. de p = 0 hatalar ya yoktur ya da onları ihmal ederiz. Bu durumda

Şek. 7.13, DSC'nin (7.49) ve silmeli ikili kanalın kapasitelerini gösterir. (p = 0). Düşük hata olasılıklarında, DSCS'de en uygun silme bölgelerini seçerek, geleneksel ikili kanallardan önemli ölçüde daha yüksek verim elde etmenin mümkün olduğuna dikkat edilmelidir.

Yorum.Bu, pratikte silmeler ile alırken verimi artırmanın mümkün olup olmadığı sorusunu gündeme getiriyor. İşte burada bilgi teorisinin zayıflığı devreye giriyor. Enformasyon teorisi genellikle teorik olarak ulaşılabilir sınırları uygulayan bir yapı sunamaz. Bununla birlikte, bu kitabın ikinci bölümünde ayrıntılı olarak tartışılan küçük bir örnek, silmelerin eklenmesinin bazen hata olasılığını azaltabileceğini göstermektedir. Bu örneği sezgisel bir düzeyde düşünün. İletilen bilgi akışını aşağıdakileri içeren bloklara bölelim: 7 ikili karakterler (7 bit). Her bloğa bir bit (“0” veya “1”) eşlik kontrolü ekliyoruz. Bu şekilde kodlanmış sekiz ikili karakterden oluşan bloklar her zaman çift sayıda karakter içerecektir. DSC'deki hata olasılığı yeterince küçük olsun. Silme bölgesini (Şekil 7.11) şu şekilde tanıtıyoruz:böylece hatalar çoğunlukla silinmeye dönüşür. Bu durumda, “silinmemiş” bir hata olasılığı ihmal edilebilir ve silinme olasılığı oldukça küçük kalacaktır. Vakaların büyük çoğunluğunda sekiz ikili karakterden oluşan blokların ya doğru şekilde alınacağı ya da yalnızca bir silinmiş ikili karakter içerdiği bir silme büyük harf (DSKS) alacağız. Çift sayılı bir bloktaki bir silme her zaman düzeltilebilir olduğundan, alım kalitesi önemli ölçüde artacaktır.

Pirinç. 7.13.İkili simetrik bir kanalın bant genişliği İTİBAREN DSC hata olasılığı olan ε ve silmeleri olan bir ikili kanal İTİBAREN DSKS silme oranı ile q ve hata olasılığı R= 0.

Örnek: Silmeler ile ikili simetrik kanal.

Pirinç. 7.14. Silme içeren ikili kanal.

Şek. 7.14 Silmeler ile simetrik bir kanalın geçici rejim diyagramı verilmiştir. Tanımlamak:

1. Kanal matrisi

2. Y kaynak sembollerinin olasılık dağılımı, kaynak sembollerin bilindiği durumlarda X eşit olarak dağıtılmış, yani baba = pi = 1/2;

3. Kanal kapasitesi;

4. Tüm entropilerle bilgi akışlarının diyagramı;

5. Ru/y matrisli kanal modeli.

Çözüm.

1. Matrisin her satırındaki olasılıkların toplamının 1 olduğu gerçeğini dikkate alarak şunu elde ederiz:

2. Girdideki sembollerin olasılıklarının düzgün dağılımına dayanarak, (7.52)'ye göre,

3. İncelenen kanal simetrik olduğundan, çıktı, giriş sembollerinin düzgün dağılımı ile elde edilir. (7.54)'den, (7.56)'yı dikkate alarak,

4. Belleksiz ayrık bir ikili kaynağın entropisi X tek tip bir sembol ile olasılık dağılımı eşittir

kaynak entropisi YR avna

Simetrik bir kanalda olduğundan giriş sembollerinin düzgün dağılımı ben(X; Y) verim eşittir İTİBAREN(7.58)'den, ortak entropi ve iki koşullu entropi Tablo 7.3 kullanılarak hesaplanabilir. Bilgi akışlarının diyagramı, Şek. 7.15.

Pirinç. 7.15. Silinmiş bir ikili simetrik kanalın bilgi akışlarının diyagramı.

5. Kanalın geçiş olasılıkları matrisinin yeniden hesaplanması

Matris, bağımsız bir alıştırma olarak okuyucuya bırakılmıştır. Giriş kaynağı ile kanal şeması Y ve hafta sonları X Şek. 7.16 kontrol için.

Pirinç. 7.16. Silmeler ile ikili simetrik kanal.

7.6. Ayrık hafızasız kanallar için kodlama teoremi

C[bit/sembol] bant genişliğine sahip, her bir sembolün T s sn. Bu kanal için

Bir kaynağın entropisi olsun X, saniye cinsinden ölçülür, H(X) biraz. O halde aşağıdaki teorem geçerlidir.

teorem 7.6.1. Kanal kodlama teoremi(Shannon teoremi).

Kaynak için X hız ile R = H(X)/ T S [bps] ve R < С bazı kodlar var. kaynak bilgilerin yardımıyla X keyfi olarak küçük bir hata olasılığı ile C 1 [bps] kapasiteli bir iletişim kanalında iletilebilir.

* Kodlama teoremi sadece kesikli kanallar için değil, kesikli mesajların sürekli kanallar üzerinden iletimi için de geçerlidir. Not. tercüme

Bir kanal için kodlama teoreminin ispatı (örneğin bakınız, ) oldukça karmaşıktır ve bu kitabın kapsamı dışındadır, bu yüzden burada kendimizi aşağıdaki açıklamalarla sınırlıyoruz.

Kodlama teoreminin kanıtı, sonsuz uzunluktaki rastgele kodların ve minimum hata olasılığını sağlayan bir maksimum olabilirlik kod çözücünün kullanımını içerir. Kanıt herhangi bir yapıcı çözüm kullanmaz. Sonsuzluğa meyilli blok uzunluğuna sahip blok kodları için sadece istatistiksel özellikler ve limit geçişleri kullanır. Kanıt, optimal kodların oluşturulmasına dair herhangi bir gösterge vermez.

Kodlama teoremi ayrıca bit hızında bir üst sınır tanımlar. R.*

Teoremi ispatlarken, üstel tahminde bulunuruz. R 0 teknik olarak ulaşılabilir veri aktarım hızını tahmin etmek için kullanılabilir.

* Burada bir açıklama gereklidir. Bunu söyleyen bir ters kodlama teoremi var. ne zaman R> C bilgilerin keyfi olarak küçük bir hata olasılığı ile iletilmesine izin veren bir kodlama yöntemi yoktur. Not. tercüme

Bölüm 8

Bölüm 2, entropiyi kaynak belirsizliğinin bir ölçüsü olarak tanımlar. Entropinin rastgele deneylerle ölçüldüğü varsayılmıştır. Bu bölümde, sürekli kaynaklara benzer bir yaklaşım uygulayacağız.

Pirinç. 8.1. Sürekli kaynak sinyali.

Sonlu bir sembol alfabesine sahip kaynaklar yerine, çıktıları sürekli sinyaller olan kaynakları ele alacağız. Bu tür sinyallere bir örnek, telefon kanallarındaki vb. zamanla değişen voltajdır. Şekil 8.1 sürekli bir kaynağı gösterir X, çıkışı bir analog sinyal olan x(t), hangi zamanın rastgele bir fonksiyonudur t. Değerleri dikkate alacağız x(t) kaynak hakkında bazı bilgiler taşıyan rastgele deneyler olarak belirli bir zamanda X.

8.1. diferansiyel entropi

Şekil 8.2 iki sürekli kaynağı göstermektedir X ve Y, bir kanalla bağlanır (Şekil 7.4'e benzer). Burada olasılıklar yerine, stokastik değişkenlerin olasılık dağılım yoğunluklarının fonksiyonları vardır.

Stokastik değişkenlerin ve bunların olasılık dağılım yoğunluk fonksiyonlarının kullanımı, ayrık kaynaklara benzeterek, iki sürekli kaynak için bilgi, entropi, koşullu ve karşılıklı entropi kavramını tanıtmamızı sağlar.

Pirinç. 8.2. Bir kanalla bağlanan hafızasız iki sürekli kaynak.

Sürekli bir kaynağı dönüştürme X ayrık. Bunu yapmak için, kaynağın analog çıkışının değerlerini bir adım Δ ile nicelleştiriyoruz (Şekil 8.3).

Pirinç. 8.3. Gözlem anlarında nicemleme aralığı Δ ile sürekli bir kaynağın sayısallaştırılması t 0 , t 1 vb.

Ek olarak, bilgi teorisinde genellikle yapıldığı gibi, kaynağı değil zamanı ayıralım. Sonuç olarak, bir stokastik değişken dizisi elde ederiz.Çizelge 7.2'yi takip ederek sembollerin karşılıklı bilgisini belirleriz. x i, ve y j , nerede x i - çıkış sembolünün o andaki değeri t m , a x j - o zaman t n

Karşılıklı bilgi, bir değişkene isabet etmenin “kaldırılmış” (kayıp) belirsizliği olarak yorumlanabilir. X P aralıkta , değişken olduğu bilindiğinde X t aralığa ait ya da tam tersi. Olasılık dağılımı yoğunluk fonksiyonunu sürekli bir fonksiyon olarak ele alacağız. Ardından, nicemleme aralığının genişliğini sıfıra ayarlayarak, şunu elde ederiz:

şunlar. ayrık kaynaklar için karşılıklı bilgi ifadesine benzer bir sonuç. iletilen bilgi matematiksel beklenti olarak tanımlanabilir

Yorum.Burada, bu bölümün gösterimini X yerine Tablo 7.2'nin sonuçlarıyla hizalamak için t KullanılmışX, ama velakinY n - Y.

Kaynak bilgiler benzer akıl yürütmeye dayalı olarak belirlenir

Karşılıklı bilgi için ifadenin (8.3) aksine, (8.4)'de niceleme aralığı Δ'ye bağlı olan bir terim görünür.

'de, değer aynı zamanda sonsuza gitme eğilimindedir. Sonuç olarak, ifadesi de ∞ olma eğilimindedir. Bu şaşırtıcı değildir, çünkü niceleme adımında bir azalma ile bireysel olayların sayısı (kaynak alfabesinin sembolleri) artar ve sonuç olarak kaynağın belirsizliği de artar.

Değer kaynağa bağlı değildir ve tanımı için tamamen uygun değildir, bu nedenle sürekli kaynağın yalnızca olasılık yoğunluk fonksiyonunu kullanmak oldukça doğal görünmektedir. Böylece bir sonraki tanıma geçiyoruz.

Sürekli bir kaynağın ortalama bilgisi, sözde diferansiyel Entropi, olarak tanımlandı

Her şeyden önce, diferansiyel entropinin böyle keyfi bir tanımının, ayrık kaynaklar için entropi oranlarının sürekli kaynaklar ve kanallar için de geçerli olması gerçeğiyle uygunluğunu teyit ettiğini belirtelim. Özellikle (7.39) - (7.42) ilişkileri sürekli kaynaklar için geçerlidir.

Böylece, sürekli bir kaynağın diferansiyel entropisi, yalnızca genel durumda sonsuz bir değer olan olasılık dağılım yoğunluk fonksiyonuna bağlıdır, bu nedenle, diferansiyel entropinin değerinin ne kadar büyük olabileceği sorusunu gündeme getiriyoruz. Her şeyden önce, stokastik sürecin özelliklerinin iki miktar olduğunu not ediyoruz: stokastik değişkenin aldığı ortalama değer (doğrusallık özelliğine sahip) μ ve stokastik değişkenin standart sapması σ .

Ortalama değer veya matematiksel beklenti μ diferansiyel entropi üzerinde hiçbir etkisi yoktur. büyüme ile σ , kaynağın belirsizliği artar, bu da diferansiyel entropide bir artışa yol açar. Bu bağlamda, olasılık dağılım yoğunluklarının çeşitli fonksiyonlarını aynı anda karşılık gelen entropilerine göre karşılaştırmak mantıklıdır. σ .

Yorum.Bilgi teknolojisinde, ilk parametre alınırσ 2 - stokastik sürecin ortalama gücünü belirleyen dağılım[ on]. Verici gücündeki bir artışla iletilen bilgi miktarının arttığı ve tersine gürültü gücündeki bir artışla belirsizliğin arttığı açıktır, yani. birim zamanda daha az bilgi iletilir.

Bilgi teorisinden, diferansiyel entropinin bir Gauss olasılık dağılımı ile maksimum değerine ulaştığı sonucu çıkar.

Teorem 8.1.1. Belirli bir dağılım için σ 2 , maksimum diferansiyel entropinin bir kaynağı vardır Gauss dağılımıüstelik olasılıklar.

Örnek: Bir Gauss kaynağının diferansiyel entropisi.

(8.5)'ten bir Gauss kaynağının diferansiyel entropisinin şuna eşit olduğu sonucu çıkar.

Köşeli parantez içindeki ifade iki integrale ayrılabilir. Böylece, nihayet sahip olduk

En yaygın üç dağılım için sayısal örnekler Tablo 8.1'de verilmiştir.

Tablo 8.1. Diferansiyel entropi örneği.

Örnek: Telefon.

Yukarıdaki sonuçların pratik kullanışlılığı, dijital telefon hatlarında bilgi aktarım hızının (bit cinsinden) başarılarının değerlendirilmesiyle açıkça gösterilebilir. Dijital konuşma iletiminin (logaritmik PCM) modern standart yöntemleri, 8 kHz örnekleme hızında bir örneği kodlamak için 8 bit gerektirir. Böylece konuşma hızı 64 kbps'dir.

[-1,1] aralığında olasılıkların düzgün dağılımına dayanarak, ampirik olarak şunu elde ederiz: σ 2 = 1/3. Böylece, sayım başına diferansiyel entropi,

Örnekler 8 kHz frekansta alındığından gerekli konuşma hızının 8 kbps olduğunu elde ederiz. Entropiyi tahmin ederken, komşu örnekler (kaynak bellek) ve arasındaki bağlantıları hesaba katmadık. bu nedenle konuşma kaynağının gerçek diferansiyel entropisi daha da az olacaktır. Aslında, modern konuşma kodlama algoritmalarının, standart PCM ile karşılaştırılabilir bir kalitede yaklaşık 8 kbps hızında bir konuşma sinyalinin iletilmesine izin verdiğini biliyoruz.

Bu bölümde kod sentezinde faydalı olacak kanal modelleri anlatılmaktadır. En basiti, dedektörün ne zaman ve zor kararına karşılık gelen ikili simetrik kanal (BSC) modelidir.

İkili simetrik kanal. Bir ek gürültü kanalı düşünün ve modülatör ve demodülatör/dedektörün kanalın bir parçası olarak dahil edilmesine izin verin.

Pirinç. 7.1.1. Kompozit kanal, giriş ve çıkışta ayrık, kanalın parçaları olarak bir modülatör ve bir demodülatör/dedektör dahil edilerek oluşturulmuş

Modülatör ikili sinyaller kullanıyorsa ve dedektör zor kararlar veriyorsa, Şekil 2'de gösterilen bileşik kanal. 7.1.1, giriş ve çıkışta ayrık zamanlı ikili diziye sahiptir. Böyle bir bileşik kanal, bir dizi olası girdi, bir dizi olası çıktı ve olası girdiler verilen olası çıktıların bir dizi koşullu olasılığı ile karakterize edilir. Kanal gürültüsü ve diğer bozulmalar, ortalama olasılıkla ikili bir dizinin iletiminde istatistiksel olarak bağımsız hatalara neden oluyorsa, o zaman

(7.1.1)

Böylece, bir ikili modülatörün, bir kanalın ve bir ikili demodülatörün ve bir dedektörün kademeli bağlantısını, Şekil 2'deki grafikle temsil edilen eşdeğer bir ayrık zamanlı kanala indirdik. 7.1.2. İkili girişli ve ikili çıkışlı bu dengeli kanala genel olarak ikili dengeli kanal (BSC) denir. Bir kanalın her çıkış ikili sembolü sadece karşılık gelen giriş ikili sembolüne bağlı olduğundan, bu kanalın hafızasız olduğunu söylüyoruz.

Şekil 7.1.2. İkili dengeli kanal

Belleksiz ayrı kanallar. DSC, ayrı bir girişi ve ayrı bir çıkışı olan daha genel bir kanalın özel bir durumudur. Kanal kodlayıcıya girişin -ary karakterler olduğunu varsayın, yani. , ve dedektörün çıktısı -ary sembolleridir, burada . Kanal ve modülasyon hafızasız ise, Şekil 1'de gösterilen bileşik kanalın giriş-çıkış karakteristiği. 7.1.1, bir dizi koşullu olasılık ile tanımlanır

Nerede ve . Böyle bir kanala ayrık hafızasız kanal (DKBC) denir ve grafiksel gösterimi Şekil 1'de gösterilmektedir. 7.1.3. Bu nedenle, DCBP'nin girişi alfabeden seçilen bir sembol dizisiyse ve karşılık gelen çıktı alfabedeki sembollerin dizisiyse, ortak koşullu olasılıklar aşağıdaki gibi tanımlanır:

Şekil 7.1.3. Ayrık kanal, girişte -ary ve çıkışta -ary

Bu ifade, belleksiz koşulun yalnızca matematiksel bir ifadesidir.

Genel olarak, DCPD'yi karakterize eden koşullu olasılıklar, tanım gereği, bir matris şeklinde sıralanabilir. . aranan

kanalın geçiş olasılıkları matrisi.

Ayrık girişli ve sürekli çıkışlı kanal.Şimdi, modülatörün girişine sonlu ve ayrık bir giriş alfabesinden seçilen sembollerin verildiğini varsayalım. , ve dedektör çıkışı nicelleştirilmez. Daha sonra kanal kod çözücünün girişi, gerçek eksendeki herhangi bir değer olarak kabul edilebilir, yani. . Bu bizi, ayrı bir girdi, sürekli bir çıktı ve bir dizi koşullu PDF ile karakterize edilen ayrık zamanlı, hafızasız bir bileşik kanalın tanımına götürür.

Bu türün en önemli kanalı, eklemeli beyaz Gauss gürültüsü (AWGN) kanalıdır.

sıfır ortalamalı ve varyanslı Gauss rastgele değişkenleri nerede ve , . Bunun için ortalama ve varyanslı bir Gauss rastgele değişkeni olduğu sonucu çıkar. Bu şu anlama gelir

(7.1.5)

Herhangi bir girdi dizisi için karşılık gelen bir çıktı dizisi vardır.

Kanalın hafızasız olması durumu şu şekilde ifade edilebilir:

sinyal kanalları. Modülatörü ve demodülatörü fiziksel kanaldan ayırabilir ve giriş ve çıkışların sinyal olduğu bir kanal modeli düşünebiliriz. Böyle bir kanalın, bant içinde ideal bir frekans yanıtına sahip belirli bir frekans bandına sahip olduğunu ve çıkışındaki sinyalin ek beyaz Gauss gürültüsü tarafından bozulduğunu varsayalım. Bunun, bu kanal için frekans sınırlı bir giriş ve karşılık gelen çıkış olduğunu varsayın. O zamanlar

(7.1.8)

burada bir ek gürültü rastgele işleminin uygulanmasını temsil eder. Bir kanalı karakterize eden olasılıklar kümesini belirlemek için uygun bir yöntem, genişletmektir. tam bir ortonormal fonksiyonlar dizisine dönüştürülür. Bu ifade ettiğimiz anlamına gelir şeklinde

nerede - örneğin karşılık gelen ifadelerde bir dizi katsayı

Fonksiyonlar, aralıkta tam bir ortonormal topluluk oluşturur, yani.

(7.1.11)

Kronecker delta işlevi nerede. Gauss gürültüsü beyaz olduğundan, ifadeler (7.1.9) ortonormal fonksiyonların herhangi bir tam grubunu kullanabilir. sayımlar var. Bu parametre aşağıda frekans sınırlı AWGN kanalının bant genişliğini elde etmek için kullanılır.

Belirli bir zaman aralığında kullanımı için kanal modelinin seçimi, çalışmanın amacına bağlıdır. Ayrık bir kanalın kodlayıcı ve kod çözücüsünün sentezi ve kalite analizi ile ilgileniyorsak, modülatör ve demodülatörün bileşik kanalın parçası olduğu kanal modellerini dikkate almak kabul edilebilir. Öte yandan, amacımız sayısal modülatör ve sayısal demodülatör kalitesini sentezlemek ve analiz etmek ise, sinyal kanalı modelini kullanırız.

- (DSK), verilerin her zaman doğru bir şekilde iletileceği varsayımıyla, girişi ikili karakter olan en basit iletişim kanalıdır. Bu kanal, analiz edilmesi en basit kanallardan biri olarak genellikle kodlama teorisinde kullanılır ... ... Wikipedia

ikili simetrik kanal- “0” ve “1” sembollerinde hata oluşma olasılığının ortalama olarak aynı olduğu ve önceki sembollerin sonrakilere etkisinin olmadığı bir veri iletim kanalı. Bilgi iletiminin güvenilirliği, hangisine bağlı değildir ... ...

- (İngiliz kanalı, veri hattı) bir kaynaktan bir alıcıya (ve tam tersi) mesajları (sadece veri değil) iletmek için bir teknik araçlar sistemi ve bir sinyal yayma ortamı. Dar anlamda anlaşılan bir iletişim kanalı (iletişim yolu), ... ... Wikipedia

Bilgi teorisinde kanal, bilgiyi iletmek için tasarlanmış herhangi bir cihaz. Teknolojiden farklı olarak, bilgi teorisi bu cihazların özel doğasından soyutlanır, tıpkı geometrinin cisimlerin hacimlerini incelemesi gibi, soyutlanmış ... ...

Bir iletişim kanalı, bir veya daha fazla simetri özelliğine sahip bir geçiş işlevi. Kesikli zaman ve sonlu durum uzayları Y ve geçiş matrisi tarafından belirtilen giriş ve çıkışta sinyal bileşenleri olan hafızasız homojen bir kanal ... ... Matematiksel Ansiklopedi

I Kanal (Latince canalis borusundan, oluktan), hidrolik mühendisliğinde, zeminde düzenlenmiş suyun serbest akış hareketi ile doğru biçimde yapay bir kanal (su kanalı). K. açık bir kazıda veya bir sette inşa edilir (kirişleri, vadileri vb. geçerken), ... ... Büyük Sovyet Ansiklopedisi

Dijital iletim kanalı- 3.8 Dijital iletim kanalı Bir dijital telekomünikasyon sinyalinin belirli bir iletim kanalının iletim hızı özelliğinde iletilmesini sağlayan bir dizi teknik araç ve iletim ortamı. Kaynak …

dijital veri bağlantısı- PD dijital kanalı Üzerinden yalnızca bir dijital veri sinyalinin iletilebildiği bir veri iletim kanalı. Not Dijital veri bağlantısına, iletilen sinyalin türüne bağlı olarak bir ad verilir, örneğin ikili dijital… … Teknik Çevirmenin El Kitabı

Dijital veri bağlantısı- 164. Dijital veri kanalı Dijital PD kanalı E. Dijital veri kanalı Üzerinden yalnızca dijital bir veri sinyalinin iletilebildiği bir veri kanalı. Not. Bir dijital veri kanalına bağlı olarak bir ad atanır ... ... Normatif ve teknik dokümantasyon terimlerinin sözlük referans kitabı

Bilginin depolanması, dönüştürülmesi ve iletilmesi süreçlerini inceleyen matematik dalı. Bilgi miktarını ölçmenin belirli bir yoluna dayanır. İletişim teorisinin sorunlarından ortaya çıkan bilgi teorisi bazen ... ... Collier Ansiklopedisi

GOST R 51385-99: Hızlı paket anahtarlamalı geniş bant dijital entegre hizmetler ağında iletim prosedürlerinin ve hizmet paketlerinin (mesajların) biçimlerinin unsurları. Prosedürler ve formatlar için gereklilikler- Terminoloji GOST R 51385 99: Hızlı paket anahtarlamalı bir geniş bant dijital entegre hizmet ağında iletim prosedürlerinin unsurları ve hizmet paketlerinin (mesajların) biçimleri. Orijinal belgenin prosedürleri ve formatları için gereklilikler: 2.2 ... ... Normatif ve teknik dokümantasyon terimlerinin sözlük referans kitabı

Bilgi işlem sistemlerinde bilgi işleme, mesajların bireysel öğeler (RAM ve işlemci, işlemci ve harici cihazlar) arasında iletimi olmadan imkansızdır. Veri aktarım işlemlerinin örnekleri aşağıdaki tabloda gösterilmiştir.

Yukarıda listelenen iletim süreçlerinde bazı benzerlikler görülebilir. Bilgi iletmek için genel şema, Şekil 7.1'de gösterilmiştir.

Kanalda sinyal, iletim sürecine müdahale eden çeşitli etkilere maruz kalır. Etkiler kasıtsız (doğal nedenlerden kaynaklanan) veya bazı düşmanlar tarafından bir amaç için özel olarak organize edilmiş (yaratılmış) olabilir. İletim süreci (parazit) üzerindeki istenmeyen etkiler, sokak gürültüsü, elektrik deşarjları (yıldırım dahil), manyetik bozulmalar (manyetik fırtınalar), sisler, süspansiyonlar (optik iletişim hatları için) vb. olabilir.

Pirinç. 7.1. Genel bilgi aktarım şeması

Girişimin veri iletim süreci üzerindeki etkisinin mekanizmasını ve bunlara karşı koruma yöntemlerini incelemek için belirli bir modele ihtiyaç vardır. Hataların meydana gelme süreci, diyagramı Şekil 7.2'de gösterilen ikili simetrik kanal (BSC) adlı bir modeli tanımlar.

Pirinç. 7.2.İkili dengeli bir kanalın şeması

Mesaj gönderirken üzerinde Diğer bitlerde hata olup olmadığına bakılmaksızın, mesajın her bitindeki DSC'nin bir hata olması muhtemeldir. Hata, 0'ın işaretini 1'e veya 1'i 0'a değiştirmektir.

Bazı hata türleri:

En yaygın işaret değiştirme. Bu tür bir hata en kapsamlı şekilde incelenmiştir.

Mesaj iletiminin güvenilirliğini artırmanın yolları

Mesajları kodlarken optimal kodlar kullanılırsa, yalnızca bir hata oluşursa, mesajın tamamı veya önemli bir kısmı bozulabilir. Bir örnek düşünün. İzin vermek kodlama temel kaynak mesajları bir kod tablosu kullanılarak gerçekleştirilir

Daha sonra kodlanmış mesaj 011011100110 biçimindedir. İlk karakterde bir hata oluşursa, kodu çözülen 111011100110 mesajı alınır. kelime. Bir hata nedeniyle mesajın tamamen bozulması, bir kodun olması nedeniyle oluşur. kelime başka bir koda gider kelime bir veya daha fazla karakterin değiştirilmesinin bir sonucu olarak. Örnek göstermektedir ki, optimal kodlama mesajları hataların etkilerinden iyi korumaz.

Pratikte gerekli anlaşmak kod tutumluluğu ve hata önleme arasında.

İlk olarak, "işe yaramaz" kaldırılır fazlalık(çoğunlukla istatistiksel) ve ardından "yararlı" eklendi fazlalık, bu da hataları tespit etmeye ve düzeltmeye yardımcı olur.

Veri iletiminin güvenilirliğini artırmak için bazı yöntemler düşünün. Girişimle başa çıkmanın iyi bilinen yöntemleri şunlardır:

bağlamda aktarım;

mesajların çoğaltılması;

iletim iletimi.

Bu yöntemlerin her birine daha yakından bakalım.

Bağlamda aktarın. Bilinen ve genel kabul gören bu yönteme, bir kişinin soyadını oluşturan harfler yerine, sesliliği zayıf olan bir kişinin soyadını telefonda iletmeye çalışan, ilk harfleri bu soyadı oluşturan bazı isimleri arayan herkes tarafından karşılaşılmıştır. Bu durumda, anlamsal içeriğinin bilgisi, bozuk mesajın düzeltilmesine yardımcı olur.

Yinelenen mesajlar. Bu yöntem aynı zamanda günlük pratikte de yaygın olarak kullanılmaktadır, doğru anlaşılmak için istenen mesaj birkaç kez tekrarlandığında.

Yeniden aktarım ile aktarın. Alıcının bir ilişkisi olması durumunda mesaj kaynağı, mesajların güvenilir bir şekilde şifresinin çözülmesi için, bir tekrar isteği kullanırlar, yani iletilen mesajın tamamını veya bir kısmını tekrarlamayı isterler.

Güvenilirliği artırmanın tüm bu yöntemlerinde ortak olan, artıklığın getirilmesidir, yani, bozulmaların varlığında doğru bir şekilde şifresini çözebilmek için iletilen mesajın hacminde şu veya bu şekilde bir artıştır.

Artıklığın getirilmesinin azaldığına dikkat edilmelidir. iletim hızı bilgi, iletilen mesajın yalnızca bir kısmı alıcının ilgisini çektiğinden ve fazla payı gürültüye karşı koruma sağlamak için tanıtıldığından ve yararlı bilgiler taşımadığından.

Bir mesajın hacminde minimum bir artışla maksimum gürültü bağışıklığı sağlamaya izin veren bu tür fazlalık tanıtma biçimlerinin seçilmesi doğaldır.