1) Tıp çalışmasına sistematik bir yaklaşım. Sistem konsepti. Sistem özellikleri. Tıbbi sistem örnekleri.

Nesnelerin sistem olarak incelenmesine dayanan sistematik bir yaklaşım, özel bilimsel bilgi ve sosyal uygulama metodolojisinin yönü.

sistem- belirli bir bütünlük, birlik oluşturan, birbirleriyle ilişki ve bağlantı içinde olan bir dizi unsur.

tüm sistemlerde ortak olan özellikler:

Bütünlük- sistem, bütünlüğü olan ve sınırları içinde tanımlanan soyut bir varlıktır. Sistemin bütünlüğü, bazı temel yönlerden, elemanların bağlantılarının "gücü" veya "değeri" anlamına gelir. sistem içinde sistem elemanlarının elemanlarla olan bağlantılarının gücünden veya değerinden daha yüksek harici sistemler veya Çarşamba.

Sinerji, ortaya çıkma, bütünsellik, sistemik etki- sistem öğelerinde yer almayan özellikler sistemindeki görünüm; Sistemin özelliklerinin, onu oluşturan bileşenlerin özelliklerinin toplamına temel indirgenemezliği. Sistemin yetenekleri, kendisini oluşturan parçaların yeteneklerinin toplamını aşıyor; sistemin genel performansı veya işlevselliği, öğelerin basit bir toplamından daha iyidir.

hiyerarşi- sistemin her elemanı bir sistem olarak kabul edilebilir; sistemin kendisi de bazı üstsistemlerin (süpersistem) bir öğesi olarak düşünülebilir.

Uzman sistemler - bir üretim kuralları sistemi (mantıksal çıkarım kuralları) kullanarak tıbbi bilginin yapısının ve içeriğinin mantıklı bir açıklaması.

Kullanıcının seviyesini aşan bir bilgi düzeyinde belirli bir alanda danışmanlık; - bilgisayar teknolojilerinin kullanımı "yapay zeka"; - buluşsal kurallar sistemleri şeklinde bir bilgi tabanının oluşturulması; - bir karar alma sürecinde muhakeme açıklaması.

Tıbbi bilgi sistemleri (MIS'ler). Amaçlarına göre, bu sistemler üç gruba ayrılır: 1) ana işlevi veri ve bilgi birikimi olan sistemler.

2) teşhis ve danışmanlık sistemleri

3) tıbbi bakım sağlayan sistemler

Tıbbi Bilgi Sistemi (MIS) - tıbbi süreçleri ve (veya) organizasyonları otomatikleştirmek için tasarlanmış bir dizi bilgi, organizasyon, yazılım ve donanım aracı

Tıbbi bilgi sistemlerinin görevleri

Veri toplama

Verilerin kaydı ve belgelenmesi

Bilgi alışverişini sağlamak

Hastalığın seyrinin izlenmesi (tıbbi gözetim)

Tedavi ve teşhis sürecinin teknolojisinin uygulanmasının izlenmesi (teknolojik kontrol)

Bilgi depolama ve alma (arşivleme)

Veri analizi

Karar desteği

Eğitim

2. Bir kontrol sistemi olarak tıbbi sistem. Kontrol sistemlerinde geri besleme prensibi. Bilişim yöntemlerinin ve araçlarının tıbbi yönetim sistemindeki yeri.

kontrol teorisi- çeşitli sistemleri, süreçleri ve nesneleri yönetme ilke ve yöntemlerinin bilimi. Kontrol teorisinin temelleri sibernetik (makineler, canlı organizmalar veya toplum gibi çeşitli sistemlerde kontrol süreçleri ve bilgi transferinin genel yasalarının bilimi) ve bilgi teorisidir.

Yönetim süreci birkaç aşamaya ayrılabilir:

1. Bilgilerin toplanması ve işlenmesi.

2. Analiz, sistematizasyon, sentez.

3. Bu temelde hedefler belirlemek. Yönetim yönteminin seçimi, tahmin.

4. Seçilen yönetim yönteminin uygulanması.

5. Seçilen yönetim yönteminin etkinliğinin değerlendirilmesi (geri bildirim).

Kontrol teorisinin nihai amacı, tutarlılık, optimizasyon ve sistemlerin en verimli şekilde çalışması anlamına gelen evrenselleştirmedir.

Teknik sistemlerin ve diğer nesnelerin kontrol teorisi tarafından ele alınan kontrol yöntemleri, üç temel ilkeye dayanmaktadır:

1. Açık çevrim (yazılım) denetimi ilkesi,

2. Tazminat ilkesi (bozulma kontrolü)

3. Geri bildirim ilkesi.

Yönetim iki türe ayrılabilir:

doğal: etki, konuların etkileşiminin bir sonucu olarak ortaya çıkar (sinerjik yönetim);

bilinçli: nesnenin planlanan etkisi (hiyerarşik yönetim).

Hiyerarşik yönetimde, sistemin işleyişinin amacı, onun üst sistemi tarafından belirlenir.

Tıbbi sibernetik, tıp ve sağlık hizmetlerinde sibernetiğin fikirlerinin, yöntemlerinin ve teknik araçlarının kullanımı ile ilgili bilimsel bir yöndür.

Geleneksel olarak, tıbbi sibernetik aşağıdaki gruplarla temsil edilebilir:

Hastalıkların hesaplamalı teşhisi

Bu bölüm, tanı koymak için biyolojik bir nesneden bilgi işlerken bilgisayar teknolojisinin kullanımı ile ilişkilidir. İlk adım, hastanın sağlık durumunun resmi tanımı için yöntemler geliştirmek, tanıda kullanılan klinik parametreleri ve belirtileri netleştirmek için kapsamlı bir analiz yapmaktır. Burada, nicel tahminler taşıyan özellikler birinci derecede önemlidir. Bir hastanın fizyolojik, biyokimyasal ve diğer özelliklerini nicelleştirmeye ek olarak, hesaplamalı teşhis, klinik sendromların sıklığı (önceki verilerden) ve bunların sınıflandırılması, teşhis etkinliğinin değerlendirilmesi vb. hakkında teşhis işaretleri hakkında bilgi gerektirir.

Otomatik kontrol sistemleri ve bunları sağlık hizmetlerinin organizasyonu için kullanma imkanı ve ben.

Burada amaç, sektöre özel otomatik sistemler (OSAU) oluşturmaktır. Bu tür sistemler, "sağlık" gibi önemli bir sektör için yaratılmıştır. OSAU'nun sağlık hizmetlerindeki özellikleri, hem kontrol ünitesini hem de diğer unsurları içermesidir: önleme, tedavi (tanı ile), tıp bilimi, personel, malzeme desteği. OSAU Healthcare'in birincil görevleri, tıbbi faaliyetin ana alanları hakkında istatistiksel bilgilerin toplanması ve analizinin otomasyonunu ve bazı yönetim süreçlerinin optimizasyonunu içerir.

3. Bilgi entropisi kavramı.

Entropi (bilgisel), bilginin rastgeleliğinin, birincil alfabenin herhangi bir sembolünün görünümünün belirsizliğinin bir ölçüsüdür. Bilgi kayıplarının olmaması durumunda, iletilen mesajın sembolü başına bilgi miktarına sayısal olarak eşittir.

Örneğin, Rusça'da herhangi bir cümleyi oluşturan bir dizi karakteri ele alalım. Her sembol farklı bir frekansta görünür, bu nedenle bazı semboller için görünüm belirsizliği diğerlerinden daha fazladır. Bazı sembol kombinasyonlarının çok nadir olduğunu hesaba katarsak, belirsizlik daha da azalır.

Bilgi ve entropi kavramlarının birbirleriyle derin bağlantıları vardır, ancak buna rağmen, istatistiksel mekanik ve bilgi teorisindeki teorilerin gelişimi, onları birbirleriyle tutarlı hale getirmek için uzun yıllar aldı.

Entropi kavramının tanıtılması, çeşitli deneylerin olasılık ölçüsünün kullanımına dayanmaktadır. Bilgi entropisi için bir formül elde etmek için aşağıdaki tekniği kullanabilirsiniz. Her biri M durumundan birini alan (M, alfabedeki harf sayısıdır) bir N olay dizisi olsun (örneğin, N harfli bir metin). Sonra . Yeterince uzun bir olaylar zinciri için bu durumun tezahür etme olasılığını buluyoruz, i = 1, ¼, M. M harfli alfabenin N harfinin farklı dizilerinin toplam sayısı ... Biçimsel olarak, R dizilerinin her birinin görünümü eşit olasılıklıdır, bu nedenle, böyle bir olaylar zincirindeki bilgi miktarını belirlemek için, eşit olası sonuçlar için Hartley formülünü kullanırız (1). Bizim durumumuz için, tüm N ve tüm N i yeterince büyüktür, çünkü ancak o zaman olasılık olarak tüm pi anlamlı olur. Bu nedenle, Stirling dönüşümünü istatistiksel fizikte olduğu gibi uyguluyoruz. Yukarıdaki tüm öncülleri kullanarak ve (1) logaritmasını doğal tabana indirgeyerek, Shannon formülünü elde ederiz. M olası durumların her biri için ¾ bilgi entropisi.

Gelecekte, entropi kavramı, çeşitli deneylerin belirsizliğini (ve dolayısıyla bilgi yükünü) hesaplama problemlerini çözmek için kullanılabilir. Elde edilen bilgi deneyin belirsizliğini tamamen ortadan kaldırıyorsa, miktarı verilen deneyin entropisine eşit kabul edilir. Bu nedenle, entropi kavramının kullanımı, çeşitli tahminlerin değerini belirlemeye hizmet edebilir. Ve gerçek kodun etkinliğini değerlendirmek için bir kriter oluşturmak ve yalın kodları geliştirmek için bir araç olarak entropi kavramını (pratik bir bakış açısından) kullanmak daha da ilginç ve faydalıdır.

5. Temel bilgi süreçlerinin temel kavramları: depolama, bilgi işlemenin aktarımı.

Bilgi süreci - elde etme, yaratma, toplama süreci, işleme, birikim, depolamak, arama, aktarma ve bilgi kullanımı.

İnsanlar hangi bilgilendirme faaliyetinde bulunursa bulunsun, her şey üç sürecin uygulanmasına bağlıdır: bilginin depolanması, iletilmesi ve işlenmesi. Bu süreçlere temel denir.

Depolamak

Bilginin depolanması, bir bilgisayarın harici belleğindeki bilgilerin içeriği olarak anlaşılmalıdır.

Bilginin depolanması, depolama ortamı, dahili bellek, harici bellek, bilgi depolama gibi kavramlarla ilişkilidir. Depolama ortamı, bilgileri doğrudan depolayan fiziksel bir ortamdır. Bir kişi için ana bilgi taşıyıcısı kendi biyolojik hafızasıdır (insan beyni). Dahili bellek olarak adlandırılabilir. Diğer tüm bilgi taşıyıcı türleri harici olarak adlandırılabilir (bir kişiyle ilgili olarak).

Bir bilgi ambarı, uzun süreli depolama ve kalıcı kullanım için tasarlanmış harici ortamlarda belirli bir şekilde düzenlenen bir veri topluluğudur. Arşivlere örnek olarak belge arşivleri, kütüphaneler, referans kitaplar, dosya dolapları verilebilir. Deponun ana bilgi birimi belirli bir fiziksel belgedir - bir anket, kitap, vaka, dosya, rapor vb. düzen, saklanan belgelerin sınıflandırılması. Depoyu korumanın rahatlığı için böyle bir organizasyon gereklidir: yeni belgelerle doldurmak, gereksiz belgeleri silmek, bilgi aramak vb.

Bilgi depolamanın temel özellikleri, saklanan bilgi miktarı, depolama güvenilirliği, erişim süresi ve bilgi korumasının mevcudiyetidir.

Bilgisayar bellek aygıtlarında depolanan bilgilere genellikle veri... Bir bilgisayarın harici bellek aygıtlarındaki organize veri depolarına genellikle veri tabanları denir.

Modern bilgisayarlarda, harici bellek için ana depolama ortamı manyetik ve optik disklerdir.

Veri depolama birimleri. Verileri depolarken, iki sorun çözülür: verilerin en kompakt biçimde nasıl tutulacağı ve bunlara nasıl rahat ve hızlı erişim sağlanacağı. Erişimin sağlanabilmesi için verilerin sıralı bir yapıya sahip olması gerekir ve bu durumda ayrıca adres verilerinin de kaydedilmesi gerekli hale gelir. Onlar olmadan, yapıya dahil olan gerekli veri öğelerine erişmek imkansızdır.

Adres verileri de boyutlandırıldığından ve saklanması gerektiğinden, verileri bayt gibi küçük birimlerde saklamak elverişsizdir. Bunları daha büyük birimlerde (kilobayt, megabayt, vb.) depolamak sakıncalıdır, çünkü bir depolama biriminin eksik doldurulması depolama verimsizliğine yol açar.

Veri depolama birimi, dosya adı verilen değişken uzunlukta bir nesnedir. Dosya, benzersiz bir uygun ada sahip rastgele sayıda bayt dizisidir. Genellikle aynı türe ait veriler ayrı bir dosyada saklanır. Bu durumda, veri türü dosya türünü belirler.

Yayın

Bilgi taşıma süreci, OSI (Open System Intercongtion) modeli olarak bilinen yedi katmanlı bir referans modeli çerçevesinde değerlendirilir. Gerekli standardizasyon seviyesini sağlayan çeşitli seviyelerdeki protokollere çok dikkat edilir:

1. Alt katman (kanal ve fiziksel OSI katmanları, örneğin NDIS, ODI)

2. Orta katman (OSI'nin ağ, aktarım ve oturum katmanları, örneğin oturum ve datagram protokolleri)

3. Üst katman (sunu katmanı ve OSI uygulama katmanı)

Fiziksel katman, fiziksel kontrolü uygular ve örneğin içinden bilginin iletildiği bir telefon devresi gibi bir fiziksel devreye atıfta bulunur. Bu düzeyde, OSI modeli, iletişim devrelerinin fiziksel, elektriksel, işlevsel ve prosedürel özelliklerinin yanı sıra ağ bağdaştırıcıları ve modemler için gereksinimleri tanımlar.

Bağlantı katmanı. Bu seviyede, bir ağ bağlantısı (kanal) kontrol edilir ve fiziksel bir bağlantı üzerinden bloklar (bir dizi bit) bilgi gönderilir. Bir bloğun başlangıcını ve sonunu belirleme, iletim hatalarını algılama, mesajları adresleme vb. gibi kontrol prosedürlerini gerçekleştirir.

Ağ katmanı, fiziksel olarak var olması gerekmeyen sanal (hayali) bir devreyi ifade eder. Bu seviyedeki yazılım, ağdaki paketlerin iletim yolunun belirlenmesini sağlar. Adres bilgilerinin analizine dayalı olarak en uygun rotayı arayan yönlendiriciler, OSI modelinin köprü adı verilen ağ katmanında çalışır.

Taşıma katmanı. Taşıma katmanı, mesaj paketlerinin sırasını ve sahipliğini kontrol eder. Böylece, bilgisayarlar arasındaki değişim sürecinde, telefon değiştirmeye benzer şekilde sanal iletişim korunur.

Oturum seviyesi. Bu seviyede, bir oturum oluşturma, mesaj paketlerinin iletimini ve alımını kontrol etme ve bir oturumu sonlandırma süreçleri koordine edilir ve standartlaştırılır. Bu seviyedeki yazılım, eğer bu formatlar birbirinden farklıysa, gönderen bilgisayarın dahili formatındaki verileri alıcı bilgisayarın dahili formatına dönüştürür. Bu seviyedeki formatları dönüştürmeye ek olarak, iletilen veriler sıkıştırılır ve paketten çıkarılır.

Uygulama düzeyi, kullanıcıya daha yüksek uygulama ve sistem düzeylerinde destek sağlayan işlevleri ifade eder, örneğin: paylaşılan ağ kaynaklarına erişimi organize etme: bilgi, disk belleği, yazılım uygulamaları, harici cihazlar (yazıcılar, aktarıcılar, vb.); genel ağ yönetimi (yapılandırma yönetimi, paylaşılan ağ kaynaklarına erişimin farklılaştırılması, arıza ve arızalardan sonra kurtarma, performans yönetimi); elektronik mesajların iletimi.

Tedavi

Bilgi işleme, pratik kullanıma hazırlamak için dönüştürülmesi olarak anlaşılır. Bazen bilgi işleme, verilerin belirli kurallara göre işlenmesi olarak tanımlanır.

Bilgi işleme sürecinde, ilk verilere dayanarak nihai bilgilerin elde edilmesini içeren bazı bilgi sorunları her zaman çözülür. İlk veriden sonuca geçiş süreci, bilginin işlenmesidir. İşlemi gerçekleştiren varlık, işlemin yürütücüsüdür. İcracı bir insan olabilir veya bilgisayar da dahil olmak üzere özel bir teknik cihaz olabilir.

Bilgi işleme genellikle amaçlı bir süreçtir. Bilgi işlemenin başarılı bir şekilde yürütülmesi için, yürütücü işleme yöntemini bilmelidir, yani. İstenen sonucu elde etmek için gerçekleştirilmesi gereken eylemler dizisi. Bilgisayar biliminde böyle bir eylem dizisinin açıklamasına genellikle işleme algoritması denir.

Genellikle iki tür bilgi işleme durumu vardır.

İlk tür, yeni bilgi içeriği elde etmekle ilişkili işlemedir. Bu tür işleme, matematiksel problemlerin çözülmesini içerir. İşleme yöntemi, yani sorunu çözme algoritması, sanatçı tarafından bilinen matematiksel formüllerle belirlenir. Bu tür bilgi işleme, mantıksal akıl yürütme uygulayarak çeşitli problemlerin çözümünü içerir.

İkinci tür, biçimi değiştirmeyle ilişkili ancak içeriği değiştirmeyen işlemedir. Bu tür bilgi işleme, örneğin metnin bir dilden diğerine çevrilmesini içerir. Form değişir, ancak içerik korunmalıdır. Bilgisayar bilimi için önemli bir işleme türü, kodlama... Kodlama, bilginin depolanması, iletilmesi, işlenmesi için uygun sembolik bir forma dönüştürülmesidir. Kodlama, bilgi ile çalışmanın teknik araçlarında (telgraf, radyo, bilgisayar) aktif olarak kullanılmaktadır.

Bilgi işleme, verilerin yapılandırılması anlamına gelir. Yapılanma, bilgi deposunda belirli bir düzenin, belirli bir organizasyonun getirilmesi ile ilişkilidir. Verilerin alfabetik sıraya göre düzenlenmesi, bazı sınıflandırma kriterlerine göre gruplandırılması ve bir tablo sunumunun kullanılması yapılandırma örnekleridir.

Bir diğer önemli bilgi işleme türü aramadır. Arama görevi, mevcut bilgi deposundaki belirli arama koşullarını karşılayan gerekli bilgileri seçmektir. Arama algoritması, bilgilerin düzenlenme biçimine bağlıdır. Bilgi yapılandırılmışsa, arama daha hızlıdır, optimal bir algoritma oluşturabilirsiniz.

Dolayısıyla amaca bağlı olarak bilgi işlenirken sunum şekli veya içeriği değişebilmektedir. Bilgi sunum biçimini değiştirme süreçleri genellikle kodlama ve kod çözme süreçlerine indirgenir ve bilgi toplama ve iletme süreçleriyle aynı anda gerçekleşir. Bilginin içeriğini değiştirme süreci, sayısal hesaplamalar, düzenleme, sıralama, genelleme, sistemleştirme vb. işlemleri içerir. Bilgileri dönüştürme kuralları kesinlikle resmileştirilmişse ve bunların uygulanması için bir algoritma varsa, otomatik bilgi işleme için bir cihaz oluşturabilirsiniz.

Birçok konu alanının özelliği olan bilgi kaynaklarının heterojenliğinden bahsetmek gerekir. Bu sorunu çözmenin yollarından biri, nesne yönelimli yaklaşım, şu anda en yaygın olanı. Ana hükümlerini kısaca ele alalım. dayalı ayrıştırma nesne yönelimli yaklaşım aşağıdaki temel kavramların seçimine dayalıdır: nesne, sınıf, örnek.

Bir obje aynı özelliklere ve davranış yasalarına sahip gerçek dünyadaki birçok nesnenin bir soyutlamasıdır. Bir nesne, böyle bir kümenin tipik bir tanımsız öğesini karakterize eder. Bir nesnenin temel özelliği, niteliklerinin (özelliklerinin) bileşimidir.

Öznitellikler- bunlar, diğer nesnelerin özelliklerini tanımlamak için kurallar koyabileceğiniz özel nesnelerdir.

nesne örneği kümesinin belirli bir öğesidir. Örneğin, bir nesne bir arabanın plakası olabilir ve bu nesnenin bir örneği belirli bir K 173 PA numarası olabilir.

Sınıf- bu, ortak bir yapı ve davranışla birbirine bağlanan gerçek dünyanın bir dizi nesnesidir. sınıf öğesi verilen bir kümenin belirli bir öğesidir. Örneğin, araç kayıt numaralarının sınıfı.

Bilgi sinyaller şeklinde iletilir. Sinyal, bilgi taşıyan fiziksel bir süreçtir. Sinyal ses, ışık, posta vb. şeklinde olabilir.

Sinyal türlerine (türlerine) göre, aşağıdakiler ayırt edilir:

analog

dijital

ayrık

Analog sinyal:

Analog sinyal doğaldır. Çeşitli sensör tipleri kullanılarak sabitlenebilir. Örneğin, çevresel sensörler (basınç, nem) veya mekanik sensörler (hızlanma, hız)

Dijital sinyal:

Dijital sinyaller yapaydır, yani. sadece bir analog elektrik sinyalinin dönüştürülmesiyle elde edilebilirler.

Ayrık sinyal:

Ayrık bir sinyal hala aynı dönüştürülmüş analog sinyaldir, ancak mutlaka seviye olarak nicelenmesi gerekmez.

Örnekleme- sürekli dönüşümü işlev v ayrık.

Kullanılan hibrit bilgi işlem sistemleri ve darbe kodlu dijital cihazlar modülasyon veri iletim sistemlerinde sinyaller ... Bir görüntüyü iletirken, sürekli bir görüntüyü dönüştürmek için kullanılır. analog sinyal ayrık veya ayrık-sürekli bir sinyale dönüştürülür.

7. Bilgilerin kodlanması. Alfabe. Kelime. Sözlük. İkili kodlama.

1. Bilgi kodlaması genellikle mesajları doğrudan kullanım için uygun bir formdan iletim, depolama veya otomatik işleme için uygun bir forma dönüştürmek için kullanılır.

Modern bilgi işlem teknolojisinin çalıştığı herhangi bir bilgi, ikili sayı sisteminde sayılara dönüştürülür.

Gerçek şu ki, fiziksel aygıtlar (kayıtlar, bellek hücreleri) 0 veya 1'e karşılık gelen iki durumda olabilir. Bir dizi benzer fiziksel aygıt kullanarak, ikili sayı sistemindeki hemen hemen her sayıyı bilgisayar belleğinde saklayabilirsiniz. Tam sayıların, kesirli ve negatiflerin yanı sıra sembollerin (harfler vb.) Bilgisayar kodlaması, her tür için kendi özelliklerine sahiptir. Ancak, bilgisayar belleğindeki herhangi bir bilginin (sayısal, metinsel, grafik, ses vb.) ikili sayı sisteminde (hemen hemen her zaman) sayılar olarak temsil edildiğini her zaman hatırlamalısınız. Genel anlamda bilgi kodlaması, birincil alfabede bir mesaj tarafından temsil edilen bilgilerin bir dizi koda çevrilmesi olarak tanımlanabilir.

Tipik olarak, mesajlar bir dizi karakter - karakter kullanılarak iletilir ve kaydedilir.

Alfabe mesajların yorumlanma dili - genellikle doğrudan listelemeleriyle belirtilen, içinde yer alan sınırlı bir karakter kümesi. Alfabedeki son karakter dizisine denir. kelime alfabede. Bir kelimedeki karakter sayısı kelimenin uzunluğunu belirler. Birçok farklı geçerli kelime formu kelime bilgisi (kelime bilgisi) alfabe. Herhangi bir alfabenin sıralı bir formu vardır, karakterler kesin bir sırayla sırayla düzenlenir, böylece tüm kelimelerin sözlükte alfabetik olarak sıralanması sağlanır.

Karakterleri kodlamak için kodun uzunluğu olarak 8 bit veya 1 bayt seçilmiştir. Bu nedenle, metnin bir karakteri, bir bayt belleğe karşılık gelir.

Kod uzunluğu 8 bit olan 0 ve 1'in 28 = 256 farklı kombinasyonu olabilir, bu nedenle bir arama tablosu kullanılarak 256'dan fazla karakter kodlanamaz. 2 bayt (16 bit) kod uzunluğu ile 65536 karakter kodlanabilir. Bir karakteri kodlamak için 1 bayta eşit miktarda bilgi kullanılır, yani I = 1 bayt = 8 bit. Olası olay sayısı K ile bilgi miktarını birbirine bağlayan bir formül kullanılarak, kaç farklı sembolün kodlanabileceğini hesaplamak mümkündür K = 2I = 28 = 256, yani 256 karakter kapasiteli bir alfabe olabilir. metin bilgilerini temsil etmek için kullanılır.

Kodlamanın özü, her karaktere 00000000 ile 11111111 arasında bir ikili kod veya 0 ile 255 arasında karşılık gelen ondalık kod atanmasıdır. Aynı ikili koda farklı karakterler atanır.

9. Bilgi miktarı. Bilgi miktarının ve özelliklerinin bir ölçüsü. Hartley'nin formülü.

Bilgi miktarı - değerlendirilmekte olan sistemdeki çeşitlilik miktarını (bir dizi durum, alternatif, vb.) yeterince karakterize eden bir sayı.

bilgi ölçüsü - formül, bilgi miktarını değerlendirmek için kriter.

Bilginin ölçüsü genellikle, olaylar kümesinde tanımlanan ve toplamsal olan, yani olayların (kümelerin) son birleşiminin ölçüsü, her olayın ölçülerinin toplamına eşit olan, negatif olmayan bir fonksiyon tarafından verilir. Bilgi miktarı, değerlendirilmekte olan sistemdeki çeşitlilik miktarını (bir dizi durum, alternatif, vb.) yeterince karakterize eden bir sayıdır.

Bilgi miktarı

Tanıtım

2. Belirsizlik, bilgi miktarı ve entropi

3. Shannon'ın formülü

4. Hartley'nin formülü

5. Mesaj sırasında alınan bilgi miktarı

kullanılmış literatür listesi

Tanıtım

A.D.'ye göre Ursula - "bilgi yansıyan bir çeşittir." Bilgi miktarı, çeşitliliğin nicel bir ölçüsüdür. Çeşitli birikimli bellek içerikleri olabilir; belirli bir mesaj sürecinde algılanan sinyalin çeşitliliği; belirli bir durumda çeşitli sonuçlar; belirli bir sistemin öğelerinin çeşitliliği ... kelimenin en geniş anlamıyla çeşitliliğin bir değerlendirmesidir.

Kaynak ve bilgi alıcısı arasındaki herhangi bir mesajın zaman içinde belirli bir süresi vardır, ancak mesajın bir sonucu olarak alıcı tarafından alınan bilgi miktarı nihayetinde mesajın uzunluğu ile değil, sinyalin çeşitliliği ile karakterize edilir. alıcıda bu mesajla oluşturulur.

Bilgi taşıyıcının belleği, görüntüleri biriktirebildiği belirli bir fiziksel kapasiteye sahiptir ve bellekte biriken bilgi miktarı, nihai olarak bu kapasiteyi doldurma çeşitliliği ile karakterize edilir. Cansız doğadaki nesneler için bu onların tarihinin çeşitliliğidir, canlı organizmalar için bu onların deneyimlerinin çeşitliliğidir.

Bilgi aktarımında çeşitlilik esastır. Beyaz üzerine beyaz boyanamaz, tek başına devlet yetmez. Bir bellek hücresi yalnızca bir (ilk) durumda bulunma yeteneğine sahipse ve dış etki altında durumunu değiştiremiyorsa, bu, bilgiyi algılama ve ezberleme yeteneğine sahip olmadığı anlamına gelir. Böyle bir hücrenin bilgi kapasitesi 0'dır.

Minimum çeşitlilik, iki durumun varlığı ile sağlanır. Bir bellek hücresi, dış etkiye bağlı olarak, geleneksel olarak genellikle "0" ve "1" olarak adlandırılan iki durumdan birini alabiliyorsa, minimum bilgi kapasitesine sahiptir.

İki farklı durumda olabilen bir bellek hücresinin bilgi kapasitesi, bilgi miktarını ölçmek için bir birim olarak alınır - 1 bit.

1 bit (bit - İngilizce kısaltması. İkili basamak - ikili sayı), daha sonra tanışacağımız bir bilgi kapasitesi ve bilgi miktarının yanı sıra bir miktar daha - bilgi entropisi ölçüm birimidir. Bit, en koşulsuz ölçü birimlerinden biridir. Uzunluk ölçü birimi keyfi olarak konulabilirse: dirsek, ayak, metre, o zaman bilgi ölçü birimi esasen başka bir şey olamazdı.

Fiziksel düzeyde bit, her an iki durumdan birinde olan bir bellek hücresidir: "0" veya "1".

Bir görüntünün her noktası yalnızca siyah veya beyaz olabilirse, böyle bir görüntüye bit görüntü denir, çünkü her nokta 1 bitlik bir bellek hücresidir. "Açık" veya "kapalı" olabilen bir ışık aynı zamanda biraz simgelemektedir. 1 bitlik bilgiyi gösteren klasik bir örnek, yazı tura - "yazı" veya "tura" sonucunda elde edilen bilgi miktarıdır.

"evet" / "hayır" gibi sorunun cevabında 1 bitlik bilgi miktarı elde edilebilir. Başlangıçta ikiden fazla cevap seçeneği varsa, belirli bir cevapta alınan bilgi miktarı 1 bitten fazla olacaktır, eğer cevap seçenekleri ikiden az ise, yani. tek başına, o zaman bu bir soru değil, bir ifadedir, bu nedenle belirsizlik olmadığından bilgi gerekli değildir.

Bilgiyi algılayabilen bir bellek hücresinin bilgi kapasitesi 1 bitten az olamaz, ancak alınan bilgi miktarı 1 bitten az olabilir. Bu, "evet" ve "hayır" yanıt seçeneklerinin eşit derecede olası olmadığı durumlarda gerçekleşir. Eşitsizlik, örneğin, önceki yaşam deneyimlerine dayanarak, bu konuyla ilgili bazı ön (a priori) bilgilerin zaten mevcut olmasının bir sonucudur. Bu nedenle, önceki paragrafın tüm argümanlarında, çok önemli bir uyarı dikkate alınmalıdır: bunlar yalnızca eş olasılıklı bir durum için geçerlidir.

Bilgi miktarını I sembolü ile göstereceğiz, olasılık P sembolü ile gösterilecektir. Tüm olay grubunun toplam olasılığının 1 olduğunu hatırlayın.

2.Belirsizlik, bilgi miktarı ve entropi

Bilgi teorisinin kurucusu Claude Shannon, bilgiyi ortadan kaldırılmış belirsizlik olarak tanımlamıştır. Daha doğrusu bilgi edinmek, belirsizliği ortadan kaldırmak için gerekli bir koşuldur. Belirsizlik bir seçim durumunda ortaya çıkar. Belirsizliği ortadan kaldırma sürecinde çözülen görev, dikkate alınan seçeneklerin sayısında azalma (çeşitlilikteki azalma) ve bunun sonucunda duruma uygun bir seçeneğin olası seçenekler arasından seçilmesidir. Belirsizliği ortadan kaldırmak, bilinçli kararlar vermenizi ve harekete geçmenizi sağlar. Bu, bilginin yol gösterici rolüdür.

Maksimum belirsizlik durumu, eşit derecede olası birkaç alternatifin (seçenek), yani. hiçbir seçenek tercih edilmez. Ayrıca, daha eşit olasılıklı seçenekler gözlemlendikçe, belirsizlik arttıkça, kesin bir seçim yapmak daha zor olur ve bunun elde edilmesi için daha fazla bilgi gerekir. N varyantları için bu durum aşağıdaki olasılık dağılımı ile tanımlanır: (1 / N, 1 / N,… 1 / N).

Minimum belirsizlik 0'dır, yani. bu tam bir kesinlik durumudur, yani seçim yapılmış ve gerekli tüm bilgiler alınmıştır. Tam bir kesinlik durumu için olasılık dağılımı şöyle görünür: (1, 0,… 0).

Bilgi teorisindeki belirsizlik miktarını karakterize eden bir miktar H sembolü ile gösterilir ve entropi, daha doğrusu bilgi entropisi olarak adlandırılır.

Entropi (H), bit cinsinden ifade edilen belirsizliğin bir ölçüsüdür. Entropi, rastgele bir değişkenin dağılımının tekdüzeliğinin bir ölçüsü olarak da düşünülebilir.

Pirinç. 1. Entropinin davranışı

iki alternatif için.

Şekil 1, olasılıklarının oranı (p, (1-p)) değiştiğinde, iki alternatifin durumu için entropinin davranışını göstermektedir.

Her iki olasılığın da birbirine eşit ve ?'ye eşit olduğu bu durumda entropi maksimum değerine ulaşır, entropinin sıfır değeri (p0 = 0, p1 = 1) ve (p0 = 1, p1 = 0) durumlarına karşılık gelir.

Pirinç. 2. Entropi ve bilgi miktarı arasındaki ilişki.

Bilgi miktarı I ve entropi H aynı durumu karakterize eder, ancak niteliksel olarak zıt yönlerden. I, H belirsizliğini ortadan kaldırmak için gereken bilgi miktarıdır. Leon Brillouin'in tanımına göre bilgi, negatif entropidir (negentropi).

Belirsizlik tamamen ortadan kaldırıldığında, aldığım bilgi miktarı başlangıçta var olan belirsizliğe H eşittir.

Belirsizliğin kısmen ortadan kaldırılmasıyla, alınan bilgi miktarı ve kalan açıklanmayan belirsizlik, orijinal belirsizliğe eklenir. Ht + O = H.

Bu nedenle aşağıda entropi H'yi hesaplamak için sunulacak formüller aynı zamanda I bilgi miktarını hesaplamak için formüllerdir, yani. belirsizliğin tamamen ortadan kaldırılması söz konusu olduğunda, içlerindeki H, I ile değiştirilebilir.

3.Shannon'ın formülü

Genel durumda, entropi H ve belirsizliği ortadan kaldırmanın bir sonucu olarak elde ettiğim bilgi miktarı, ilk düşünülen N seçeneklerinin sayısına ve bunların her birinin gerçekleşmesinin önceki olasılıklarına bağlıdır P: (p0, p1,… pN-1), yani H = F (N, P). Bu durumda entropinin hesaplanması, 1948'de "Matematiksel iletişim teorisi" makalesinde önerdiği Shannon formülüne göre gerçekleştirilir.

Belirli bir durumda, tüm seçenekler eşit derecede olası olduğunda, yalnızca göz önünde bulundurulan seçeneklerin sayısına bir bağımlılık kalır, yani. H = F (N). Bu durumda, Shannon'ın formülü büyük ölçüde basitleştirilmiştir ve ilk olarak 1928'de Amerikalı mühendis Ralph Hartley tarafından önerilen Hartley formülü ile örtüşmektedir, yani. 20 yıl önce.

Shannon'ın formülü aşağıdaki gibidir:

Pirinç. 3. b'nin a tabanına göre logaritmasını bulmak, b'yi elde etmek için a'nın yükseltilmesi gereken gücü bulmaktır.

Logaritmanın ne olduğunu hatırlayalım.

Logaritma tabanı 2'ye ikili denir:

log2 (8) = 3 => 23 = 8

log2 (10) = 3.32 => 23.32 = 10

Logaritma tabanı 10'a ondalık sayı denir:

log10 (100) = 2 => 102 = 100

Logaritmanın temel özellikleri:

1.log (1) = 0, çünkü sıfır dereceye kadar herhangi bir sayı 1 verir;

2.log (ab) = b * günlük (a);

3.log (a * b) = log (a) + log (b);

4.log (a / b) = log (a) -log (b);

5.log (1 / b) = 0-log (b) = - log (b).

Formül (1)'deki eksi işareti, entropinin negatif olduğu anlamına gelmez. Bu, pi1'in tanım gereği olduğu ve birden küçük bir sayının logaritmasının negatif olduğu gerçeğiyle açıklanır. Bu nedenle, logaritmanın özelliği ile bu formül, toplam işaretinin önünde eksi olmadan ikinci versiyonda yazılabilir.

i-th seçeneğinin uygulanması durumunda elde edilen özel bir bilgi miktarı olarak yorumlanır. Shannon'ın formülündeki entropi, ortalama özelliktir - rastgele bir değişkenin (I0, I1,… IN-1) dağılımının matematiksel beklentisi.

Shannon'ın formülünü kullanarak entropi hesaplama örneği. Bazı kurumlarda çalışanların bileşimi aşağıdaki gibi dağıtılsın:? - Kadınlar, ? - erkekler. Daha sonra, örneğin kuruma girerken ilk kiminle karşılaşacağınız konusundaki belirsizlik, tablo 1'de gösterilen bir dizi eylemle hesaplanacaktır.

Tablo 1.

Ii = log2 (1 / pi), bit

pi * log2 (1 / pi), bit

Kurumda kadın ve erkeklerin eşit bölümlerinin olduğu önceden biliniyorsa (eşit olasılıklı iki seçenek), o zaman aynı formülü kullanarak hesaplama yaparken 1 bitlik bir belirsizlik almalıyız. Bu varsayım Tablo 2'de doğrulanmıştır.

Tablo 2.

Ii = log2 (1 / pi), bit

pi * log2 (1 / pi), bit

4 Hartley'nin formülü

Hartley'in formülü, Shannon'ın denk olası alternatifler için formülünün özel bir halidir.

Formül (1)'de pi yerine (eş olasılıklı durumda, i'den bağımsız) değeri yerine koyarak, şunu elde ederiz:

bu nedenle, Hartley'nin formülü çok basit görünüyor:

Bundan, alternatiflerin sayısı (N) ne kadar fazlaysa, belirsizliğin (H) o kadar büyük olduğu açıkça görülmektedir. Bu miktarlar formül (2)'de doğrusal olarak değil, ikili logaritma ile ilişkilidir. Logaritmayı taban 2'ye almak ve seçeneklerin sayısını bilgi birimlerine - bitlere dönüştürmek.

Entropi, yalnızca N'nin 2'nin gücü olması durumunda bir tam sayı olacaktır, yani. N serisine aitse: (1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048 ...)

Pirinç. 3. Entropinin eşit olasılığa sahip seçeneklerin sayısına bağımlılığı (eşdeğer alternatifler).

Ters problemleri çözmek için, belirsizliğin (H) veya çıkarılmasının bir sonucu olarak elde edilen bilgi miktarı (I) bilindiğinde ve bu belirsizliğin oluşumuna karşılık gelen kaç tane eş olasılı alternatifin belirlenmesi gerektiğinde, ters Hartley formülü logaritmanın tanımına göre türetilen ve daha da basit görünen kullanılır:

Örneğin ilgimizi çeken Kolya İvanov'un ikinci katta oturduğunun tespit edilmesi sonucunda 3 bit bilgi alındığı biliniyorsa, evin kat sayısı formül (3'e göre) ile belirlenebilir. ), N = 23 = 8 kat olarak.

Soru şöyle ise: “8 katlı bir evde, bizi ilgilendiren Kolya Ivanov'un ikinci katta oturduğunu öğrendiğimizde ne kadar bilgi aldık?”, Formül (2) kullanmanız gerekir: I = log2 (8) = 3 bit.

5.Mesaj sırasında alınan bilgi miktarı

Şimdiye kadar, entropi (belirsizlik) H'yi hesaplamak için formüller verildi, bu, içlerindeki H'nin I ile değiştirilebileceğini gösteren formüller verildi, çünkü belirli bir durumun belirsizliğinin tamamen ortadan kaldırılmasıyla elde edilen bilgi miktarı nicel olarak başlangıç ​​değerine eşittir. bu durumun entropisi.

Ancak belirsizlik ancak kısmen ortadan kaldırılabilir, bu nedenle belirli bir mesajdan aldığım bilgi miktarı, bu mesajın alınması sonucunda oluşan entropi azalması olarak hesaplanır.

Eşit olasılıklı durum için, entropiyi hesaplamak için Hartley formülünü kullanarak şunu elde ederiz:

İkinci eşitlik, logaritmanın özelliklerinden türetilir. Bu nedenle, eş olasılıklı durumda, dikkate alınan seçeneklerin (çeşit olarak kabul edilen) sayısının kaç kez değiştiğine bağlıyım.

(5)'e dayanarak, aşağıdakileri çıkarabiliriz:

O halde - belirsizliğin tamamen ortadan kaldırılması durumunda, mesajda alınan bilgi miktarı, mesaj alınmadan önce var olan belirsizliğe eşittir.

Eğer öyleyse - belirsizlik değişmedi, bu nedenle hiçbir bilgi alınmadı.

Eğer, o zaman =>, eğer, =>. Onlar. alınan bilgi miktarı, bir mesajın alınması sonucunda dikkate alınan alternatiflerin sayısı azalmışsa pozitif, artmışsa negatif bir değer olacaktır.

Bir mesajın alınması sonucunda değerlendirilen alternatiflerin sayısı yarıya inmişse, yani. , sonra I = log2 (2) = 1 bit. Başka bir deyişle, 1 bitlik bilgi almak, eşdeğer seçeneklerin yarısını değerlendirme dışı bırakır.

Örnek olarak 36 kartlık bir deste ile bir deney düşünün.

Pirinç. 4. 36 kartlık bir deste deneyi için çizim.

Birinden desteden bir kart çekmesini isteyin. 36 karttan hangisini çıkardığıyla ilgileniyoruz. Formül (2) ile hesaplanan ilk belirsizlik H = log2 (36) 5.17 bit'tir. Kartı çeken bize bazı bilgileri anlatıyor. Formül (5)'i kullanarak, bu mesajlardan ne kadar bilgi alacağımızı belirleriz:

Seçenek A. “Bu bir kırmızı karttır.”

I = log2 (36/18) = log2 (2) = 1 bit (destedeki kırmızı kartların yarısı, belirsizlik 2 kat azaldı).

Seçenek B. “Bu bir maça kartı”.

I = log2 (36/9) = log2 (4) = 2 bit (maça güvertenin dörtte birini oluşturuyor, belirsizlik 4 kat azaldı).

Seçenek C. "Bu en yüksek kartlardan biridir: vale, kraliçe, kral veya as."

I = log2 (36) -log2 (16) = 5.17-4 = 1.17 bit (belirsizlik iki kattan fazla azaldı, dolayısıyla alınan bilgi miktarı bir bitten fazla).

D Seçeneği. "Bu, desteden bir kart."

I = log2 (36/36) = log2 (1) = 0 bit (belirsizlik azalmadı - mesaj bilgilendirici değil).

Seçenek D. “Bu Maça Kızı”.

I = log2 (36/1) = log2 (36) = 5.17 bit (belirsizlik tamamen ortadan kalkar).

Herhangi bir kontrol ve iletim sürecinde, girdi bilgisi çıktı bilgisine dönüştürülür. Genellikle bilgi, bazı bilgiler, semboller, işaretler olarak anlaşılır. İstatistiksel teori: Bilgi kavramı, belirsizliğin ortadan kaldırılması olarak karakterize edilir.

Bilgi, karıştırmanın bir depolama, iletim ve alım nesnesi olması olarak tanımlanır. Bilgi bir sinyal kullanılarak iletilir. Bilgi edinmenin nicel değerlendirmesi, bir mesajı zaman içinde rastgele bir stokastik süreç olarak iletme fikrine dayanmaktadır.

Test yoluyla belirsizliği ortadan kaldırın, belirsizlik ne kadar yüksekse, bilginin değeri de o kadar yüksek olur.

Belirsizlik derecesi, büyüklüğün alabileceği değerlerin sayısına ve olayların sonucuna bağlıdır.

Bilgi miktarının bir ölçüsü için, rastgele bir değişken H (A) belirlenir:

nerede -çıkış olasılığı.

Eksi işareti H (A) için telafi anlamına gelir - bu, A deneyinin entropidir (formül Claude Chinon tarafından icat edilmiştir).

H (A) ne kadar fazlaysa, cehaletin ölçüsü o kadar büyük olur.

Belirli bir sistem hakkında bilgi birikimi entropiyi azaltır. Bilgi, entropiye kesin bir katkıdır.

Bir x sistemi verilsin.

Eğer
, sonra

nerede

Bilgi edinme, sistemin durumunun nesnel bir gösterimidir ve iletim, kontrol, karar vb. için kullanılabilir.

Bilgi maddi veya enerjik bir kategori değildir, yaratılmadığında değil, sadece iletildiğinde ve alındığında değil, kaybolabilir, yok olabilir.

Termodinamiğin ikinci yasasına göre, organize yapıların yıkımına paralel olarak entropi artar ve kaotik bir olasılık durumuna meyleder.

Ölçü birimi, eşit olasılıkla kabul edilen bazı rastgele değişkenlerde bulunan bilgi miktarıdır. Belirsizlik derecesinin birimi, aynı olasılıkla iki farklı değere sahip iki sonucu olan temel bir olayın entropisidir.

-ikili bir veya bit.

x sistemi bağlantılı

y sistemi

I (x, y) = H (x) + H (y) -H (x, y), burada

H (x, y) - birleşik sistemin entropisi.

, nerede,

Sürekli sinyal için.

burada (x), x miktarının olasılık yoğunluğudur. Chinon yaklaşımı anlamsal içeriği hesaba katmaz.

33. Ergodik bir kaynak kavramı. fazlalık.

Uygulamada, korelasyonların sonlu sayıda önceki kaynağa kadar uzandığı ergodik kaynaklar vardır. Ergodik bir kaynakta
korelasyon yok, yani.

Ergodik kaynaklar tarafından üretilen mesajların matematiksel temsili Markov zinciri.

Markov zinciri n sırasına dizi denir, testlerin bağımlılığı, belirli bir sonucun olasılığı
Bir denemede, önceki denemelerin sonuçlarına bağlıdır, ancak daha önceki sonuçlara bağlı değildir.

Ergodik bir kaynakta, dağıtım sırası
k = 1,2,… için m sabit kalmaz, mesajların son n harfine bağlıdır.

alfabeden q harfini seçme olasılığı.

Olası durumların sayısı şu şekilde belirlenir:
, burada m alfabedir, n sıradır, M kaynağın olası durumlarının sayısıdır.

Toplam entropiyi belirlemek için şunları yapmalısınız:

M = 1 ise, klasik Chinon formülünü elde ederiz.

Ergodik bir kaynaktaki korelasyona mutlaka olasılık dağılımındaki bir değişiklik, durumdan duruma bir mesaj öğesinin seçimi eşlik eder, bu da entropide bir azalmaya yol açar, bu da kaynak tarafından iletilen bilgilerin bir kısmının tahmin edilebileceği anlamına gelir. , bu, iletilemeyeceği anlamına gelir, çünkü alıcı tarafta geri yüklenebilir. Kaynağın entropisi ne kadar düşükse, o kadar fazla bilgi üretir.

R-yedekliği, kaynağın verimliliğini gösterir.

R'nin nedeni, mesajlar arasında seçim yapma olasılığının belirsizliği ve destek olasılığıdır.

Entropi (bilgi teorisi)

Entropi (bilgi amaçlı)- bilginin rastgeleliğinin bir ölçüsü, birincil alfabenin herhangi bir sembolünün görünümünün belirsizliği. Bilgi kayıplarının olmaması durumunda, iletilen mesajın sembolü başına bilgi miktarına sayısal olarak eşittir.

Örneğin, Rusça'da herhangi bir cümleyi oluşturan bir harf dizisinde, farklı harfler farklı frekanslarda görünür, bu nedenle bazı harfler için görünüm belirsizliği diğerlerinden daha azdır. Bazı harf kombinasyonlarının (bu durumda entropiden söz ettiklerini) hesaba katarsak n-inci sıra, bkz) çok nadirdir, daha sonra belirsizlik daha da azalır.

Bilgi entropisi kavramını açıklamak için, Maxwell'in şeytanı olarak adlandırılan termodinamik entropi alanındaki örneği de kullanabilirsiniz. Bilgi ve entropi kavramlarının birbirleriyle derin bağlantıları vardır, ancak buna rağmen, istatistiksel mekanik ve bilgi teorisindeki teorilerin gelişimi, onları birbirleriyle tutarlı hale getirmek için uzun yıllar aldı.

Resmi tanımlar

Kendi bilgilerinizle tanımlama

Rastgele bir değişkenin entropisini, önce bir rasgele değişkenin dağılımı kavramını tanıtarak belirlemek de mümkündür. x sınırlı sayıda değerle: ben(x) = - günlük P x (x). O zaman entropi şu şekilde tanımlanacaktır: Bilgi ve entropinin ölçü birimi logaritmanın temeline bağlıdır: bit, nat veya hartley.

bilgi entropisi bağımsız rastgele olaylar için x ile birlikte n olası durumlar (1'den n) şu formülle hesaplanır:

Bu miktar da denir mesajın ortalama entropisi... miktar denir özel entropi sadece karakterize eden ben-arazi.

Böylece olayın entropisi x olayın göreceli sıklıklarının tüm ürünlerinin zıt işaretli toplamıdır. ben ikili logaritmaları ile çarpılır (temel 2, yalnızca ikili biçimde sunulan bilgilerle çalışmanın rahatlığı için seçildi). Ayrık rastgele olaylar için bu tanım, olasılık dağılım fonksiyonuna genişletilebilir.

Genel olarak B-ary entropi(nerede B eşittir 2, 3, ...) orijinal alfabeye sahip bir kaynak ve burada ayrık bir olasılık dağılımı P ben bir olasılık a ben (P ben = P(a ben) ) aşağıdaki formülle belirlenir:

Shannon'ın entropisinin tanımı, termodinamik entropi kavramıyla ilgilidir. Boltzmann ve Gibbs, istatistiksel termodinamikte, bilgi teorisinde "entropi" kelimesinin benimsenmesine katkıda bulunan çok sayıda çalışma yaptı. Termodinamik ve bilgisel entropi arasında bir bağlantı vardır. Örneğin, Maxwell'in iblisi ayrıca termodinamik bilgi entropisine de karşıdır ve herhangi bir miktarda bilginin alınması, kayıp entropiye eşittir.

alternatif tanım

Entropi işlevini tanımlamanın başka bir yolu H bunun kanıtı H benzersiz bir şekilde tanımlanır (daha önce belirtildiği gibi) ancak ve ancak H koşulları karşılar:

Özellikler

Entropinin, bir veri kaynağı için olasılık modeli bağlamında tanımlanan bir miktar olduğunu hatırlamak önemlidir. Örneğin, bir yazı tura entropisine sahiptir - 2 (0.5log 2 0.5) = bir atış başına 1 bit (bağımsız olması şartıyla). Yalnızca "A" harflerinden oluşan bir dize oluşturan bir kaynak sıfır entropiye sahiptir: ... Dolayısıyla, örneğin, ampirik olarak, İngilizce bir metnin entropisinin karakter başına 1.5 bit olduğu tespit edilebilir, bu elbette farklı metinler için değişecektir. Bir veri kaynağının entropi derecesi, optimal kodlama ile bilgiyi kaybetmeden şifrelemek için veri elemanı başına gereken ortalama bit sayısı anlamına gelir.

1. Bazı veri bitleri bilgi taşımayabilir. Örneğin, veri yapıları genellikle gereksiz bilgileri depolar veya veri yapısındaki bilgilerden bağımsız olarak aynı bölümlere sahiptir.
2. Entropi miktarı her zaman bir tam sayı bit sayısı olarak ifade edilmez.

matematiksel özellikler

Yeterlik

Pratikte karşılaşılan orijinal alfabe, optimal olmaktan uzak bir olasılık dağılımına sahiptir. Orijinal alfabe olsaydı n semboller, daha sonra olasılık dağılımı tek tip olan "optimize edilmiş alfabe" ile karşılaştırılabilir. Orijinalin entropisinin optimize edilmiş alfabeye oranı, yüzde olarak ifade edilebilecek orijinal alfabenin verimliliğidir.

Bundan, orijinal alfabenin verimliliği ile n semboller basitçe ona eşit olarak tanımlanabilir n-ary entropi.

Entropi, teorik olarak tipik bir set veya pratikte Huffman kodlaması, Lempel-Ziv-Welch kodlaması veya aritmetik kodlama kullanılarak elde edilebilecek maksimum olası kayıpsız (veya neredeyse kayıpsız) sıkıştırmayı sınırlar.

Varyasyonlar ve genellemeler

koşullu entropi

Alfabenin aşağıdaki karakterleri bağımsız değilse (örneğin, Fransızca'da, "q" harfinden sonra neredeyse her zaman "u" gelir ve Sovyet gazetelerinde "lider" kelimesinden sonra genellikle "üretim" kelimesi gelir. veya "emek"), bu tür sembollerin sırasını (ve dolayısıyla entropiyi) taşıyan bilgi miktarı açıkça daha küçüktür. Bu tür gerçekleri açıklamak için koşullu entropi kullanılır.

Birinci dereceden koşullu entropi (birinci dereceden Markov modeli için benzer şekilde), bir harfin birbiri ardına ortaya çıkma olasılıklarının (yani iki harfli kombinasyonların olasılıklarının) bilindiği alfabe için entropidir:

nerede benönceki karaktere bağlı bir durumdur ve P ben (J) olasılık J olmak şartıyla benönceki karakterdi.

Yani, "" harfi olmayan Rus dili için.

Kısmi ve genel koşullu entropiler, gürültülü bir kanalda veri iletimi sırasında bilgi kaybını tam olarak tanımlamak için kullanılır. Bunun için sözde kanal matrisleri... Bu nedenle, kaynaktaki kaybı tanımlamak için (yani gönderilen sinyal biliniyor), alıcı tarafından bir sembol almanın koşullu olasılığını düşünün. B J sembolün gönderilmesi şartıyla a ben... Bu durumda, kanal matrisi aşağıdaki forma sahiptir:

	B 1	B 2	…	B J	…	B m
a 1			…		…
a 2			…		…
…	…	…	…	…	…	…
a ben			…		…
…	…	…	…	…	…	…
a m			…		…

Açıkçası, köşegen üzerinde bulunan olasılıklar, doğru alım olasılığını tanımlar ve sütunun tüm öğelerinin toplamı, karşılık gelen sembolün alıcı tarafında görünme olasılığını verecektir - P(B J) ... İletilen sinyal başına kayıp a ben, kısmi koşullu entropi ile tanımlanır:

Tüm sinyaller için iletim kaybını hesaplamak için genel koşullu entropi kullanılır:

Bu, kaynak tarafındaki entropi anlamına gelir, benzer şekilde kabul edilir - alıcının tarafındaki entropi: belirtildiği her yer yerine (dizenin öğelerini toplayarak, alabilirsiniz) P(a ben) , ve köşegenin öğeleri, alınan sembolün tam olarak gönderilme olasılığı, yani doğru iletim olasılığı anlamına gelir).

karşılıklı entropi

Karşılıklı entropi veya birliğin entropisi, birbirine bağlı sistemlerin entropisini hesaplamaya yöneliktir (istatistiksel olarak bağımlı mesajların ortak görünümünün entropisi) ve belirtilir H(AB) , nerede A, her zaman olduğu gibi, vericiyi karakterize eder ve B- Alıcı.

İletilen ve alınan sinyaller arasındaki ilişki, ortak olayların olasılıkları ile tanımlanır. P(a ben B J) ve kanal özelliklerini tam olarak tanımlamak için yalnızca bir matris gereklidir:

P(a 1 B 1)	P(a 1 B 2)	…	P(a 1 B J)	…	P(a 1 B m)
P(a 2 B 1)	P(a 2 B 2)	…	P(a 2 B J)	…	P(a 2 B m)
…	…	…	…	…	…
P(a ben B 1)	P(a ben B 2)	…	P(a ben B J)	…	P(a ben B m)
…	…	…	…	…	…
P(a m B 1)	P(a m B 2)	…	P(a m B J)	…	P(a m B m)

Daha genel bir durum için, bir kanal tanımlanmadığında, sadece etkileşimli sistemler olduğunda, matrisin kare olması gerekmez. Açıkça, numaralı sütunun tüm öğelerinin toplamı J verecek P(B J) , sayı ile doğrunun toplamı ben orada P(a ben) , ve matrisin tüm elemanlarının toplamı 1'e eşittir. Ortak olasılık P(a ben B J) Etkinlikler a ben ve B J orijinal ve koşullu olasılıkların çarpımı olarak hesaplanır,

Koşullu olasılıklar Bayes formülü kullanılarak üretilir. Böylece, kaynak ve alıcının entropilerini hesaplamak için tüm veriler vardır:

Karşılıklı entropi, logaritmaları ile çarpılan tüm matris olasılıklarının sıralı satır (veya sütun) toplamı ile hesaplanır:

H(AB) = −	∑	∑	P(a ben B J) kayıt P(a ben B J).
	ben	J

Ölçü birimi bir bit / iki karakterdir, bunun nedeni karşılıklı entropinin gönderilen ve alınan bir çift karakter için belirsizliği tanımlamasıdır. Basit dönüşümlerle de elde ederiz

Karşılıklı entropinin özelliği vardır bilgi eksiksizliği- ondan tüm dikkate alınan değerleri alabilirsiniz.

Tarih

Notlar (düzenle)

Ayrıca bakınız

Bağlantılar

• Claude E. Shannon. Matematiksel Bir İletişim Kuramı
• S.M. Korotaev.

Entropi ve bilgi arasındaki ilişki sorunu, aslında "Maxwell'in iblisi" paradoksunun formüle edildiği zamandan beri uzun süredir tartışılmaktadır. Bir süre için sorun soyut göründü. Ancak şimdi, oldukça spesifik sorularla ilgili olduğu ortaya çıktığından, konuyla ilgili hale geliyor: bilgi için entropi (ve enerji) ödemesi nedir, bir bilgi hücresinin minimum boyutları nelerdir, vb.

Bu sorular özellikle biyolojik özelliklerle bağlantılı olarak keskinleşir. Birincisi, canlı doğadaki bilgi sistemleri küçük (mikroskobik) boyuttadır. İkincisi, normal sıcaklıkta, yani termal dalgalanmaların ihmal edilebilir olmadığı koşullar altında çalışırlar. Üçüncüsü, biyolojide bilginin ezberlenmesi ve saklanması özel bir önem taşır. Teknolojide bilgi aktarımı sorunlarının daha alakalı olduğunu unutmayın; iletim optimizasyonu örneğinde, bilgi teorisinin ana hükümleri geliştirilmiştir. Bilgi alma ve saklama sorularına daha az dikkat edildi. Biyolojide ise tam tersine, bu sorular her şeyden önemli hale gelir.

"Bilgi" kavramının katı bir tanımını yapma iddiasında bulunmadan, onun gerekli özelliklerinden ikisini vurguluyoruz: 1) bilgi, birçok olası seçenek arasından bir (veya birkaç) seçeneğin seçimini gerektirir, 2) yapılan seçimin hatırlanması gerekir. Vurgulayalım: ikinci koşul - bilgilerin ezberlenmesi - çok önemlidir. Kastler ilk kez 1960 yılında buna [P26] dikkat çekmiştir. Bilgi aktarımı süreçlerinde “ezberleme” bilginin alınması, işlenmesi ve saklanmasından daha az rol oynar. Gerçekten de, iletme sistemi, bilgiyi yalnızca prensipte kısa olabilen iletim süresi için hatırlamak zorundadır. Biyolojide ise uzun süreli ezberleme koşulu önemli bir rol oynamaktadır.

Bilgi miktarına miktar denir.

nerede olası seçeneklerin toplam sayısı, seçilen seçeneklerin sayısı. Herhangi bir nedenle a priori seçeneklerden birinin uygulandığı biliniyorsa (ancak hangisi olduğu bilinmiyorsa) bilgi miktarı sıfır değildir. Bu sayı, belirli bir seçeneğin uygulandığı (seçildiği) biliniyorsa maksimumdur. miktar ise

Hiçbir şey bilinmiyor. Logaritmanın tabanı (yani ikili sistem) kolaylık sağlamak için seçilir; bu sistemdeki bilgi birimi bir bittir; iki olası seçenekten birinin seçimine karşılık gelir.

İfade (12.8), a priori N varyantlarının olasılıklarla gerçekleştirilebildiği ve daha sonra olasılıklarla a posteriori gerçekleştirilebildiği durumlara kolayca genelleştirilebilir.

Posterior varyantların seçimi veya uygulanması iki farklı şekilde yapılabilir; ya dış kuvvetlerin etkisinin bir sonucu olarak - bu durumda, başka bir (dış) sistemden bilgi alımı hakkında konuşurlar ya da sistemin kendisinin kararsız davranışının bir sonucu olarak kendiliğinden - bu durumda, doğum (ortaya çıkışı) yeni bilgiler gerçekleşir.

Bir bilgi sistemi şunları yapabilmelidir: a) bilgi alma, b) bilgiyi saklama veya aynısı, ezberleme, c) söz konusu sistemle ilgili olarak başka bir alıcı ile etkileşim halindeyken bilgi yayınlama. Bu nedenle, bilgi sisteminin çok durağan olması gerektiği sonucu çıkar.

Kararlı durağan durumların sayısı bilgi kapasitesini, yani sistemin alabileceği maksimum bilgi miktarını belirler:

Sistem dağıtıcı olmalıdır. Bu, durağan durumların tüm karakteristik sayılarının reel kısımlarının negatif olduğu anlamına gelir; bu bilgiyi ezberlemek için bir ön koşuldur. Böyle bir sistemin bir örneği Çin bilardolarıdır. Kenarları, delikleri ve pimleri olan bir tahta üzerinde bir toptur. Bir topun belirli bir deliğe ait olması sistemin durumu hakkında bilgidir.

Mikroskobik (moleküler) düzeyde, bilgi sistemi tasarımı sorunu önemsiz hale gelir. İlk olarak, çok durağan bir sistemde, faz yörüngelerinin her biri, faz uzayının yalnızca belirli bir bölümünde (belirli bir durumun çekim bölgesinde) bulunur. Tüm faz hacmi, yörüngelerin her biri için mevcut değildir. Bu, bilgi sisteminin tamamen ergodik ve termodinamik olarak dengede olmadığı anlamına gelir. Değerlerini uzun süre koruyan ve olası tüm değerleri yinelemeyen özel serbestlik dereceleri olmalıdır.

Bunu Çin bilardosu örneğiyle açıklayalım. Burada vurgulanan serbestlik dereceleri topun koordinatlarıdır. x ve y'deki değişim, deliklerin kenarlarıyla sınırlıdır; top, dış müdahale olmadan başka bir deliğe hareket edemez. nerede

hem topun hem de tahtanın atomlarının titreşimleriyle ilişkili diğer serbestlik dereceleri ergodik olabilir (ve öyle olmaya devam etmelidir).

İkincisi, dağılma durumu, gördüğümüz gibi, mikroskobik hareketlerin kararsızlığı (ve dolayısıyla kaos) ile ilişkilidir. Bu, karşılık gelen serbestlik derecelerinin ergodik olması gerektiği anlamına gelir. Bu nedenle, bilgi sisteminin faz uzayı, ergodik ve dinamik alt sistemlere bölünmelidir. Bununla birlikte, böyle bir tabakalaşma kesinlikle katı bir şekilde gerçekleştirilemez, farklı serbestlik dereceleri her zaman birbiriyle bağlantılıdır. Bu, dinamik (bilgisel) serbestlik derecelerinin dalgalanması ve ergodik bir alt sistemin (yani termal dalgalanmalar) etkisi altında radikal değişimlerinin (örneğin, başka bir deliğe atılan bir top) belirli bir olasılığının olması gerçeğinde kendini gösterir. .

Makroskopik bilgi sistemlerinde bu olasılık ihmal edilebilir, ancak mikroskobik sistemlerde dikkate alınması gerekir. Bu nedenle, çok-durağanlık ve dağılabilirlik koşulları aynı anda kesinlikle katı bir şekilde yerine getirilemez; onlar isteğe bağlıdır. Bu, “ezberleme” koşulunun mutlak olamayacağı anlamına gelir; yalnızca belirli bir olasılıkla belirli (sonsuz uzun olmayan) bir süre boyunca ezberlemekten bahsedilebilir. Başka bir deyişle, bir bilgi sistemi sonsuza kadar hatırlayamaz. Gerçek bilgi sistemlerinde karakteristik ezberleme süresi, tasarımlarına, sıcaklıklarına ve serbest enerjisine bağlıdır.

Yukarıdakilerin ışığında, entropi ve bilgi arasındaki ilişki sorununun önemsiz olmadığı ortaya çıkıyor. Fiziksel entropi, sistem için mevcut olan faz hacminin logaritmasıdır (bu kavramın gelenekselliği dikkate alınarak - yukarıya bakın), serbestlik derecesi sayısının ve fazın minimum (kuantum) hücresinin boyutunun bulunduğu birimlerde ölçülür. Uzay. Resmi olarak, entropi şu şekilde temsil edilebilir:

Miktar, bit cinsinden ölçülen entropidir; Faz uzayındaki hücre sayısı. Öte yandan, bilgi kapasitesi formda yazılabilir.

nerede bir bilgi hücresinin faz uzayının boyutudur. (12.11) ve (12.12) formüllerinin karşılaştırılması, entropi ve bilginin hem katsayı hem de hücre boyutunda farklılık gösterdiğini gösterir.

(12.11) ve (12.12) formdaki çakışması, bilgi ve entropi kavramlarının kimliği hakkındaki ifadenin temelini oluşturdu. Daha doğrusu, entropinin sistemin durumu hakkında eksik bilgi olduğu ve (veya) bilginin eksik entropi, yani maksimum entropi arasındaki fark olduğu iddia edilir.

bilgisiz bir sisteme ve alınan bilgiye sahip olan sistemin sahip olduğu gerçek entropiye sahip olurdu. Bu bağlamda bilgi ile özdeş kabul edilen neo-entropi terimi kullanılmaktadır.

Ancak birçoğu bu ifadelerden memnun değil ve bilgi ile entropi arasındaki ilişki sorusu tartışmalı olmaya devam ediyor.

Sorunu daha ayrıntılı olarak tartışalım.

Her şeyden önce, sistemin içerdiği bilgi ile entropisi arasındaki büyük niceliksel fark dikkat çekicidir.

Blumenfeld (bkz. [A61), bir dizi biyolojik örnekte (hücre, organizma, vb.), bir nesnede bulunan entropinin, kendisine sunulan bilgiden birçok kez (birkaç büyüklük sırası) daha yüksek olduğunu gösterdi. Modern canlı olmayan bilgi sistemlerinde fark daha da büyüktür (örneğin, basılı bir metinde entropi, bilgiyi yaklaşık 1010 kat aşmaktadır).

Böyle büyük bir niceliksel fark tesadüfi değildir. Bilgi hücresinin faz uzayının hacminin, bilgi hücresinin ergodik bir alt sistem içermesi ve bu nedenle büyük bir yer kaplaması nedeniyle ikincisinin değerine kıyasla büyük olması gerçeğiyle bağlantılıdır (karşılaştırmaya göre). birim hücre ile) hacmi.

Bu nedenle, entropi ve bilgi ölçeklerindeki fark tesadüfi değildir, temel farklılıklarıyla ilişkilidir. Entropi, sistemin içinde olmayı unutması gereken sistem durumlarının bir ölçüsüdür; bilgi, sistemin içinde olmayı hatırlaması gereken durumlar kümesinin bir ölçüsüdür.

Çin bilardo örneğini kullanarak entropi ve bilgideki değişikliklerin nasıl ilişkili olduğunu görelim. Düşüncemizi sistemin ömrü ile sınırlayalım. Gerçek şu ki, herhangi bir bilgi sistemi, dengesizlik, yapısal serbestlik derecelerine göre gevşer ve çöker, yani bilgi olmaktan çıkar.

Yapısal gevşeme süresi, ezberleme süresinden daha büyüktür (veya ona eşittir). Örneğimizde, delikler arasındaki bariyerlerin kendiliğinden yok edilmesinden bahsediyoruz; bu sürecin karakteristik süresi yeterince uzundur. Bu süre boyunca yapısal serbestlik dereceleri değişmez, dolayısıyla entropiye katkıda bulunmazlar. (Bu serbestlik dereceleriyle ilişkili faz uzayının bir kısmına şu anda erişilemez.) Bu durumda, entropi yalnızca hızla gevşeyen serbestlik dereceleriyle ilişkilidir. Davranışları, topun hangi deliklerde olduğuna ve herhangi bir deliğe yerleştirilip yerleştirilmediğine veya yakınında olup olmadığına bağlı değildir. Sistemin fiziksel entropisi her durumda aynıdır, ancak bilgi miktarı farklıdır: top deliğe yerleştirilmemişse sıfıra eşittir ve belirli bir delikte bulunuyorsa eşittir.

Bilgi alma süreci (bizim durumumuzda, belirli bir deliğe bir top yerleştirmek), ısıya dönüşen işin harcanmasını gerektirir (aksi takdirde alım geri döndürülemez olurdu). Sonuç olarak, alım üzerine, sistemin fiziksel entropisi artar (miktarına göre ve aynı zamanda

bilgi artar (Genellikle, ancak aksi takdirde hiçbir şekilde bağlantılı değildirler. Bu nedenle, bilgi alırken oran gözlenmez.

Yeni bilgilerin ortaya çıkması durumunda durum biraz daha karmaşıktır. Bilgi üretebilen bir sistem, bilginin tüm özelliklerine sahip olmalı ve ayrıca şu koşulu sağlamalıdır: faz uzayının belirli bir katmanı, seçilen (bilgi) serbestlik dereceleri dahil olmak üzere zgodik olmalıdır. Bu durumda, kendiliğinden bilgi üretimi için başlangıç ​​koşulları belirlenir.

Bir örnek, iğneli aynı Çin bilardodur. İlk başta topun kinetik enerjisi yeterince büyükse (delikler arasında daha fazla bariyer), o zaman top deliklere takılmadan tahta boyunca hareket eder. Saç tokalarından yansımanın kararsızlığı nedeniyle (Sinai bilardolarında içbükey yüzeylerin rolünü oynarlar, Şekil 12.2), topun hareketi stokastiktir ve başlangıç ​​koşulları hızla unutulur. Kinetik enerji (sistemin yayılımından dolayı, bu durumda sürtünme ve çarpışmalardan dolayı) bariyer yüksekliği mertebesine düştüğünde, top deliklerden birinin çekim bölgesine düşer ve orada kalır. içinde. Böylece seçilen durum bilginin doğuşu olan “hatırlanır”. Aynı prensip rulet ve diğer oyun makinelerinde de kullanılmaktadır.

Tüm bu durumlarda, başlangıç ​​koşullarının ergodik katmanını bilgi katmanından ayırma kriteri, başlangıçtaki serbest enerjinin değeridir (bilardoda bu, topun kinetik enerjisidir). Bilgi üretme sürecinde sistemin entropisindeki artışı da belirler. Değeri tahmin edelim Sistemin bilgi kapasitesi küçük ise: o zaman aşağıdan ana kısıtlama delikler arasındaki bariyerin nerede olduğu durumudur. Engeller, orana göre "ezberleme" süresini belirler.

Yeterince büyük (makroskopik) bir c değeri için bariyer

Böylece, bu durumda, bir bit bilgi başına entropi artışı eşittir

veya bilgi birimlerinde:

Bilgi kapasitesinin büyük olduğu durumda (yani, başka bir koşul dikkate alınmalıdır: belirli bir durum "seçilmeden" önce, sistem olası durumların her birinin etki alanında en az bir kez ziyaret etmelidir). .

Her bir durumun geçişi sırasında enerjinin dağılmasına izin verin. Minimum değer, termal dalgalanmaların enerjisinin sırasına göredir: Bu durumda, aşağıdan koşul tarafından sınırlandırılır.

Bilgi biti başına entropi artışı eşittir

Bu nedenle, bilginin ortaya çıkması durumunda, entropide bir artışla “ödemesi” gerekir, öyle ki, ancak “bilgideki artış entropideki azalmaya eşittir” türündeki ilişkiler gerçekleşmez. bu durumda ya.

Bilgi saklama koşulundan vazgeçersek ortaya çıkan durumu tartışalım. Bu durumda sistemdeki tüm atomların anlık koordinat ve momentum değerleri hakkında bilgilerden bahsedebiliriz. Bu "bilgiyi" gerçek (ezberlenmiş) bilgiden ayırt etmek için, Lizer mikrobilgi terimini önerdi, ezberlenmiş bilgilere makrobilgi denir.

Belirli bir anda sistemin faz uzayının belirli (mümkün olan) bir hücresinde olduğu biliniyorsa, mikro bilgi miktarı maksimumdur ve şuna eşittir:

Bu durumda, sistemin entropisi sıfıra eşittir, çünkü şu anda diğer tüm hücreler “erişilemez” olarak kabul edilebilir.

Belirli bir anda sistemin olası hücrelerden herhangi birinde bulunduğu biliniyorsa, ancak hangisinde olduğu bilinmiyorsa, o zaman mikro bilgi sıfıra eşittir ve entropi maksimumdur ve eşittir

Şu anda sistemin hücrelerden birinde (herhangi bir) içinde olduğu biliniyorsa, o zaman

ve mikro bilgi ile entropi arasında basit bir ilişki vardır:

Mikrobilgi, prensip olarak, başka bir bilgi sistemi tarafından alınarak makrobilgiye dönüştürülebilir. Örneğin, bir Brown hareketi modelinin fotoğrafını çekerek, parçacıkların anlık koordinatları fotoğraf filminde yakalanabilir (belleğe alınabilir). Bu bilgi daha sonra herhangi biri için kullanılabilir (parçacıkların hareketi ile ilgili olmasa bile)

hedefler. Bu durumda, alım sürecinde (mikro bilgilerin makroya dönüştürülmesi, işin harcanması ve tüm sistemin entropisinin, depolanan bilgi miktarını açıkça aşan bir miktarda artırılması önemlidir.

"Maxwell'in iblisi" paradoksunun temelinde bu süreç -mikro-bilginin makro-bilgiye dönüştürülmesi ve kontrol için kullanılması- yatar. Çözümü, mikro-bilgi alma ve kontrol için kullanma sürecine, tüm sistemin entropisinde / bilgiyi aşmada bir artış eşlik etmesidir.

Mikro ve makro bilgi arasındaki böylesine önemli bir farkla bağlantılı olarak, iki entropi kavramı da kullanılır. Fiziksel entropi ile birlikte, şu şekilde tanımlanan bilgi entropisi kullanılır.

sistemin bunlardan birinde olduğu bilinen (ancak hangisinde olduğu bilinmiyor) durağan kararlı makro durumların sayısı nerede?

Tanıma göre bilgi entropisi, bilgi ile orantısal olarak ilişkilidir.

Bilgide bir artış (tutarken her zaman bilgi entropisinde eşit bir azalma eşlik eder. Bilgi entropisi terimi, bilginin ortaya çıkması ve bir sistemin düzenlenmesi söz konusu olduğunda kullanımı uygundur. Bu anlamda kullanılmaktadır. Bölüm 2. Fiziksel entropi ile genel olarak konuşursak, bu miktarın bağlantılı olmadığını vurguluyoruz.

Bu nedenle, fiziksel entropi ve bilgi (hem niteliksel hem de niceliksel olarak) arasındaki farkın temeli, ezberleme koşulu ve temel hücreye kıyasla bilgi hücresinin sonuçta ortaya çıkan büyük hacimli faz alanıdır.

"Hisse senedinin" boyutunu tahmin etmek ilgi çekicidir. Bunu genel anlamda yapmak artık çok zor. Bununla birlikte, optimal büyüklüğün canlı doğada (yani minimum, ancak gereksinimleri karşılayan) gerçekleştiği düşünülebilir. Gerçek veriler kullanılarak tahmin edilebilir.

Bir DNA molekülünde, iki bit bilgi içeren bir hücre, bir çift tamamlayıcı nükleotittir. Yaklaşık atom içerir. Titreşimsel serbestlik dereceleriyle ilişkili entropi birazdır veya bilgi biti başına entropi yaklaşık 60 bittir. Bu nedenle, bit başına faz uzayının hacmi eşittir