Bilim ve eğitimin modern sorunları. Elektronik bilgi toplama, işleme ve görüntüleme araçları

Bilgiyi ölçmek için çeşitli yaklaşımlar vardır.

kombinatoryal ölçü

Daha iyi bir anlayış için birkaç basit örnek düşünün.

Örnek 1 ... Deneyi yapalım. Bir zar alalım. Her birinde birden altıya kadar sayılar bulunan altı kenarı vardır.

Hadi fırlatalım. Zar atıldığında, zarın kenarlarındaki sayılardan biri düşer. Ortaya çıkan sayı, deneyimimizin sonucudur.

Zarı herhangi bir sayıda atarak, yalnızca altı olası sayı elde edebiliriz. Bunu N = 6 olarak gösterelim.

Bu örnek, bir kombinatoryal bilgi ölçüsü kavramına geçmenize ve aşağıdaki tanımı vermenize izin verir:

Bilginin birleşimsel ölçüsü N, bilgi öğelerinin olası kombinasyonlarının sayısını tahmin ederek bilgi miktarını ölçmenin bir yoludur.

Zarlı örnekte, deneyin sonucunun sadece altı çeşidi, başka bir deyişle altı kombinasyon mümkün olduğundan, birleşim ölçüsüne göre bilgi miktarı N = 6 kombinasyondur.

Aşağıdaki örneği düşünün.

Örnek 2. Ondalık basamaklardan biri verilsin, örneğin, 8 rakamı ve onaltılık rakamlardan biri - örneğin, 6 rakamı (başka bir onaltılık - 8, B, F, vb.) Şimdi, bir kombinatoryal ölçü tanımına göre, bu sayıların her birinin içerdiği bilgi miktarını belirleyelim. 8 rakamı ondalık olduğundan, yani on karakterden birini temsil eder, o zaman N 8 = 10 kombinasyon. Benzer şekilde, 6 sayısı on altı karakterden birini temsil eder ve bu nedenle N 6 = 16 kombinasyon. Bu nedenle, onaltılık bir basamak, ondalık basamaktan daha fazla bilgi içerir.

Ele alınan örnekten, sayı sisteminin tabanında ne kadar az sayı varsa, elemanlarından biri tarafından o kadar az bilgi taşındığı sonucuna varabiliriz.

İkili logaritmik ölçü

İngiliz mühendis R. Hartley, bilgi miktarını ikili bir logaritmik ölçü ile ölçmeyi önerdi:

burada N, bilgi öğelerinin farklı kombinasyonlarının sayısıdır. Bu ölçümde bilgi ölçüm birimi bittir.

R. Hartley tarafından türetilen formül, olası N kombinasyonlarının sayısını hesaba kattığından, yukarıda ele alınan örnekler için ikili logaritmik ölçü tarafından verilen bilgi miktarının tahmininin bilinmesi ilginçtir.

Sayım aşağıdaki sonuçları verir:

küp örneğinde I = log 2 6 = 2.585 bit;

ondalık sayı sistemi olan örnekte, I = log 2 10 = 3.322 bit;

onaltılık gösterimli örnekte I = log 2 16 = 4 bit;

örnekte ikili sayı sistemi I = log 2 2 = 1 bit.

Son basamak, ikili sayı sisteminin her basamağının bir bit bilgi içerdiğini gösterir. Genel olarak, teknik sistemlerde, ikili sayı sistemi iki olası durumu kodlamak için kullanılır, örneğin 1, ağda elektrik akımının varlığı, 0 yokluğu anlamına gelir.

Yukarıda ele alınan tüm örneklerde, deneylerin sonuçları eşit derecede muhtemel ve karşılıklı olarak bağımsızdı. Bu, zar atıldığında, altı yüzün her birinin aynı başarılı sonuç olasılığına sahip olduğu anlamına gelir. Ayrıca bir sonraki atışın sonucunun hiçbir şekilde bir önceki atışın sonucuna bağlı olmadığını da.

Gerçek hayatta eşit derecede olası ve birbirinden bağımsız olaylar oldukça nadirdir. Konuşulan dillere, örneğin Rusça'ya dikkat ederseniz, ilginç sonuçlar çıkarabilirsiniz. Bilgisayar bilimindeki teorik araştırmayı basitleştirmek için, genellikle Rus alfabesinin 32 karakterden oluştuğu kabul edilir (e ve e ile b ve b birbirinden farklı değildir, ancak kelimeler arasına bir boşluk eklenir). Mesajdaki Rus dilinin her harfinin eşit sıklıkta göründüğünü ve her harften sonra başka bir sembol olabileceğini varsayarsak, o zaman Rus dilinin her bir sembolündeki bilgi miktarını şu şekilde belirleyebiliriz:

ben = günlük 2 32 = 5.

Ancak, aslında, her şey öyle değil. Tüm konuşulan dillerde, bazı harfler daha sık, diğerleri çok daha az bulunur. Araştırmalar, 1000 harf başına aşağıdaki tekrarların olduğunu söylüyor:

Ayrıca, tek tek harflerin görünme olasılığı, hangi harflerin onlardan önce geldiğine bağlıdır. Yani, Rusça'da yumuşak bir işaret bir sesli harfi takip edemez, dört sesli harf arka arkaya duramaz vb. Herhangi bir konuşma dilinin kendine has özellikleri ve kalıpları vardır. Bu nedenle, herhangi bir konuşma dilinin sembollerinden oluşturulan mesajlardaki bilgi miktarı, kombinatoryal veya ikili logaritmik ölçümlerle tahmin edilemez.

Bilginin yapısal ölçüsü

Yapısal bilgi ölçütlerini kullanırken, yalnızca mesajın ayrık yapısı, içerdiği bilgi öğelerinin sayısı ve bunlar arasındaki bağlantılar dikkate alınır.

Yapısal yaklaşım şunları ayırt eder:

1) Geometrik ölçü - bilgi mesajının (uzunluk, alan, hacim ...) geometrik modelinin parametresinin ayrı birimlerde ölçülmesini içerir.

Modelin bilgi kapasitesi - mümkün olan maksimum bilgi miktarı - tüm boyutlar (koordinatlar) üzerindeki ayrık değerlerin toplamı olarak tanımlanır.

2) Kombinatoryal ölçü - elemanların kombinasyonlarının sayısı olarak tanımlanan bilgi miktarı.

3) Toplamsal ölçü - (Hartley ölçüsü) - bilgi miktarı ikili birimler - bit olarak ölçülür.

Kullanılan kavramlar:

Sayının derinliği q, bilgiyi temsil etmek için kabul edilen karakter sayısıdır. Bir seferde sadece bir sembol gerçekleştirilir.

Bir sayının uzunluğu n, belirli bir boyuttaki sayıları temsil etmek için gerekli ve yeterli konum sayısıdır.

Bir sayının belirli bir derinliği ve uzunluğu için temsil edilebilecek sayıların sayısı N = qn'dir.

Logaritmik değer: I = log2N = n log2q (bit) - Hartley ölçüsü.

Böylece, bir işaret sistemi kullanılarak kodlanmış bir mesajda bulunan bilgi miktarı, bir işaret tarafından taşınan bilgi miktarı ile karakter sayısı çarpımına eşittir.

Bir bilgi miktarı birimi, belirsizliği yarıya indiren bir mesaj içeren bilgi miktarı olarak alınır. Bu bir vuruş.

Yapısal- bilgi dizilerinin ayrık yapısını ve bilgi öğelerinin basit sayımıyla ölçümlerini dikkate alır. (Dizilerin en basit kodlaması bir kombinatoryal yöntemdir.)

Bilginin yapısal önlemleri

Yapısal önlemler yalnızca bilginin ayrık yapısını dikkate alır. Bilgi kompleksinin öğeleri, bilginin nicel - bölünmez parçalarıdır. Ayırmak geometrik, kombinatoryal ve katkı miktar.

bilgi tanımı geometrik yöntem, kuanta sayısındaki bilgi kompleksinin geometrik modelinin çizgi uzunluğunun, alanının veya hacminin bir ölçümüdür. Verilen yapısal boyutlardaki olası maksimum kuantum sayısı, sistemin bilgi kapasitesi... Bilgi kapasitesi, tam bilgi dizisindeki niceliklerin sayısını gösteren bir sayıdır. Şek. 1.2, G, Bilgi miktarı m karmaşık x(T, N), geometrik yöntemle belirlenir, eşittir

NS, T,N - ayrı numunelerin alındığı aralıklar.

V kombinatoryal bilgi miktarı, eleman kombinasyonlarının sayısı olarak hesaplanır. Olası veya gerçekleştirilmiş kombinasyonlar burada dikkate alınır.

Birçok durumda, ayrı bir mesaj, birkaç öğeden oluşan bir kelime olarak görülebilir. n, oluşan alfabe tarafından verilen T elemanlar-harfler. Belirli bir alfabeden oluşturulabilecek farklı mesaj sayısını belirleyelim. Mesaj iki öğeden oluşuyorsa ( n = 2), toplamda farklı mesajlar olabilir. Örneğin, on basamak (0, 1, 2, ..., 9) 0'dan 99'a kadar yüz farklı sayı oluşturabilir. Eleman sayısı üç ise, farklı mesajların sayısı eşittir vb.

Böylece olası mesajların sayısı şu şekilde belirlenir:

nerede L- mesaj sayısı; NS- bir kelimedeki öğelerin sayısı; T- alfabe.

Daha fazla L, her mesaj diğerlerinden ne kadar farklı olabilir. Miktar L bilgi miktarının bir ölçüsü olarak alınabilir. Ancak, seçim L bilgi miktarının bir ölçüsü olarak uygunsuzluklarla ilişkilidir: ilk olarak, ne zaman L= 1 bilgi sıfıra eşittir, çünkü mesajın doğası önceden bilinir (yani, bir mesaj vardır ve bilgi sıfıra eşittir); ikincisi, bilgi miktarının doğrusal olarak eklenmesi koşulu karşılanmaz, yani. katkı durumu. Örneğin, ilk kaynak farklı mesajlarla ve ikincisi - ile karakterize edilirse, iki kaynak için toplam farklı mesaj sayısı ürün tarafından belirlenir.

Bu ölçü, kullanıcının hedefine ulaşması için bilginin (değerin) yararlılığını belirler.

Tüm bilgi teorisi, 1928'de R. Hartley tarafından yapılan keşfe dayanmaktadır ve bu bilgi niceliklendirilebilir.

Hartley'in yaklaşımı, temel küme-teorik, esasen kombinatoryal temellere ve ayrıca sezgisel olarak açık ve oldukça açık birkaç varsayıma dayanmaktadır.

Çok sayıda öğe varsa ve bunlardan biri seçilirse, bununla belirli bir miktarda bilgi iletilir veya üretilir. Bu bilgi, seçimden önce hangi elemanın seçileceği bilinmiyorsa, seçimden sonra bilindiği gerçeğinden oluşur. Kümeden belirli bir elemanı seçerken elde edilen bilgi miktarını, bu kümedeki eleman sayısı ile yani kardinalitesi ile birleştiren fonksiyon türünü bulmak gerekir. ölçüm algoritmik pragmatik bayt

Seçimin yapıldığı öğeler kümesi tek bir öğeden oluşuyorsa, seçiminin önceden belirlenmiş olduğu açıktır, yani seçim belirsizliği yoktur - sıfır miktarda bilgi vardır.

Küme iki elemandan oluşuyorsa, seçim belirsizliği minimumdur. Bu durumda, bilgi miktarı da minimumdur.

Kümede ne kadar çok öğe varsa, seçim belirsizliği o kadar büyük, o kadar fazla bilgi.

Kümedeki bu sayıların (elemanların) sayısı: N = 2i

Bu bariz düşüncelerden, ilk gereklilik şudur: bilgi, orijinal kümenin kardinalitesinin monoton bir işlevidir.

Bir sayı seçmek bize şu miktarda bilgi verir: i = Log 2 (N)

Böylece, bir ikili sayının içerdiği bilgi miktarı, bu sayıdaki ikili rakamların sayısına eşittir.

Bu ifade, Hartley'nin bilgi miktarı formülüdür.

Bir sayının uzunluğu iki katına çıktığında, kümedeki sayıların katlanarak artmasına (sayılar ikili ise kare), yani N2 = ( N1) olmasına rağmen, içindeki bilgi miktarı da iki katına çıkmalıdır. 2, sonra I2 = 2 * I1,

F (N1 * N1) = F (N1) + F (N1).

Bilgi miktarı, kümedeki eleman sayısının doğrusal bir fonksiyonu olarak ifade edilirse bu mümkün değildir. Ancak tam da böyle bir özelliği olan bilinen bir işlev vardır: Log'dur:

Günlük 2 (N2) = Günlük 2 (N1) 2 = 2 * Günlük 2 (N1)

Bu ikinci gereksinim, toplamsallık gereksinimi olarak adlandırılır.

Böylece, Hartley tarafından önerilen logaritmik bilgi ölçüsü, aynı anda monotonluk ve toplamsallık koşullarını karşılar. Hartley kendi ölçüsüne az önce ana hatlarıyla belirtilenlere benzer buluşsal düşünceler temelinde geldi, ancak şimdi kesin olarak kanıtlandı ki, bilgi miktarı için logaritmik ölçümün, onun öne sürdüğü bu iki koşuldan açık bir şekilde çıktığı kesin olarak kanıtlanmıştır.

Örnek. 192 madeni para var. Bunlardan birinin sahte olduğu, örneğin daha hafif olduğu bilinmektedir. Tanımlamak için kaç tartım yapılması gerektiğini belirleyelim. Teraziye farklı sayıda madeni para koyarsak, üç bağımsız olasılık elde ederiz: a) sol bardak daha düşüktür; b) sağ fincan daha alçaktır; c) bardaklar dengelidir. Bu nedenle, her tartım, I = log23 bilgi miktarını verir, bu nedenle, sahte bir madeni parayı belirlemek için, en küçük k'nin log23k log2192 koşulunu sağladığı yerde en az k tartım yapılmalıdır. Dolayısıyla, k 5 veya k = 4 (veya k = 5 - bir tartım ve sonuncusu sayarsak, madeni parayı belirlemek için açıktır). Bu nedenle en az beş tartım (5 yeterlidir) yapmak gerekir.