cezar-milankovic

Srpska Nova godina?

Stigao je još jedan 13. januar i “nova” godina. Ali, da li je ova Nova godina "Srpska" ili je ona možda Cezarova saznaćete u tekstu koji sledi.Od nastanka civilizacije ljudi su tražili sve ...
Muhammad-Rayhan-PLE-2016_1474060079

Pomračenje Meseca - 10. januar 2020

Za večeras (10. januar) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom prethodnih ...
nikola-tesla-munje-kolorado-springs

Nikola Tesla - čovek koji je pronašao XX vek

U Njujorku je na današnji dan, na Božić, 1943. godine umro jedan od najvećih istraživača koji je ikada živeo - Nikola Tesla, "čovek koji je izmislio XX vek", kako ga ...
newdecade_hdv

Početak nove decenije - učimo da brojimo & računamo vreme

Prvi put objavljeno januara 2010. godineSvakih deset godina, tj. svaki put kad čekamo godinu koja završava nulom krenu zanimljive priče i rasprave o tome da li je to godina kojom ...
planeta-vlasina

Planeta Vlasina oko zvezde Morave

Povodom jubileja koji ove godine obeležava Međunarodna astronomska unija (MAU), 100 godina od svog osnivanja, sve zemlje članice MAU su imale jedinstvenu priliku da kumuju imenu jednoj od novootkrivenih planeta ...
Konkurs-small

Konkurs za radove učenika

Niš Young Minds Section organizuje konkurs za sve zainteresovane učenike osnovnih i srednjih škola na teritoriji Republike Srbije u okviru projekta „Izvan redova i van okvira: Seminar za ambiciozne mlade fizičare“ ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: