davinci

Leonardo da Vinči: Umetnik. Naučnik. Pronalazač.

Pišu: Jovana Savić i Jovana Stanimirović“Onaj ko isključivo ceni praksu bez teorije je poput moreplovca koji se ukrca na brod bez kormila i kompasa, ne znajući kuda se plovi.” - ...
crna-rupa-prva

Prva fotografija crne rupe!

Već nekoliko decenija, a može se reći i vekova, crne rupe privlače ogromnu pažnju kako naučnika tako i javnosti, kroz popularne tekstove, različite ideje i SF romane i (visokobudžetne) filmove.Do ...
dositej-obradovic

Dositej Obradović – srpski prosvetitelj i reformator

„Knjige, braćo moja, knjige, a ne zvona i praporce!“Dositej ObradovićNa današnji dan 28. marta 1811. godine u Beogradu je umro najveći srpski prosvetitelj i reformator – Dositej Obradović. Sahranjen je ...
proposal

CERN – mesto gde je nastao “Internet”

Prvi World Wide Web Logo (Autor: Robert Cailliau)Prethodnih nekoliko godina imali smo prilike da često slušamo o CERN-u, LHC-u - i "najvećem eksperimentu čovečanstva", ulasku Srbije u punopravno članstvo, akceleratoru, ...
using-a-smartphone-accelerometer

Konkurs Mobilni telefon u fizičkom eksperimentu

Digitalna tehnologija i mediji, zasnovani na upotrebi interneta i mobilnih telefona predstavljaju najpopularniji način komuniciranja u savremenom svetu. Mobilni telefoni su naša svakodnevica, a novi modeli se po svojim mogućnostima ...
odeljenje-za-fiziku-novine

Postani i ti deo nove generacije specijalnog Odeljenja za fiziku u Nišu

Ove godine u Odeljenje za učenike sa posebnim sposobnostima za fizikuGimnazije “Svetozar Marković” u Nišu stiže nova, 17. generacija učenika.Kao i prethodnih godina nastavnici i saradnici Departmana za fiziku PMF-a, u saradnji sa ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: