Konkurs-small

Konkurs za radove učenika

Niš Young Minds Section organizuje konkurs za sve zainteresovane učenike osnovnih i srednjih škola na teritoriji Republike Srbije u okviru projekta „Izvan redova i van okvira: Seminar za ambiciozne mlade fizičare“ ...
black-hole

O crnim rupama i medicinskoj fizici u četvrtak na PMF-u u Nišu

U četvrtak 31. oktobra od 20 h nastavlja se serija naučno-popularnih predavanja u organizaciji “Niš Young Minds Section” i Departmana za fiziku PMF-a.Ovog četvrtka Young Minds sekcija iz Niša pripremila je dva zanimljiva predavanja iz astrofizike i ...
enjoyphysics

Prvo predavanje u organizaciji Niš Young Minds Section

U četvrtak 24. oktobra u amfiteatru Prirodno-matematičkog fakulteta u Nišu sa početkom u 20 časova, biće održano predavanje prof. dr Gorana Đorđevića sa Departmana za fiziku na temu:Od Saveza komunista do „Mladih umova”Kosmologija i ...
safer-internet

Svetska nedelja svemira i Međunarodna noć posmatranja Meseca u Nišu

Povodom Svetske nedelje svemira i Međunarodne noći posmatranja Meseca od subote, 5. oktobra do četvrtka 10. oktobra Astronomsko društvo “Alfa” i Departman za fiziku Prirodno-matematičkog fakulteta u Nišu organizuju seriju ...
apolo11-pre-poletanja

Apolo 11: 50 godina kasnije

Na današnji dan, pre tačno 50 godina, tj. 16. jula 1969. godine u 9:32h po lokalnom vremenu (13:32 po Griniču), iz Kennedy Space Center-a lansirana je raketa nosač Saturn V. Na vrhu te ...
sunbathing

Sunčanje i/ili zdravlje? Izaberite sami!

Sunce, taj žuti disk koji svakoga dana putuje po plavom nebeskom svodu, je samo jedna od nekoliko milijardi zvezda rasutih svuda po praznom prostoru svemira. Ono je jedna sasvim obična ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: