kvark-kvazar

Od kvarka do kvazara - uz mnogo astrofizike i malo matematike u Maju mesecu matematike u Nišu

Obeležavanje Maja meseca matematike, u organizaciji Departmana za matematiku PMF-a u Nišu nastavlja se u petak, 26. maja, od 17:00 h, u amfiteatru Prirodno-matematičkog fakulteta u Nišu sa tri nova ...
Slika dana: Mesec u polusenci [18.10.2013]

Pomračenje Meseca polusenkom (5. maj 2023)

Za ovaj petak (5. maj) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom ...
CometZtf_Hernandez_960

Kometa C/2022 E3 (ZTF)

Ako ste tokom prethodnih par meseci bili totalno izolovani od vesti ili toliko ne volite vesti iz astronomije da čim ih čujete menjate sajt/TV kanal/radio stanicu onda verovatno niste čuli ...
partial-solar-eclipse

Predavanje i posmatranje pomračenja Sunca iz Niša

Povodom predstojećeg delimičnog pomračenja Sunca, Astronomsko društvo “Alfa” i Departman za fiziku Prirodno-matematičkog fakulteta u Nišu organizuju naučno-popularno predavanje i javno posmatranje pomračenja.U ponedeljak, 24. oktobra biće održano predavanje“Ne paničite – to je samo ...
solar-eclipse

Delimično pomračenje Sunca (25. oktobar 2022)

Još tačno deset dana deli nas do predstojećeg delimičnog pomračenja Sunca koje će biti vidljivo iz Srbije. Pomračenje Sunca za mnoge je verovatno najznačajnija i najazanimljivija pojava koju možemo da ...
DSC_2117

“Otvorena vrata” opservatorije na krovu PMF-a u Nišu (2022/23. godina)

Posle duže pauze AD Alfa i Laboratorija za astrofiziku, astronomiju i astrobiologiju Departmana za fiziku PMF-a u Nišu otvaraju svoja vrata za sve zainteresovane ljubitelje astronomije I organizuju teleskopska posmatranja.Tokom narednih nedelja, dok vremenski i ...
bpu11-v01

U Beogradu počinje 11. Međunarodna konferencija BPU

Pod pokroviteljstvom Balkanske unije fizičara (Balkan Physical Union - BPU), u organizaciji Srpske akademije nauka i umetnosti (SANU), Prirodno-matematičkog fakulteta u Nišu (PMF Niš), Fizičkog fakulteta Univerziteta u Beogradu, uz ...
Perseid-meteor-shower-today-main-220809-c3f975

Meteorska kiša - Perseidi 2022

Svake vedre noći, ako odete negde daleko od svetla grada i ako ste dovoljno strpljivi možete da vidite nekoliko meteora svakog sata. Međutim, svake godine oko 10. avgusta "zvezde padalice" ...
kosmicke-litice

Džejms Veb Teleskop - prve fotografije

Odavno je "Svet nauke" otišao u zimski... letnji... višegodišnji san i teško ga je probuditi ali neki događaji u nauci su toliko značajni da mogu da predstavljaju prekretnicu u budućem ...
posterM3-nis

Maj mesec matematike u Nišu

Da li informacija samo o proseku verno opisuje razne pojave? Jesu li dobra stara vremena zaista bila tako dobra? Šta je zajedničko dizajnu Renoove karoserije i fontova? Može li nam ...
cmsMasterclass

CERN Masterclass 2022

U ponedeljak 4. apila 2022. godine pod pokroviteljstvom CERN-a i grupe IPPOG (International Particle Physics Outreach Group) održaće se 18. međunarodni program “MasterClasses – Hands on Particle Physics” (MC2022).U ovom obrazovno-istraživačkom programu ...
cms-posetajpg

Virtuelna poseta CMS eksperimenta u CERN-u

U četvrtak, 17. marta sa početkom od 19:00 h, biće organizovan simpozijum sa pratećim predavanjima i virtuelnom posetom CMS eksperimentu u CERN-u.CERN i naučne institucije iz Republike Srbije redovno organizuju obrazovne programe za učenike i ...
odeljenje-cover

Pripremna nastava za upis u Odeljenje za fiziku (šk. 2022/23)

Ove godine u Odeljenje za učenike sa posebnim sposobnostima za fiziku Gimnazije “Svetozar Marković” u Nišu stiže 20. generacija učenika. Nastavnici i saradnici Departmana za fiziku PMF-a, u saradnji sa ...
800px-Benjamin_Franklin_1767

Bendžamin Frenklin (1706 - 1790)

Na današnji dan, 17. januara, 1706. godine, u Bostonu (Masačusets, SAD), rođen je Benžamin Frenklin (Benjamin Franklin), američki naučnik i političar, borac za ljudska prava, učesnik u Američkom ratu za ...
svetnauke 2021

Srećna nova 2022. godina

Dragi prijatelji i prijateljice, kolegenice i kolege, saradnici i saradnice, slučajne prolaznice i prolaznici,dok polako odbrojavamo poslednje "metre" još jednog kruga oko Sunca i bližimo se kraju još jedne godine ...
1280px-ALH84001_structures

Meteorit sa Marsa ALH84001

Najpoznatiji meteorit sa Marsa otkriven je 27. decembra 1984. godine na Antarktiku.Ovaj meteorit nosi oznaku ALH84001 i otkriven je u oblasti Allan Hills, grupi brda na Antarktiku. Pronašao ga tim ...
NSF-blackhole-Ghez-NRFuller-768x551-1

Kako smo videli nevidljivo?

Povodom obeležavanja 50 godina studija fizike, hemije i matematike na Univerzitetu u Nišu i dana fakulteta, Prirodno-matematički fakultetu Nišu tokom septembra i oktobra organizuje seriju naučno-popularnih predavanja. Zbog epidemiološke situacija ...
nauke

50 godina fizike, hemije i matematike na PMF-u u Nišu

Povodom obeležavanja Dana Prirodno-matematičkog fakulteta u Nišu i 50 godina postojanja i uspešnog rada Departmana za hemiju, Departmana za fiziku i Departmana za matematiku PMF organizuje seriju naučno-popularnih predavanja. Predavanja ...
Slika dana: Galileo Galilej i teleskop [25.08.2014]

Prvi teleskop

Galileo Galilej i prvi teleskop (izvor: Physics Today)Na današnji dan 1609. godine Galileo Galilej predstavio je "prvi teleskop" Leonardu Donatu, vladaru Venecije, i njegovim savetnicima. Galileo Galilej napravio je ovaj ...
apolo11-pre-poletanja

52 godine od Malog koraka za čoveka - Apolo 11

Na današnji dan, pre tačno 52 godine, 20. jula 1969. godine čovek je prvi sleteo na površinu drugog nebeskog tela.Oko šest sati pre “malog koraka za čoveka, ali velikog za čovečanstvo” dvočlana posada ...
Perseids_Meteor_Shower_2012

Predavanje “O meteoroidima, meteoritima i meteorima uz malo fizike i matematike”

Specijalan gost ovogodišnjeg programa Maj mesec matematike u Nišu biće prof. dr Dragan Gajić. U četvrtak 20. maja 2021. godine od 19:45 h, prof dr Dragan Gajić će održati online predavanjeO meteoroidima, meteoritima i meteorima uz malo ...
earth-living-conditions

Dan planete Zemlje - 22. april

Današnji dan se od 1970. godine u celom svetu obeležava kao međunarodni dan naše planete Zemlje. Kada je pre 48 godina američki senator Gajrold Nelson inicirao ideju da ovaj dan ...
yuri_gagarin_01

Juri Gagarin - 60 godina od prvog leta u svemir

Pre tačno 60 godina, 12. aprila 1961. godine oko 9 sati po Moskovskom vremenu, raketa Vostok 1 poletela je ka svemiru. U raketi je sedeo Juri Gagarin koji je nekoliko minuta kasnije postao prvi čovek u ...
Slide9

Predavanje Saturn - gospodar prstenova

Predavanje „Najvišu planetu vidim trostruko ili Saturn - gospodar prstenova" biće održano u četvrtak 4. marta od 19:00 h. Predavač će biti prof. dr Dragan Gajić.Predavanje možete pratiti na sajtu i YouTube kanalu AD Alfa, kao i na ...
Slide8

Predavanje “Da Jupitera nije bilo, ni nas ne bi bilo!”

Predavanje „Da Jupitera nije bilo, ni nas ne bi bilo!“ biće održano u četvrtak 18. februara od 19:00 h. Predavač će biti prof. dr Dragan Gajić.Predavanje možete pratiti na sajtu i YouTube kanalu AD ...

Entropija i teorija informacija 1

Primena entropije na teoriju informacija u stvari predstavlja statistički opis informacija, izvora informacija i operacija sa njima (kompresovanje itd.).

Teorija informacija je grana primenjene matematike nastala u 20 veku. Osnovu ove teorije čine radovi „Prenos informacija“ koji je objavio Ralf Hartli 1928 zatim možda i najvažniji „Matematička teorija komunikacije“ Kloda Šenona iz 1948 i „Kibernetika“ koju je takođe 1948 godne objavio Norbert Viner. Hartli je prvi definisaoizraz za količinu informacije , Šenon je uz pomoć matematičara Von Njumana definsao entropiju izvora informacija proučavajući izgubljene signale u telefonskim žicama a Viner je dao svoju teoriju po kojoj je informacija mera uređenosti dok je neodređenost mera neorganizovanosti i po količinama su iste pa važi

(информација) = (неодређеност).

U matematici je svaki iskaz ili tačan (T) ili netačan (┴) i to je osnova binarne logike (o ili 1). Međutim problem nastaje kada se postavi pitanje čiji odgovor je neodređen odnosno nije samo T ili ┴.

Na primer pitanje: „koje je boje zid?“. Ako imamo 6 ponuđenih boja i vervatnoć da je svaka od njih tačan odgovor jednaka kako da postavljamo pitanja da dobijamo tačan odgovor?

U teoriji se pokazuje da ako imamo 2n mogućih i isto verovatnih odgovora ( p(n)═1/n) treba da postavimo n binarnih pitanja da pi sigurno znali odgovora. Zbog toga je Hartli predložio da se količina informacija računa kao negativan logaritam verovatnoće njenog pojavljivanja.Jedinica za količinu informacija je 1 bit mada postoje i Šenon po simbolu (shanon/symbol) a koristi se i Hartli po  simbolu (Hartley/symbol)

I(p) = −log2 (n) = log2n za p(n) ═ 1/n

Logaritam verovatnoće je negativan broj!!!! Takođe mogu da se koriste i druger osnove za logaritam

npr. 10, e – Ojlerov broj, ali i dualni logaritam ld I=l_d \frac {1} {P(S_i)}

Međutim, nakon ovoga javlja se problem u slučaju kada nije verovatnoća svih mogućih odgovora ista. Ovaj problem rešili su Šenon i Viver i to nezavisno jedan od drugog ali su dobili isto rešenje.

Na primer ako imamo dva moguća rešenja verovatnoće P1 i P2 tada je količina informacija za prvi slučaj I1 ═ -log2 P1 a za drugi I2 ═ -log2 P2. Srednja vrednost tj. matematičko očekivanje za ova dva broja je I = − P1I1 − P2I2.

U opštem slučaju za n ═ 2,3,4,5………. i za P1, P2, P3……..Pn važi

I = − P1log2P1 − P2log2P2 − … − PnlognPn.

Ovako definisana srednja vrednost količine informacija predstavlja entropiju odnosno neodređenost.

Ovu definiciju dao je Šenon koji je bio inžinjer i matematičar uz pomoć još von Njumana koji mu je pomogao i u davanju imena veličini jer je Šenon upotrebljavao izraz neodređenost ali mu je von Njuman rekao da je nazove entropija zbog sličnosti sa ovom veličinom u termodinamici a izbog togo što kako je rekao entropiju niko ne razume pa će mu to pomoći eventualnim debatama.

Za razliku od Šenona, Viver je do svog rešenja došao koristeći termodinamiku odnosno Bolcmanove radove. On je entropiju označio sa H i došao do formule

H(P1, P2, P3,…) = − P1log2P1 − P2log2P2 − P3log2P3 − ….

I = H

Series NavigationEntropija i teorija informacija 2Čovek i entropija

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: