Termodynamika informacji

P. F. GóraWydział Fizyki, Astronomii i Informatyki Stosowanej UJ

http://th-www.if.uj.edu.pl/zfs/gora/

30 pazdziernika 2014

Pojecia z dwu róznych dyscyplin

Fizyka InformatykaDemon Maxwella Maszyna Turinga

podstawy termodynamiki podstawy teorii obliczalnosci

przetwarza informacje o czastkach przetwarza informacje o symbolach

przetwarzaja informacje

Termodynamika informacji 2

Pojecie entropii

Niech pewien układ fizyczny moze znajdowac sie w jednym z N stanów{ωi}Ni=1. Kazdy z tych stanów moze byc przybrany z prawdopodobien-stwem pi = P (ωi).

∑i pi = 1.

Kiedy mamy pełna informacje o układzie? Kiedy wiemy, ze układ z całapewnoscia znajduje sie w konkretnym, znanym nam stanie ωi0: pi0 = 1,

pi 6=i0 = 0.

Kiedy mamy najmniejsza informacje o układzie? Gdy kazdy stan układujest obsadzony z jednakowym prawdopodobienstwem: p1 = p1 = · · · =pN ( = 1/N).

Termodynamika informacji 3

Im mniej prawdopodobny jest stan, w którym

znajduje sie układ, tym bardziej uporzadkowany

nam sie wydaje.

Termodynamika informacji 4

Miara informacji

Przykład: w urnie jest sto ponumerowanych kul. Kule o numerach 1,2 saczerwone. Kule o numerach 3,4,. . . ,100 sa niebieskie. Ktos wylosowałjedna kule i mówi nam

• Wylosowałem kule czerwona

• Wylosowałem kule niebieska

W którym przypadku dowiemy sie wiecej o wyniku losowania?

Dowiemy sie wiecej , gdy uzyskany wynik bedzie mniej prawdopodobny.

Termodynamika informacji 5

Miara informacji powinna byc

1. Ciagła funkcja prawdopodobienstwa zajscia zdarzenia,

2. Musi byc tym wieksza, im prawdopodobienstwo jest mniejsze,

3. Jezeli zdarzenie jest suma dwu zdarzen niezaleznych, miara informa-cyjna zdarzenia łacznego musi byc równa sumie miar zdarzen składo-wych.

Funkcja, która spełnia te wymagania, jest

I(ωi) = log2

(1

P (ωi)

)= − log2 P (ωi)

Termodynamika informacji 6

Entropia Gibbsa-Shannona

Claude Shannon, 1948: Entropia informacyjna jest srednia miara informa-cji zawartej w danym rozkładzie.

S = −N∑

i=1

pi log2 pi

Ten wzór jest identyczny (z dokładnoscia do jednostek) z wyprowadzonymprzez Josiaha Willarda Gibbsa na przełomie XIX i XX wieku:

S = −kBN∑

i=1

pi ln pi

Termodynamika informacji 7

Przypadki ekstremalne:

1. Pełna wiedza o systemie S = 0.

2. Najmniejsza wiedza o systemie — wszystkie mikrostany sa równowazne

— ∀i : pi = 1/N : S = −kBN∑

i=1

1N ln

(1N

)= −kB ln

(1N

)= kB lnN .

Mozna pokazac, ze jest to najwieksza mozliwa wartosc entropii.

Jest to entropia Boltzmanna: Jezeli wszystkie mikrostany sa jednakowoprawdopodobne, entropia układu jest proporcjonalna do logarytmu z liczbydostepnych stanów.

Termodynamika informacji 8

II zasada termodynamiki:W zadnych procesach zachodzacych

spontanicznie entropia nie moze malec.

Czy to sie odnosi do obliczen na komputerze?!A raczej, czy przeprowadzanie obliczen koniecznie

wiaze sie ze wzrostem entropii?Termodynamika informacji 9

Demon Maxwella

Czy demon Maxwella, po wyeliminowaniu (zminimalizowaniu) tarcia itp,narusza II zasade termodynamiki?

Termodynamika informacji 10

Silnik Szilarda — minimalistyczna wersja demona Maxwella

1. Wstaw przegrode.2. Ustal, w której połówce jest czastka (pomiar!).3. Pzyczep ciegna.4. Poczekaj, az czastka przesunie przegrode do sciany.5. Odczep ciegna.6. GOTO 1.

Termodynamika informacji 11

Na którym etapie cyklu pracy silnika Szilarda wzrasta entropia?

Leo Szilard: Entropia wzrasta w wyniku dokonania pomiaru.

To nie jest prawidłowa odpowiedz.

Mozna dokonac odwracalnego pomiaru stanu układu dwusta-nowego.

Termodynamika informacji 12

Reprezentacje jednego bitu

czastka w pudełku z przegroda

czastka w podwójnej studnipotencjału

↑ spin 12

Termodynamika informacji 13

Jesli wiem, ze układ na pewno znajduje sie w jednym z dwu mozliwychstanów, entropia wynosi

Swiem = −k(1 · ln 1 + 0 · ln 0) = 0 . (1)

Jesli układ z równym prawdopodobienstwem znajduje sie w kazdym z dwumozliwych stanów, entropia wynosi

Snie wiem = −k(1

2· ln

1

2+

1

2· ln

1

2

)= k ln 2 . (2)

W silniku Szilarda wstawienie przegrody — utrata informacji

o stanie układu — powoduje wzrost entropii.

Termodynamika informacji 14

Kiedy jeszcze tracimy informacje?

Jesli w toku jakichs obliczen dwie sciezki zbiegaja sie (np. jesli dwa ze-stawy danych wejsciowych daja ten samy wynik), taka operacja jest lo-gicznie nieodwracalna. Przejscie od stanu 1 do stanu 2 mozna interpreto-wac jako znikniecie bariery oddzialejace dwa stany logiczne, czemu takzetowarzyszy wzrost entropii o k ln 2.Termodynamika informacji 15

Zasada Landauera (Rolf Landauer, 1961)

Kazda operacja logicznie nieodwracalna

– usuniecie jednego bitu informacji

– połaczenie dwu sciezek obliczen

powoduje wzrost entropii o k ln 2.

Istniejace komputery produkuja miliony razy wiecej entropii. . .

Termodynamika informacji 16

Dlaczego demon Maxwella nie łamie II zasady?

Demon Maxwella, aby wiedziec, czy ma otworzyc drzwiczki, czy nie, musigromadzic informacje o czastach. Jesli demon jest automatem skonczo-nym, musi miec skonczona pamiec. W któryms momencie ta pamiec siewyczerpie i demon, aby móc dalej pracowac, musi zaczac czyscic pamiec.Entropia wzrasta, gdy demon usuwa bity ze swojej pamieci.

Termodynamika informacji 17

Reversible computing

Czy da sie prowadzic obliczenia bez operacji logicznie nieodwracalnych?

– Trzeba przetłumaczyc cały kod programuna operacje na bitach, które mozna wykonacna bramkach logicznych (trudne, alemozliwe).– Negacja i identycznosc sa odwracalne.– Bramki AND, OR, NAND, XOR nie saodwracalne

Termodynamika informacji 18

Bramka Toffoli

Odwracalne bramki logiczne musza miec tyle samo wyjsc, co wejsc. Mu-sza tez zapamietywac swoje dane wejsciowe. Tego typu bramka jest za-proponowana przez Tommaso Toffoli bramka(x, y, z) −→ (x, y, z XOR (x AND y)). Bramka ta odwraca trzeci bit,jesli dwa pierwsze sa ustawione.

INPUT OUTPUT0 0 0 0 0 00 0 1 0 0 10 1 0 0 1 00 1 1 0 1 11 0 0 1 0 01 0 1 1 0 11 1 0 1 1 11 1 1 1 1 0

Termodynamika informacji 19

Programy “binarne”, napisane przy uzyciu negacji i bramki Toffoli’ego, salogicznie odwracalne (ale maja bardzo duze wymagania pamieciowe).

Czy da sie bramke Toffoli zrealizowac praktycznie?

Przy uzyciu układów elektronicznych — da sie, ale układy elektronicznew czasie pracy rozpraszaja duzo ciepła, wiec obliczenie nie bedzie fizycz-nie odwracalne.

Termodynamika informacji 20

Billiard Ball Model

Toffoli & Fredkin, 1982: Bramki reprezentowane przez bilard (idealnie spre-zyste zderzenia kul, pod katem prostym). Hardware jest reprezentowanyprzez geometrie bilardu (układ sztywnych odbijaczy, kanały), dane przezwarunki poczatkowe, software to zderzenia.

Termodynamika informacji 21

Realizacja Bramki Toffoli w modelu BBM (Hosseini & Dueck, 2010)

Bilard wymaga idealnych (nierealizowalnych w rzeczywistosci) materiałówi jest chaotyczny.

Termodynamika informacji 22

Reversible computing ma sie dobrze jako koncept

teoretyczny, ale nie wydaje sie, aby mozna je było

zrealizowac w praktyce.

Termodynamika informacji 23

Zebatka brownowska: Inne przedstawienie demona Maxwella

Smoluchowski, Feynman, Magnasco, Parrondo, Jarzynski. . .Termodynamika informacji 24

Inny model reversible computation

Inny model “obliczen odwracalnych” opiera sie na analogii z fizyka staty-styczna: W fizyce proces mozna realizowac na drodze kwazistatycznej,poprzez stany bardzo mało (nieskonczenie mało) rózniace sie od stanówrównowagowych — gdyby wszystkie stany były równowagowe, układ conajwyzej wykonywałby bładzenie przypadkowe pomiedzy nimi, a zatempotrzebny jest jakis naped. Dla układów makroskopowych bardzo drobneodstepstwa od równowagi wystarczaja.

Jak pokazał John D. Norton, to nie działa dla układów bardzo małych,a wiec takich, jakie rozwaza sie w teoretycznej analizie “obliczen odwra-calnych”: Aby doprowadzic układ od zadanego stanu poczatkowego do po-zadanego stanu koncowego — czyli aby przeprowadzic obliczenie – alboróznice w prawdopodobienstwach poszczególnych stanów, wynikajace np.Termodynamika informacji 25

z róznic w energii swobodnej, musza byc znaczne, a wówczas nie mamowy o odwracalnosci, albo tez róznice sa niewielkie, ale sa niwelowaneprzez fluktuacje. W tej sytuacji układ wykonuje jedynie bładzenie przypad-kowe.

Termodynamika informacji 26

Model Jarzynskiego

Co robi demon Maxwella? Otwiera lub zamyka drzwiczki w zaleznosci odtego, czy nadlatuje czastka “szybka” czy “wolna” — jest to decyzja zero-jedynkowa. W jezyku zebatek mozna powiedziec, ze zebatka przeskakujeo jedna pozycje w zaleznosci od tego, w która strone został uderzony wia-traczek.

Minimalistyczny model demona Maxwella jako trójstanowego automatu:

Dybiendu Mandal, Christopher Jarzynski, Work and information proces-sing in a solvable model of Maxwell’s demon, PNAS 109, 11641–11645(17 lipca 2012).

Termodynamika informacji 27

Układ składa sie z automatu trójstanowego (trzy stany: minimalna liczbapozwalajaca zaobserwowac ruch kierunkowy) i jednego bitu informacji.W stanie swobodnym układ przechodzi pomiedzy swoimi stanami o nie-zmienionym bicie. Mozliwe sa tez przejscia A↑ ↔ C ↓ (z odwróceniembitu). Wszystkie 6 złozone stany sa równie prawdopodobne.

Termodynamika informacji 28

Demon czyta tasme

Demon napedzany jest tasma zawierajaca bity (interpretowane jako pole-cenie otwarcia/zamkniecia drzwiczek). Kazdy bit oddziałuje z demonemprzez pewien czas (istnieja zatem zewnetrzny mechanizm przesuwajacytasme i zegar, który decyduje, kiedy tasma ma byc przesunieta). Jesliczas ten jest zbyt krótki, demon moze nie zareagowac na bit, jesli jest zbytdługi, demon osiaga lokalna równowage. Interesujace sa czasy posrednie.

Termodynamika informacji 29

Jesli na tasmie sa same zera, demon wykonuje ruch zgodnie ze wskazów-kami zegara, obracajac niektóre bity. Jezeli na tasmie sa same jedynki,demon wykonuje ruch przeciwnie do wskazówek zegara, obracajac nie-które bity. Jezeli na tasmie jest uporzadkowany układ zer i jedynek, takzemozliwy jest ruch w któryms kierunku. W tych przypadkach demon zwiek-sza entropie (wyjsciowego) ciagu bitów. Jezeli na wejsciu bity sa losowe,demon wykonuje ruchy losowe, bez przewagi zadnego kierunku.

Termodynamika informacji 30

Maszyna Turinga

Teoretyczny model komputera (dowolnej maszyny obliczajacej):

1. Tasma (potencjalnie nieskonczona), podzielona na komórki. W kazdejkomórce zapisany jest jeden symbol ze skonczonego alfabetu, obej-mujacego symbol pusty.

2. Głowica czytajaca i zapisujaca symbole na tasmie.

3. Rejestr zapamietujacy aktualny (jeden ze skonczenie wielu) stan ma-szyny.

Termodynamika informacji 31

4. Funkcja przejscia, która mówi, co maszyna ma zrobic w zaleznosci odswojego stanu i symbolu na tasmie — wymazac lub zapisac symbol,przesunac tasme w lewo lub w prawo, przejsc do nowego stanu lubpozostac w dotychczasowym.

Maszyna Turinga jest podstawowym narzedziem myslowym w informatyceteoretycznej (zasada Churcha).

Termodynamika informacji 32

Model Mandala-Jarzynskiego jest duzym krokiem na drodze konstrukcji“fizycznej” maszyny Turinga.

Daje to teoretyczne podstawy do narzucania termodynamicznych ograni-czen na mozliwe obliczenia, a takze konceptualnie łaczy podstawy fizykistatystycznej i teorii obliczalnosci.

Byłby to etap długiego procesu, zapoczatkowanego przez Richarda Langaw 1973, a w pewnym sensie juz przez Leo Szilarda w 1929.

Termodynamika informacji 33

Nie wszystkie rezultaty przypadkowych rotacji bywaja korzystne

Termodynamika informacji 34