Informationstheorie

Organisationseinheit
Freie Universität Berlin/Mathematik und Informatik/Informatik

Bereich

Wahlpflichtbereich

Zugangsvoraussetzungen

Keine

Qualifikationsziele

Die Studierenden erlernen grundlegende Konzepte der Repräsentation von Information und Informationsübertragung. Sie analysieren Beziehungen und Grenzen der Darstellung und Übertragung von Information und können diese auf konkrete Probleme in der Statistik oder im maschinellen Lernen anwenden. Sie lernen elementare Prinzipien der Kompression von Quellen, der Kanalkodierung und der Quantisierung und setzen diese für die Konstruktion von Quellenkodes und Kanalkodes um. Sie evaluieren die erlernten Konzepte für praktische Fragestellungen in Kommunikationsnetzen und im Datenschutz.

Inhalte

Die Studierenden erarbeiten die Konzepte der Selbstinformation, Entropie, bedingten Entropie, der Eigenschaften konvexer Mengen sowie den Satz von Caratheodory. Sie setzen sich mit den Eigenschaften, fundamentalen Grenzen und Ungleichungen (Jensen-, Log-sum-, Data Processing) auseinander. Sie erlernen die Berechnung der KL-Distanz, Cross-Entropie und der Total Variation Norm sowie der Pinsker-, Cszisar-Körner-Ungleichung. Die Studierenden üben Hypothesen-Tests, Fano-Ungleichung, Neyman-Pearson und optimale Tests und erarbeiten sich die Typicality, Asymptoptic Equipartion Property, die Methode der Types, das Quellentheorem, Slepian Wolf, die Konstruktion von optimalen Quellenkodes, das Kanaltheorem, Kanalkodierung, Kapazität, und Random Coding. Abschließend werden die Eigenschaften von Kodes (Hamming-Distanz, Fehlerkorrektur, ...), algebraische Ansätze mit endlichen Körpern sowie die Rate-Distortion Theory erlernt.

Lehr- und Lernformen

Aktive Teilnahme

Vorlesung
2 SWS
Teilnahme empfohlen

-

Übung
2 SWS
verpflichtete Teilnahme

Schriftliche Bearbeitung von Übungsaufgaben. Moderation einer Übung oder eines Teils davon.

Aufwand

Präsenzzeit V	30 Stunden
Vor- und Nachbereitung V	30 Stunden
Präsenzzeit Ü	30 Stunden
Vor- und Nachbereitung Ü	60 Stunden
Prüfungsvorbereitung und Prüfung	30 Stunden

Modulprüfung
Mündliche Prüfung (ca. 20 Minuten) oder Klausur (90 Minuten); die Klausur kann auch in Form einer elektronischen Prüfungsleistung (90 Minuten) durchgeführt werden.

Differenzierte Bewertung
differenzierte Bewertung

Modulsprache
Deutsch

Arbeitsaufwand (Stunden)
180

Leistungspunkte (LP)
6

Dauer des Moduls
Ein Semester

Häufigkeit des Angebots
Jedes Wintersemester

Verwendbarkeit

Bachelorstudiengang Informatik, Bachelorstudiengang Informatik für das Lehramt, 30-Leistungspunkte-Modulangebot Informatik im Rahmen anderer Studiengänge, 60-Leistungspunkte-Modulangebot Informatik im Rahmen anderer Studiengänge, Masterstudiengang für das Lehramt an Integrierten Sekundarschulen und Gymnasien, Masterstudiengang für das Lehramt an Integrierten Sekundarschulen und Gymnasien mit dem Profil Quereinstieg