Knowledge Discovery, Graph Neural Networks, and Language Models

Inhalt

Dieser Kurs stellt einen fortgeschrittenen methodisch orientierten Kurs im Bereich der Künstlichen Intelligenz dar. Der Kurs bietet eine vertiefte Auseinandersetzung mit modernen Methoden der Wissensextraktion und -verarbeitung an der Schnittstelle von Graph-basiertem Maschinellem Lernen und natürlicher Sprachverarbeitung.

Im Bereich der Text-basierten Verfahren widmet sich die Vorlesung großen Sprachmodellen (LLMs), wie ChatGPT, LLAMA, DeepSeek, gewidmet, indem die zugrundeliegenden Prinzipien, Trainingsmethoden und Anwendungen untersucht werden. Weitere Verfahren zur Sprachverarbeitung aus dem Text Mining werden ebenfalls ausführlich behandelt.

Im Bereich der graph-basierten Methoden widmet sich die Vorlesung dem Graph Representation Learning, bei dem es darum geht, nützliche Repräsentationsformen von Graphdaten zu bilden. Es werden die mathematischen Grundlagen des Graph- und geometrischen Deep Learning behandelt und die Anwendungen in Bereichen wie erklärbarer Künstlicher Intelligenz hervorgehoben.

Lernziele:

Studierende

  • Die zentralen Konzepte von Text Mining, großen Sprachmodellen und Graph-Neuronalen Netzen (GNNs) erklären.
  • Verschiedene neuronale Architekturen und Graphmodelle hinsichtlich Struktur, Leistung und Interpretierbarkeit vergleichen und auswählen.
  • Entsprechende Systeme inklusive Daten-Vorverarbeitung, Modellauswahl und Evaluation praktisch umsetzen.

Arbeitsaufwand:

  • Gesamtaufwand bei 4,5 Leistungspunkten: ca. 135 Stunden
  • Präsenzzeit: 45 Stunden
  • Vor- und Nachbereitung der LV: 60 Stunden
  • Prüfung und Prüfungsvorbereitung: 30 Stunden
VortragsspracheEnglisch
Literaturhinweise
  • T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction (http://www-stat.stanford.edu/~tibs/ElemStatLearn/)
  • T. Mitchell. Machine Learning. 1997
  • M. Berhold, D. Hand (eds). Intelligent Data Analysis - An Introduction. 2003
  • P. Tan, M. Steinbach, V. Kumar: Introduction to Data Mining, 2005, Addison Wesley