BaCAI Lectures

Was gro?e Sprachmodelle noch immer nicht verstehen

Vertrauen, Mehrdeutigkeit und die Grenzen der Skalierung

Trotz ihrer beeindruckenden F?higkeiten haben gro?e Sprachmodelle (LLMs) immer noch mit grundlegenden Herausforderungen zu k?mpfen, die das Vertrauen untergraben: Mehrdeutigkeit, Inkonsistenz und die Unf?higkeit, zwischen gültiger Variation und Fehler zu unterscheiden. In diesem Vortrag werde ich einen ?berblick über die derzeitigen Grenzen von LLMs bei der Verarbeitung natürlicher Sprache geben und aufzeigen, wie das vorherrschende Paradigma oft den Reichtum von Unstimmigkeiten und die Komplexit?t der sprachlichen Bedeutung übersieht. Als Weg in die Zukunft schlage ich vor, Variation in drei Kernbereichen zuzulassen: die Eingaben in unsere Modelle, die Ergebnisse, die sie produzieren, und die Forschungspraktiken, die wir anwenden. Indem wir die Unsicherheit, die sich aus der Variation in der Sprache ergibt, anerkennen und modellieren — anstatt sie weg zu abstrahieren — k?nnen wir uns in Richtung einer innovativeren, umfassenderen und vertrauenswürdigeren natürlichen Sprachverarbeitung bewegen.

Despite their impressive capabilities, large language models (LLMs) still struggle with fundamental challenges that undermine trust: ambiguity, inconsistency, and the inability to distinguish between valid variation and error. In this talk, I will provide an overview of current limitations of LLMs in processing natural language and highlight how the prevailing paradigm often overlooks the richness of disagreement and the complexities of linguistic meaning. As a path forward, I propose to embrace variation in three core areas: the inputs to our models, the outputs they produce, and the research practices we adopt. By acknowledging and modeling uncertainty that arises from variation in language — rather than abstracting it away — we can move toward a more innovative, inclusive, and trustworthy NLP.

?ber Prof. Dr. Barbara Plank:

Barbara Plank ist ordentliche Professorin und Lehrstuhlinhaberin für KI und Computerlinguistik an der LMU München, Leiterin des Munich AI and NLP (MaiNLP) Lab und Co-Direktorin des Center for Information and Language Processing (CIS). Sie ist au?erdem Gastprofessorin an der IT University of Copenhagen.

UPDATE: Der Vortrag von Prof. Barbara Plank muss leider entfallen und wird im Wintersemester nachgeholt.

Verantwortungsvolle KI-Entwicklung sicherstellen

Viele KI-Technologien werden inzwischen in den Alltag integriert. Doch wie k?nnen wir sicherstellen, dass KI ?verantwortungsvoll“ ist? In diesem Vortrag werde ich einen ?berblick über die aktuellen Bemühungen zur Entwicklung verantwortungsvoller KI geben, wobei ich mich auf Erkl?rungen, Fairness und Auditing konzentrieren werde, und Vorschl?ge unterbreiten, wie wir die Ans?tze in diesem Bereich verbessern k?nnen.

?ber Prof. Dr. Simone Stumpf:

Simone Stumpf ist Professorin für Verantwortungsvolle und Interaktive KI an der Universit?t Glasgow, UK. Ihr langj?hriger Forschungsschwerpunkt sind Nutzerinteraktionen mit maschinellen Lernsystemen. Ihre Forschung umfasst Selbstmanagementsysteme für Menschen mit Langzeiterkrankungen, die Entwicklung von lernf?higen KI-Systemen Menschen ohne technischen Hintergrund die Untersuchung von verantwortungsvoller KI-Entwicklung, einschlie?lich KI-Fairness. Ihre Arbeit hat dazu beigetragen, den Bereich der erkl?rbaren KI (XAI) durch den Explanatory Debugging-Ansatz für interaktives maschinelles Lernen mitzugestalten, Gestaltungsprinzipien für eine bessere Mensch-Computer-Interaktion bereitzustellen und die Auswirkungen einer gr??eren Transparenz zu untersuchen. Das Hauptziel ihrer Arbeit ist es, allen Nutzern zu erm?glichen, KI-Systeme effektiv zu nutzen.

Künstliche Intelligenz im Process Mining: Datenqualit?tsmanagement und automatisierte Prozessverbesserung im digitalen Zeitalter

In diesem Vortrag werden innovative Ans?tze zur Optimierung von Gesch?ftsprozessen durch den Einsatz von künstlicher Intelligenz (KI) im Process Mining vorgestellt. Im Mittelpunkt steht dabei, wie KI-Technologien dazu beitragen, Gesch?ftsprozesse nachhaltig zu verbessern. Anhand aktueller Forschungsvorhaben am Center for Process Intelligence des Fraunhofer FIT und der Universit?t Bayreuth werden einschl?gige Forschungsthemen und praktische Beispiele pr?sentiert, die den Mehrwert datenbasierter Analysen im Prozessmanagement verdeutlichen. Neben einem ?berblick neuester Forschungsarbeiten in diesem Themenfeld geben wir einen Einblick in zwei konkrete Forschungsprojekte zur Qualit?tsverbesserung von Prozessdaten sowie zur automatisierten Prozessverbesserung – jeweils mittels KI. Der Vortrag liefert Impulse für die Gestaltung digitaler Transformationsprozesse und richtet sich an G?ste aus Wissenschaft und Praxis.

?ber Prof. Dr. Maximilian R?glinger:

Maximilian R?glinger ist Inhaber des Lehrstuhls für Wirtschaftsinformatik und Wertorientiertes Prozessmanagement an der Universit?t Bayreuth sowie Adjunct Professor an der School of Management der Queensland University of Technology. Zudem ist er Gesch?ftsführender Direktor des FIM Forschungsinstitut für Informationsmanagement und stellvertretender Institutsleiter des Fraunhofer FIT mit leitender Rolle am Institutsteil Wirtschaftsinformatik des Fraunhofer FIT. Herr R?glinger ist darüber hinaus Mitgründer der Digitalen Innovationswerkstatt, der Digital Leadership Academy und des Fraunhofer Center for Process Intelligence. Er ist Moderator des Masterstudiengangs Digitalisierung & Entrepreneurship und Ko-Leiter des Studiengangs Finance & Information Management in Kooperation mit der TU München.

Multi-Agenten-Pfadplanung auf gerichteten Graphen

Multi-Agent-Pfadplanung (MAPF) ist das Problem der Entscheidung über die Existenz oder der Generierung eines kollisionsfreien Bewegungsplans für eine Gruppe von Agenten, die sich auf einem Graphen bewegen. Aufgrund seiner Relevanz für Themen wie u.a. Intralogistik, Luftverkehrskoordination und Videospiele hat dieses Problem in letzter Zeit viel Interesse gefunden.

Nach einem ?berblick über theoretische Ergebnisse und algorithmische Ans?tze, die verwendet werden um das Problem zu l?sen, werde ich mich auf die Variante konzentrieren, bei der der Graph gerichtet ist. W?hrend die nicht-optimierende Variante der Multi-Agenten-Pfadplanung auf ungerichteten Graphen seit fast vierzig Jahren als Polynomialzeit-Problem bekannt ist, war ein ?hnliches Ergebnis für gerichtete Graphen lange unbekannt. Erst 2023 wurde gezeigt, dass dieses Problem NP-vollst?ndig ist. Für stark zusammenh?ngende gerichtete Graphen ist das Problem jedoch polynomiell. Und beide Ergebnisse gelten auch dann, wenn man synchrone Rotationen auf voll besetzten Zyklen zul?sst.

?ber Prof. Dr. Bernhard Nebel

Bernhard Nebel studierte an der Universit?t Hamburg und schloss sein Studium als Dipl.-Inform. 1980 ab. 1989 promovierte er zum Dr. rer. nat. an der Universit?t des Saarlandes. Zwischen 1982 und 1993 arbeitete er in verschiedenen KI-Projekten an der Universit?t Hamburg, der TU Berlin, ISI/USC, IBM Deutschland, und am Deutschen Forschungszentrum für KI (DFKI). Von 1993 bis 1996 war er C3-Professor an der Universit?t Ulm. Von 1996 bis 2022 war er C4/W3-Professor an der Albert-Ludwigs-Universit?t Freiburg und leitet die Arbeitsgruppe Grundlagen der Künstlichen Intelligenz. Seit April 2022 ist er im Ruhestand.

Bernhard Nebel war Mitglied des SFB TR/14 Automatic Verification and Analysis of Complex Systems (AVACS) (2004-2015), und war Sprecher der Freiburger Gruppe im SFB TR/8 Spatial Cognition (2003-2014).

Neben anderen T?tigkeiten war er Ko-Programmkomiteevorsitzender der dritten International Conference on Principles of Knowledge Representation and Reasoning (KR'92), Ko-Programmkomiteevorsitzender der 18. German Annual Conference on AI (KI'94), Organisator der 21. German Annual Conference on Artificial Intelligence (KI'97), Programmkomiteevorsitzender der 17. International Joint Conference on Artificial Intelligence (IJCAI'01) und Ko-Konferenzorganisator der 18. International Conference on Automated Planning and Scheduling (ICAPS'08). 2001 wurde er zum EurAI Fellow ernannt. Seit 2009 ist er gew?hltes Mitglied der deutschen Akademie der Naturforscher Leopoldina. 2010 wurde er zum AAAI Fellow ernannt, und seit 2011 ist er Mitglied der Academia Europaea. 2019 wurde er von der GI als einer der 10 pr?genden K?pfe der deutschen KI-Geschichte ausgezeichnet und seit 2022 ist er ein ACM Fellow. Au?erdem wurde er 2022 mit dem Donald E. Walker Distinguished Service Award ausgezeichnet.

Bernhard Nebel ist (Ko-)Autor und (Ko-)Editor von 14 Büchern und Konferenz-Proceeding-B?nden und (Ko-)Autor von mehr als 200 begutachteten Artikeln in wissenschaftlichen Zeitschriften, Büchern und Konferenz-Proceedings.

Unsicherheitsquantifizierung beim Maschinellen Lernen: Von Aleatorisch zum Epistemisch

Aufgrund der stetig wachsenden Bedeutung des Maschinellen Lernens (ML) für praktische Anwendungen, von denen viele mit Sicherheitsanforderungen einhergehen, hat der Begriff der Unsicherheit in der Forschung zu ML in der jüngsten Vergangenheit zunehmend an Bedeutung gewonnen. In diesem Vortrag werden Fragen zur Darstellung und zum ad?quaten Umgang mit (pr?diktiver) Unsicherheit im (überwachten) ML behandelt. Ein besonderer Schwerpunkt liegt dabei auf der Unterscheidung zwischen zwei wichtigen Arten von Unsicherheit, die oft als aleatorisch und epistemisch bezeichnet werden, und auf der Frage, wie diese Unsicherheiten in Form von geeigneten numerischen Ma?en quantifiziert werden k?nnen. Grob gesagt ist die aleatorische Unsicherheit auf die Zuf?lligkeit des Datenerzeugungsprozesses zurückzuführen, w?hrend die epistemische Unsicherheit durch die Unkenntnis des Lernenden über das wahre zugrunde liegende Modell verursacht wird.

Zu Prof. Dr. Eyke Hüllermeier

Eyke Hüllermeier ist ordentlicher Professor am Institut für Informatik der LMU München, wo er den Lehrstuhl für Künstliche Intelligenz und Maschinelles Lernen innehat. Er studierte Mathematik und Wirtschaftsinformatik, promovierte 1997 in Informatik an der Universit?t Paderborn und habilitierte sich 2002. Bevor er an die LMU kam, hatte er Professuren an mehreren anderen deutschen Universit?ten (Dortmund, Magdeburg, Marburg, Paderborn) inne und verbrachte zwei Jahre als Marie-Curie-Stipendiat am IRIT in Toulouse (Frankreich).

Seine Forschungsinteressen konzentrieren sich auf Methoden und theoretische Grundlagen der Künstlichen Intelligenz, mit einem besonderen Schwerpunkt auf Maschinellem Lernen, Pr?ferenzmodellierung und Argumentation unter Unsicherheit. Er hat mehr als 400 Artikel zu verwandten Themen in hochrangigen Fachzeitschriften und auf gro?en internationalen Konferenzen ver?ffentlicht, und mehrere seiner Beitr?ge wurden mit wissenschaftlichen Preisen ausgezeichnet. Professor Hüllermeier ist Hauptherausgeber von "Data Mining and Knowledge Discovery", einer führenden Fachzeitschrift im Bereich der Künstlichen Intelligenz, und geh?rt den Redaktionsausschüssen mehrerer anderer Fachzeitschriften für Künstliche Intelligenz und Maschinelles Lernen an. Er ist derzeit Pr?sident der European Association for Data Science (EuADS), Mitglied des Strategy Board des Munich Center for Machine Learning (MCML) und Mitglied des Steering Committee der Konrad Zuse School of Excellence in Reliable AI (relAI).

A cautionary tale of health AI development and deployment

In diesem Vortrag geht es um die verschiedenen Herausforderungen, die sich bei der Entwicklung und dem Einsatz von KI-Algorithmen in gro?em Ma?stab in verschiedenen Regionen ergeben. Insbesondere die generative KI ist vielversprechend, um Zugangsbarrieren abzubauen und die Qualit?t der Gesundheitsversorgung auf der ganzen Welt zu verbessern. Es ist jedoch wichtiger denn je, sicherzustellen, dass diese Algorithmen ordnungsgem?? validiert und getestet werden und genügend Investitionen get?tigt werden, um zu gew?hrleisten, dass ihre Vorteile gleichm??ig über verschiedene Bev?lkerungsgruppen verteilt werden.

Zu Ira Ktena, PhD

Ira Ktena ist Wissenschaftliche Mitarbeiterin bei Google DeepMind und arbeitet an der Forschung zum sicheren und zuverl?ssigen Maschinellen Lernen (ML). Zuvor war Sie leitende Forscherin für ML im Cortex Applied Research Team bei Twitter UK, wo sie sich auf Echtzeit-Personalisierung konzentrierte, w?hrend sie an der Schnittstelle von Empfehlungssystemen und algorithmischer Transparenz forschte. ?ber deren Forschungen zur algorithmischen Verst?rkung politischer Inhalte auf Twitter berichteten unter anderem der Economist und die BBC.

Warum müssen sich LLMs Sorgen machen?

Vorlesungssprache: Englisch

Die Achillesferse der Forschung im Bereich der natürlichen Sprachverarbeitung war lange Zeit Rauschen in Datens?tzen, insbesondere ungenaues Labelling. Obwohl es einen Paradigmenwechsel von kleinen Expertenmodellen, die auf gelabelten Datens?tzen trainiert werden, zu gro?en Sprachmodellen (LLMs) gegeben hat, die auf weitgehend unmarkierten Daten trainiert werden und eine Vielzahl von Aufgaben l?sen k?nnen, bleiben die Probleme der ?bersch?tzung und Verzerrungen bestehen. In diesem Vortrag werde ich einige Methoden zur Unsicherheitsabsch?tzung in aufgabenorientierten Dialogen vorstellen und diese zur automatischen Korrektur der Beschriftungen in den zugrunde liegenden Datens?tzen nutzen. Ich werde Hypothesen aufstellen, wie dies die Tür zur L?sung verwandter Probleme in LLMs ?ffnen k?nnte.

?ber Prof. Dr. Milica Ga?i?:

Milica Ga?i? ist Professorin der Gruppe Dialogsystems and Machine Learning an der