Algorithmen in der ARD

Unser Ziel ist es, den Nutzenden der ARD Mediathek und ARD Audiothek ein persönliches und angenehmes Nutzungserlebnis zu bieten. Neben den redaktionellen Empfehlungen setzen wir auch auf algorithmische Unterstützung, um Inhalte zu präsentieren, die den Interessen der Nutzenden entsprechen. Diese Algorithmen basieren auf fortschrittlichen Verfahren der Künstlichen Intelligenz, wie maschinellem Lernen, und nutzen statistische Analysen, um passende Inhalte zu identifizieren. Wir von ARD Online entwickeln unsere Empfehlungssysteme in einer Umgebung, die vom ZDF betrieben wird. Durch diese Kooperation heben ARD und ZDF Synergien bei der Entwicklung sowie dem Betrieb von Empfehlungssystemen (siehe auch algorithmen.zdf.de/).

Auf dieser Website möchten wir einen detaillierten Einblick dazu geben, wie diese Technologien in der ARD genutzt und wie Metadaten (z.B. Titel, Genre) sowie Nutzungsdaten (z.B. Wiedergaben) verantwortungsvoll eingebunden werden. Viel Spaß beim Lesen!

Unsere Empfehlungen können entweder personalisiert sein – basierend auf dem individuellen Nutzungsverhalten – oder nicht personalisiert, wie beispielsweise bei der Anzeige inhaltlich ähnlicher Videos zu einem zuvor abgespielten Video.

Personalisierte Empfehlungen werden ausschließlich für angemeldete Nutzende erstellt. Ohne Registrierung wird keine Nutzungshistorie erstellt. Dies gewährleistet den Schutz persönlicher Daten.

Wo werden die Empfehlungen angezeigt?
In der Web-App der Mediathek (www.ardmediathek.de) befinden sich diese Empfehlungen unterhalb des wiedergebenden Videos (siehe Abbildung 1).

Die identischen Empfehlungen sind hinter dem Button "Empfehlungen an/aus" in mobilen und TV-Apps im Player (Abbildung 2) zu finden.

Wer sieht die Empfehlungen?
Alle Nutzenden. Es erfolgt keine personalisierte Anpassung der Empfehlungen auf Nutzende.

Wie werden die Empfehlungen erstellt?
Die semantische Ähnlichkeit zwischen dem gerade angeschauten und allen anderen Videos wird auf Basis der o.g. Informationen und mit Hilfe eines sogenannten Language Models berechnet. Die Videos mit der größten Ähnlichkeit werden – nach Anwendung der o.g. Regeln – empfohlen.

Welche Art von Empfehlungen wird verwendet?
Die hier eingesetzte Technik ist eine Variante des Content-based-Filtering. Dieser Recommender-Typ wird häufig – wie auch in diesem Fall – für sogenannte Content-to-Content-(C2C-)Empfehlungen verwendet.

Wer sieht die Empfehlungen?
Nutzende, die mit ihrem Konto eingeloggt sind.

Wie werden die Empfehlungen erstellt?
Je Profil wird ermittelt, welche drei Genre und Subgenre am meisten geschaut wurden. Hierzu summieren wir die prozentuale Wiedergabedauer je Genre, Subgenre und Profil. Die Summierung erfolgt gewichtet nach absteigender Reihenfolge der Nutzung, d.h. die als letztes geschauten Videos fließen in diese Berechnung stärker hinein als Videos, die in der individuellen Nutzungshistorie weiter hinten liegen. Die Tabellen 1 und 2 zeigen anhand eines fiktiven Nutzerprofils, wie das beliebteste Genre berechnet wird. In diesem Beispiel ist das beliebteste Genre "Dokumentation", sodass der oder dem Nutzenden Empfehlungen dieses Genres angezeigt werden.

Tabelle 1: Beispielhafte Nutzungshistorie eines fiktiven Nutzerprofils mit Gewichtung der prozentualen Wiedergabedauer nach Reihenfolge der Nutzungstage.

.

Tabelle 2: Summierung der gewichteten prozentualen Wiedergabedauer nach Genre für das fiktive Beispiel aus Tabelle 1.

.

Welche Art von Empfehlungen gibt es?
Die hier verwendete Methode gehört zur Familie der statistischen Empfehlungen, da diese mittels Summierung der prozentualen Wiedergabedauer je Profil, Genre und Subgenre ermittelt werden. Wir sprechen hier von User-to-Widget-(U2W-)Empfehlungen, da nicht einzelne Beiträge oder Serien, sondern ganze Bänder (engl.: Widgets) auf Basis der je Profil geschauten Videos empfohlen werden.

Wo werden die Empfehlungen angezeigt?
Die "Empfehlungen für Dich" befinden sich auf der Startseite der ARD Mediathek (siehe Abbildung 4).

Zudem findet man die identischen Empfehlungen noch einmal im Bereich "Meine ARD" unter dem Reiter "Empfehlungen" (siehe Abbildung 5).

Wer sieht die Empfehlungen?
Nutzende, die mit ihrem Konto angemeldet sind.

Wie werden die Empfehlungen erstellt?
Wir trainieren ein Collaborative-Filtering-Modell mit den in den letzten 90 Tagen geschauten Videos angemeldeter Nutzender. Dieses Modell empfiehlt Nutzenden dann Videos, die andere Nutzende mit ähnlichem Verhalten geschaut haben. Diese Empfehlungen gewichten wir anschließend per Contextual-Post-Filtering, um sie abhängig von Uhrzeit und Wochentag an individuelle, zeitliche Nutzungsgewohnheiten anzupassen. Wenn eine Nutzerin z.B. sonntagabends vermehrt Krimis schaut, werden ihr sonntagsabends mit einer höheren Wahrscheinlichkeit Krimis empfohlen.

Welche Art von Empfehlungen wird verwendet?
Die hier eingesetzte Technik ist eine Variante des Collaborative-Filtering. Wir verwenden diese Methode für sogenannte User-to-Content-(U2C-)Empfehlungen.

Wo werden die Empfehlungen angezeigt?
Diese Empfehlungen befinden sich auf der Seite einzelner Podcast-Folgen unterhalb der Informationen und des Links zum Podcast.

Wer sieht die Empfehlungen?
Alle Nutzenden, da bei „Ähnliche Inhalte“ keine Personalisierung erfolgt.

Wie werden die Empfehlungen erstellt?
Die semantische Ähnlichkeit zwischen dem gerade angehörten und allen anderen Folgen wird mit Hilfe eines sogenannten Language Models berechnet. Die Podcast-Folgen mit der größten Ähnlichkeit werden – nach Anwendung der o.g. Regeln – empfohlen.

Welche Art von Empfehlungen wird verwendet?
Die hier eingesetzte Methode ist eine Variante des Content-based-Filtering. Dieser Recommender-Typ wird häufig - wie auch in unserem Fall - für sogenannte Content-to-Content-(C2C-)Empfehlungen verwendet.

Wo werden die Empfehlungen angezeigt?
Auf der Seite einzelner Podcast-Folgen unterhalb der "Ähnliche Inhalte"-Empfehlungen.

Wer sieht die Empfehlungen?
Nutzende, die mit ihrem Konto angemeldet sind.

Wie werden die Empfehlungen erstellt?
Für die Ermittlung dieser Empfehlungen wird ein Collaborative-Filtering-Modell trainiert. In diesem Anwendungsfall wird dieses Modell dazu genutzt, diejenigen Podcast-Folgen zu empfehlen, die eine ähnliche Nutzerschaft im Vergleich zur gerade abgespielten Folge haben. Diese Empfehlungslogik folgt dem Prinzip: "Andere, die diesen Beitrag hörten, hören auch…".

Welche Art von Empfehlungen gibt es?
Die hier eingesetzte Technik ist eine Variante des Collaborative-Filtering. Wir verwenden diesen Recommender-Typ an dieser Stelle für sogenannte Content-to-Content-(C2C-)Empfehlungen.

Wo werden die Empfehlungen angezeigt?
Diese Empfehlungen befinden sich auf der Startseite der Audiothek und auf den Seiten der Podcast-Rubriken (z.B. Wissen, True Crime) jeweils gefiltert auf Inhalte der jeweiligen Rubrik.

Wer sieht die Empfehlungen?
Nutzende, die mit ihrem Konto angemeldet sind.

Wie werden die Empfehlungen erstellt?
Wir trainieren ein Collaborative-Filtering-Modell mit den in den letzten 90 Tagen geschauten Videos angemeldeter Nutzender. Dieses Modell empfiehlt Nutzenden dann Podcasts, die andere Nutzende mit ähnlichem Verhalten gehört haben.

Welche Art von Empfehlungen wird verwendet?
Die hier eingesetzte Technik ist eine Variante des Collaborative-Filtering. Wir verwenden diese Methode in diesem Fall für sogenannte User-to-Content-Empfehlungen.

Wo werden die Empfehlungen angezeigt?
Diese Empfehlungen befinden sich auf der Startseite der Audiothek und auf den Seiten der Podcast-Rubriken (z.B. Wissen, True Crime) jeweils gefiltert für Inhalte der jeweiligen Rubrik.

Wer sieht die Empfehlungen?
Nutzende, die mit ihrem Konto angemeldet sind.

Wie werden die Empfehlungen erstellt?
Wir trainieren ein Collaborative-Filtering-Modell mit den von angemeldeten Nutzenden angehörten Podcasts. Dieses Modell empfiehlt Nutzenden dann Podcasts, die andere Nutzende mit ähnlichem Verhalten gehört haben.

Welche Art von Empfehlungen gibt es?
Die hier verwendete Methode ist eine Variante des Collaborative-Filtering. Wir verwenden diese Methode in diesem Fall für sogenannte User-to-Content-Empfehlungen.

Wo werden die Empfehlungen angezeigt?
Dieses Band befinden sich auf der Startseite der Audiothek und auf den Seiten der Podcast-Rubriken (z.B. Wissen, True Crime) jeweils gefiltert für Inhalte der jeweiligen Rubrik.

Wer sieht die Empfehlungen?
Alle Nutzenden. Es erfolgt keine personalisierte Anpassung der Empfehlungen auf Nutzende.

Wie werden die Empfehlungen erstellt?
Für jeden in der Audiothek verfügbaren Beitrag wird die prozentuale Wiedergabedauer der letzten drei Tage summiert. Die Top-20-Beiträge werden ausgespielt.

Welche Art von Empfehlungen gibt es?
Die hier verwendete Methode fällt in die Familie der statistischen Empfehlungen, da die Empfehlungen mittels Summierung der prozentualen Wiedergabedauer je Beitrag über alle Nutzenden ermittelt werden.

Man spricht von Content-to-Content-Empfehlungen (kurz: C2C-Empfehlungen), wenn passende Inhalte zu einem gerade abgespielten Inhalt empfohlen werden.

Man spricht von User-to-Content-Empfehlungen (kurz: U2C-Empfehlungen), wenn Nutzenden zu ihren Interessen und/oder zu ihrem Nutzungsverhalten passende Inhalte empfohlen werden.

Language Models sind methodisch verwandt mit Large Languages Models (z.B. OpenAIs GPT oder Mistral AIs Mistral), aber wesentlich kleiner und damit ressourcenschonender. Language Models sind Neuronale Netze, die mit dem Ziel trainiert wurden, verschiedene, auf Sprache bezogene Aufgaben, zu lösen (z.B. Fragen beantworten; Texte zusammenfassen, klassifizieren und deren semantische Ähnlichkeit berechnen). Die von uns genutzten Language Models zählen zur Klasse der sogenannten Sentence Transformer und transformieren textuelle Metadaten (z.B. Titel, Inhaltsbeschreibung, Schlüsselbegriffe etc.) der Inhalte zu numerischen Vektoren (Embeddings). Diese Vektoren repräsentieren die Semantik unserer Videos und Podcasts.

Collaborative Filtering ist eine Methode des maschinellen Lernens, die Interessen/Vorlieben von Nutzenden lernt, indem sie Gemeinsamkeiten im Nutzungsverhalten zwischen verschiedenen Nutzenden identifiziert.

Wir trainieren unsere Collaborative-Filtering-Modelle mit Daten, die beschreiben welcher Nutzende welches Video oder Audio zu welchem Anteil geschaut hat (prozentuale Wiedergabedauer). Die prozentuale Wiedergabedauer dient uns als implizites Feedback dazu, ob ein Inhalt einer Person gefallen hat oder nicht. Tabelle 1 zeigt ein vereinfachtes Beispiel einer sogenannten User-Item-Matrix, die wir aus unseren Daten erstellen, um unser Collaborative-Filtering-Model zu trainieren.

Tabelle 1: Beispiel einer User-Item-Matrix, die für alle Nutzenden und Videos angibt, welcher Anteil eines Videos von welchem Nutzenden geschaut wurde.

.

Es gibt verschiedene Methoden, die zur Familie der Collaborative Filtering-Algorithmen gehören. Wir haben derzeit Nearest-Neighbour-Methoden und ALS-Matrix-Factorization-Modelle (Hu, Yehuda Koren, Volinsky 2008 und Takács, Pilászy, Tikk 2011) im Einsatz.

Charakteristisch für diesen Recommender-Typ ist das Berechnen der semantischen Ähnlichkeit zwischen Inhalten auf Basis von beschreibenden Metadaten. Wir berechnen diese mit Hilfe eines Language Models, aber auch andere statistische Verfahren sind möglich. Die Methode wenden wir derzeit ausschließlich für Content-to-Content-Empfehlungen an. Wir berechnen die paarweise, semantische Ähnlichkeit zwischen allen Inhalten mit Hilfe eines Language Models. Hierzu transformieren wir bestimmte Informationen aller Inhalte (Titel, Beschreibungen, Schlüsselbegriffe etc.) per Sentence Transformer zu numerischen Vektoren und berechnen dann per Distanzmaß (z.B. Cosinus Distanz) die paarweise Ähnlichkeit zwischen Videos bzw. Podcasts. Dies ermöglicht es uns, zu einem abgespielten Inhalt diejenigen Inhalte zu empfehlen, die semantisch am ähnlichsten sind.

Diese Methode wird angewandt, um zunächst algorithmisch ermittelte Empfehlungen basierend auf Kontextinformationen anzupassen. Dies können Informationen über die Zeit, das verwendete Endgerät oder den Ort der Nutzung sein. Wir verwenden Contextual-Post-Filtering, um personalisierte Empfehlungen an den Nutzungszeitpunkt anzupassen. Wir ziehen hierzu die Uhrzeit und den Wochentag der individuellen Nutzungssituation heran. Schaut eine Person gern sonntagsabends Krimis, dann empfehlen wir ihr sonntagsabends mit einer höheren Wahrscheinlichkeit Krimis.

Klickrate
Die Klickrate gibt das Verhältnis zwischen der Anzahl der Klicks auf einen Teaser (z. B. ein empfohlenes Video) und der Häufigkeit seiner Anzeige (Teaser-Impressions) wieder. Dieses Verhältnis kann auch für ganze Empfehlungsbänder berechnet werden, indem die Gesamtzahl der Klicks auf alle Teaser des Bandes durch die Anzahl der Aufrufe des gesamten Bandes geteilt wird.

Coverage
Die Coverage misst im Kontext von Empfehlungssystemen, wie viele unterschiedliche Inhalte im Vergleich zur gesamten Menge der verfügbaren Inhalte empfohlen werden. In der ARD Mediathek veranschaulicht sie etwa, welcher Anteil der bereitgestellten Videos auf einem Empfehlungsband mindestens einmal vorgeschlagen wurde. Sie ist somit ein Gradmesser für die Vielfalt innerhalb der Empfehlungen.

Diversity
Diversity misst im Kontext von Empfehlungssystemen, wie stark die thematische Vielfalt der Empfehlungen ausgeprägt ist. Im Kontext der ARD Mediathek und ARD Audiothek berechnen wir diese, indem wir für jedes Profil die durchschnittliche semantische Ähnlichkeit der individuell empfohlenen Videos oder Podcast-Folgen berechnen (Intra-Diversity).

Wiedergabedauer
Die Wiedergabedauer beschreibt im Kontext der ARD Mediathek und Audiothek, wie viele Sekunden eines Videos oder Audios von einer Person geschaut oder gehört wurden.

Prozentuale Wiedergabedauer
Die prozentuale Wiedergabedauer gibt im Kontext der ARD Mediathek und Audiothek an, welcher Anteil eines Videos oder Audios von einer Person gehört oder geschaut wurde. Schaut eine Person 45 Minuten eines insgesamt 90 Minuten dauernden Videos, liegt die prozentuale Wiedergabedauer bei 50 %.

Semantische Ähnlichkeit
Semantik beschreibt die Bedeutung von sprachlichen Zeichen und Zeichenfolgen (https://www.duden.de/rechtschreibung/Semantik). Die semantische Ähnlichkeit gibt in unserem Kontext an, wie ähnlich sich die Informationen (Titel, Beschreibungen, Schlüsselbegriffe etc.) zweier Inhalte bezüglich ihres Bedeutungsgehalts sind. Wir verwenden die semantische Ähnlichkeit synonym zur inhaltlichen Ähnlichkeit.

Popularity Bias
Popularity Bias bezeichnet die Tendenz eines Empfehlungssystems, besonders häufig beliebte Inhalte zu präsentieren. Ein Beispiel: Wenn 80 % der Wiedergaben in der ARD Mediathek auf die 20 meistgesehenen Videos entfallen, wird ein Collaborative Filtering-Modell aufgrund seiner Funktionsweise vornehmlich eben jene besonders beliebten Videos empfehlen, sofern keine Korrekturen erfolgen. Solche Modelle verstärken oft bestehende Verzerrungen in den Nutzungsdaten. Diesem Effekt kann entgegengewirkt werden, indem das Modell nicht nur auf maximale Wiedergabedauer, sondern auch auf eine breite Vielfalt an Empfehlungen (Coverage) optimiert wird.

Duden: https://www.duden.de

Gábor Takács, István Pilászy, Domonkos Tikk (2011): Applications of the conjugate gradient method for implicit feedback collaborative filtering, RecSys ´11: Proceedings of the fifth ACM conference on Recommender systems, https://doi.org/10.1145/2043932.2043987

Huggingface Sentence-Transformer: https://huggingface.co/sentence-transformers

Implicit-Library: https://benfred.github.io/implicit/

Yifan Hu, Yehuda Koren, Chris Volinsky (2008): Collaborative Filtering for Implicit Feedback Data, http://yifanhu.net/PUB/cf.pdf

ZDF: https://algorithmen.zdf.de/

hilfe@ard.de

28.5.2025