Der Herr der Zahlen

Interview mit Nils Rosjat, Head of Statistics

Foto: Nils Rosjat Hintergrundgrafik: mit KI erstellt

Balou: Hallo Nils, vielen Dank das du dir die Zeit nimmst, mir für „Nur meine Meinung“ ein paar Fragen zu beantworten. Würde man deinen besten Freund bitten dich mit 3 Wörtern zu beschreiben, was denkst du welche das wären?

Nils: Wenn meine Freunde mich beschreiben würden, dann vermutlich mit diesen Wörtern:

1.  hilfsbereit

2.  perfektionistisch

3.  nerdig

Balou: Du warst jetzt über Jahre der „Herr der Zahlen“ bei der ELF, sprich für die Statistiken zuständig. Woher kommt deine Faszination dafür Sport in Zahlen zu fassen?

Nils: Da muss ich etwas weiter ausholen, denn da kommen ein paar Punkte zusammen. Zuerst einmal war schon mein Vater sehr „statistikverliebt“, so dass es in meiner Kindheit dazugehörte gemeinsam mit ihm verschiedenste Sportarten am Wochenende zu schauen und die Bestenlisten mitzuschreiben. Dann kam durch mein Studium der Mathematik und die Spezialisierung auf die angewandte Mathematik dazu, dass ich einen Hang dazu entwickelt habe reale Systeme mathematisch beschreiben zu wollen. Das ließ sich dann besonders gut kombinieren und so kam es, dass ich mich dann besonders für Sportarten interessiert habe, die sich gut mit Datenpunkten darstellen und beschreiben lassen. Dann gab es vor etwa 5 Jahren die Nachricht, dass die ELF gegründet wird und da habe ich erst gemerkt wie wenig bisher im europäischen Football dafür verfügbar war.

Balou: Statistiken spielen ja im US-Sport von je her eine große Rolle, bei uns in Deutschland nimmt das erst in den letzten Jahren wirklich zu. Hast du eine Erklärung dafür?

Nils: Ich glaube das hängt ein wenig mit der Deutschen liebsten Sportarten zusammen. Während die Klassiker unter den Sportarten mit Bestleistungen wie zum Beispiel Leichtathletik nur zu den Olympischen Spielen wirklich wahrgenommen werden oder auch die Vorreiter unter den Sportanalytics (MLB und NFL) bei uns auch erst langsam mehr Beachtung finden, ist eben Fußball omnipräsent. Im Fußball gibt es zwar auch in den letzten Jahren vermehrt advanced analytics, aber in kontinuierlichen Ballsportarten (also ohne abgeschlossene Spielzüge) ist das allgemein mit deutlich mehr Aufwand und geringerer Aussagekraft verbunden. Ich habe mich auch selbst einmal beim Effzeh beworben und mit Beispieldatensätzen gearbeitet und man hatte einfach deutlich weniger Datentiefe als man es von der NFL gewohnt ist. Dazu kommt vermutlich noch, dass gerade Fußball sehr viel mit Tradition und Sportromantik zu tun hat und da passen nüchterne Daten nicht so gut rein.

Balou: In dem Post, wo du und dein Team das Ausscheiden aus der ELF verkündet habt, habt ihr auch umrissen, was ihr alles in den Jahren dort entwickelt habt. Kannst du das noch mal benennen und uns Laien erklären, wie besonders das war und wie viel Arbeit darin steckt? Ich habe z.B. die Vermutung, dass das ELF Fantasie Game unfassbar viel Arbeit gewesen sein muss, aber auch keine genaue Vorstellung davon, was dazu alles nötig ist …

Nils: Ich versuche mal alles aufzuführen und werde dabei sicherlich etwas oder jemanden vergessen.

Für mich persönlich war der größte Fortschritt eben auch eine große Teamleistung und zwar, dass wir es zusammen mit den Statscrews der Franchises hinbekommen haben ziemlich akkurate Livestatistiken in der ELF zu etablieren. Am Ende war das der Grundstein für alle weiteren Entwicklungen.

Dazu gehörte dann eben auch, dass wir eine Datenbank aufgesetzt haben, mit der wir in der Lage sind auf jeder Granularität die Spieler- und Teamstatistiken auszugeben und das eben nicht mit großem manuellem Aufwand, sondern größtenteils über Skripte. Dadurch war es dann eben auch möglich das Mediateam oder die Ran-Kommentatoren schnellstmöglich über neue Rekorde oder ähnliches zu informieren.

Fantasy war dann auch wieder ein großer Kraftakt für unser kleines Team. Die Daten waren jetzt zwar live verfügbar, aber es musste eine Weboberfläche für die Fans bereitgestellt werden, und zugleich ein Modus ausgedacht werden, der besser als der NFT-Teammanager lief, Casual Fans abholt, aber auch für Fantasy Experten nicht zu langweilig war. Das Ziel Draftsystem und Freundesligen musste dann leider wegen anderer Baustellen immer weiter verschoben werden.

Allgemein haben wir deutliche Fortschritte in datengetriebenen Entscheidungen in die Liga bringen können (darunter Auswertungen zur Qualität der Officials, Entwicklungen der Injuries und eben auch für eine große US-Liga eine Auswertung zu Veränderungen unter der neuen Kickoff Regel in Bezug auf Attraktivität und Verletzungen).

Arbeit steckte da definitiv einige drin, wir haben uns auf jeden Fall die eine oder andere schlaflose Nacht um die Ohren gehauen.

Balou: In der großen NFL gibt es ja zu allem eine Statistik. Gibt es da etwas von, was du gerne auch mal in einer europäischen Liga umsetzten würdest?

Nils: Wir hatten es ja leider nur einmal testweise in Klagenfurt, aber Spielertracking wie von Kinexon oder von Statsbomb hätte ich sehr gerne auch im europäischen Football. Damit könnte man sehr gut die „off the ball“ Aktionen der Spieler bewerten und eben auch für unterrepräsentierte Positionen wie die OL aussagekräftige Informationen ziehen. Das ist aber bei den aufgerufenen Kosten eher unrealistisch. Ein anderes aber dennoch sehr spannendes Feature für die Off-Season wären Veröffentlichungen der Combine Daten. So könnte man für Fans schon vor Beginn der Saison darstellen, welche Spieler zumindest physisch besonders vielversprechend aussehen.

Balou: Gibt es eine Statistik, die in irgendeiner Form völlig unterschätzt wird, sei es z.B. hinsichtlich ihrer Aussagekraft oder dem Aufwand den man betreiben muss, um sie zu erheben?

Nils:  Da fallen mir spontan zwei Statistiken ein:

Zum einen die Average Starting Position. Die wird deutlich zu selten diskutiert finde ich. Als ich mir das in der ELF einmal angesehen hatte, hat sich ein deutliches Bild gezeigt, dass die besten Teams auch meist das kürzeste Feld hatten, weil sie eben auch im Special Team sehr stark arbeiten.

Zum anderen EPA (expected points added) die sind einerseits sehr aufwändig zu bestimmen und benötigen machine learning Modelle (oder neudeutsch AI) und sagen deutlich mehr über die Effektivität und den Erfolg einer Offense als pure Passing oder Rushing Yards.

Balou: Oft stell ich mir auch die Frage, wer definiert wann etwas in eine bestimmte Kategorie in der Statistik auftaucht und kann man das irgendwo nachlesen?

Nils: Generell haben wir uns immer an den „NFL Guidelines for Statisticians“ orientiert. Da sind extrem viele Situationen geregelt und die genauen Herangehensweisen definiert. Es gibt aber die ein oder andere recht subjektive Situation. Wann bekommt ein Spieler einen Assist beim Tackle? Wann zählt ein Tackle des QB als Sack und wann nur als TFL?

Bei der ersten Frage hilft oft: hatte der Spieler wirklich einen Beitrag geleistet oder wäre der Spieler auch ohne sein Zutun Down gewesen? Das kommt oft vor, wenn jemand sich nur noch recht spät mit in den Tackle wirft.

Bei der zweiten Frage helfen oft die Guidelines, aber wenn sie nicht weiterhelfen, hatte ich zum Glück mit Kasim Edebali und ehemaligen NFL-Statistikern zuverlässige Kontakte mit denen ich solche Plays durchsprechen konnte.

Balou: Die Statistiken die ihr von den ELF-Spielen online gestellt habt, wie wurden die erhoben und was braucht es da an „Manpower“?

Nils: Ich versuche das einfach mal allgemein zu halten.

Man benötigt für jedes Spiel 1-2 Personen am Computer, die jedes Play mit allen Informationen live eingeben. Je nach Herangehensweise wird das entweder Remote gemacht, dann wird man mindestens noch einen In-Venue Spotter benötigen, wenn bestimmte Details im TV-Bild nicht sichtbar waren oder es wird gleich im Stadion erfasst, dann hat man in der Regel noch 4 Spotter im Stadion (einen für Offense, einen für Defense, einen für Kommunikation zwischen den Personen und einen für ein handschriftliches Backup). Die Version im Stadion ist deutlich weniger fehleranfällig, da man eben jedes kleine Detail vor Ort erkennen kann.

Das heißt eigentlich wird in beiden Fällen alles live eingegeben und nur, wenn sich Fehler eingeschlichen haben oder es Korrekturanfragen (nur Franchises oder Spieler waren dazu berechtigt) gab, dann wurde über das Tape nochmal nachgeprüft, ob es berechtigte Anfragen waren und diese nachträglich korrigiert. Das entspricht auch in etwa dem Vorgehen wie man es von der NFL kennt.

Balou: KI ist in vielen Lebens- und Arbeitsbereichen auf dem Vormarsch. Wie wird sich die Weiterentwicklung von KI deiner Meinung nach auf das erheben und verarbeiten von Statistiken im Sport auswirken?

Nils: Tatsächlich gibt es auch da bereits Anbieter, die sich darauf spezialisieren. Darunter fällt zum Beispiel StatsBomb, die für Football und auch Fußball automatisierte Datenauswertungen anbieten, die rein auf der KI-Auswertung von Fernsehbildern beruht. Derzeit ist das noch deutlich zu teuer (zumindest für Startup Ligen), aber ich denke mit der Zeit könnte das die Erhebung deutlich vereinfachen und die benötigten Helfer auf ein Minimum reduzieren. Es gibt auch Entwicklungen auf dem Bereich der LLM, die es dir ermöglichen mit deinen Datensätzen zu "chatten". Das könnte es für Medienteams viel zugänglicher machen interessante Stories aus den Statistiken zu sammeln ohne selbst viele Stunden zu recherchieren. Ich persönlich setze in meiner täglichen Arbeit sehr viel auf die Hilfe von KI, man muss aber immer im Hinterkopf behalten, dass man diese Blackbox Systeme am besten nur einsetzen sollte, wenn man das Ergebnis am Ende auch verifizieren oder bewerten kann. Sowas wie Predictions basierend auf ChatGPT ist dagegen zwar eine nette Spielerei, aber ist für Experten dann doch eher nur etwas zum Schmunzeln, weil die Antworten lediglich Halluzinationen der KI und keine sinnvollen Auswertungen sind.

Balou: Soweit mir bekannt, gibt es ja immer wieder versuche, eine Formel aufzustellen, die mit gewissen statistischen Daten versucht vorher zu sagen, welches Football Team ein Spiel am Wochenende gewinnen wird. Kannst du mir sagen, wie zuverlässig solche Vorhersagen möglich sind und siehst du da noch Luft nach oben?

Nils: Es gibt da unterschiedliche Ansätze und solch eine Formel wäre natürlich besonders für Wettanbieter von größtem Interesse. Deswegen sollte es auch nicht verwundern, dass die Buchmacher in Vegas hier derzeit als der Goldstandard gelten. Allgemein hängt der Erfolg eines solchen Systems natürlich davon ab wie berechenbar die Spiele sind. Zum Vergleich mein Modell für die NFL hat eine Genauigkeit von 70-75% wohingegen mein Modell für die ELF eine Genauigkeit von 95-98% hatte. Ich denke gerade die Tatsache, dass die NFL eben eher schlecht vorhersagbar ist, macht sie für die Fans so interessant. Comeback Siege wie eben zuletzt von den Denver Broncos oder unerwartete Upsets sind es, die spannende Geschichten liefern. Das Modell wird man vermutlich minimal immer verbessern können, aber die Überraschungen werden (zum Glück) immer bleiben. Ich würde also liebend gerne sehen, dass mein Modell in Europa in Zukunft deutlich schlechter funktioniert und dafür spannendere Spiele zu sehen sind.

Ach so, wollte eigentlich was zu den Ansätzen sagen :D Man kann das entweder rein über historische Werte vorhersagen bzw. rein statistische Auswertungen machen oder man versucht über die Datenmasse ein Modell zu trainieren (das ist mein bevorzugter Ansatz), welches aus mehr als nur der Teamstärke lernt wie gut die Teams abschneiden.

Balou: Hast vielleicht ein ELF-Spiel im Kopf, wo der Sieger würde man nur auf die Stats schauen, eigentlich nicht hätte der Sieger sein dürfen?

Nils: Gute Frage, ich würde spontan das Spiel Frankfurt Galaxy @ Rhein Fire Woche 12 aus 2022 sehen. In dem Spiel hatte Frankfurt etwa 100 Yards Total mehr als Rhein Fire, halb so viele Penalties, 40 Minuten Possession und sind auch mit 28s Restzeit in Führung gegangen, nur um dann durch ein 43YDS FG mit auslaufender Uhr durch Rene Hanssen zu verlieren.

Balou: Mein Blog heißt "Nur meine Meinung …", weil ich es wichtig finde, eine eigene Meinung zu haben und gleichzeitig andere zu akzeptieren. Wenn du dir irgend jemand aussuchen könntest (egal ob reale, fiktive oder historische Person), mit wem würdest du gerne mal diskutieren und Meinungen austauschen? Und was wäre das Thema?

Nils: Ich glaube, ich würde gerne mit Hans Rosling sprechen. Er hatte diese seltene Gabe, mit Daten Geschichten zu erzählen, die Menschen nicht abschrecken, sondern neugierig machen. Wir reden oft über Zahlen, als wären sie kalt oder distanziert. Mit ihm würde ich gerne über die Verantwortung sprechen, Daten so zu nutzen, dass sie nicht nur präzise, sondern auch verständlich sind. Wann wird Vereinfachung zur Verfälschung? Und wie kann man Zahlen so erzählen, dass sie Menschen nicht abschrecken, sondern berühren?

Add on: Cynthia Frelund, um mich einmal über unsere beiden Modellansätze in der NFL auszutauschen nachdem Patrick Esume mich mal "unsere Version von Cynthia Frelund" genannt hatte. (lacht)

Balou: Nils, ich danke dir, dass du dir die Zeit für das Interview genommen hast und wünsche dir alles Gute für die kommenden Aufgaben!

Nils: Danke dir, hat Spaß gemacht die Fragen zu beantworten. Bleibt mir zum Abschluss nur noch übrig mich für dein Interesse zu bedanken und natürlich auch nochmal zu erwähnen, dass das alles ohne meinen Partner Andreas Tholen und nicht zuletzt das Vertrauen von Patrick Esume nie möglich gewesen wäre.