TGA-Planung › Projektleitung TGA-Planung › Folge #409
tgabar · BargesprächeNeues aus der Forschung: Projekterfolg
Projekterfolg wird international vor allem an zwei Größen gemessen: eingehaltene Kosten und eingehaltene Termine. Eine Auswertung von 16.000 Projekten zeigt, dass kaum eine Projektmanagement-Methode nachweislich hilft, beides einzuhalten. Nur zwei wirken: die Monte-Carlo-Simulation und vor allem die Referenzklassenprognose, also der datenbasierte Vergleich mit ähnlichen, bereits abgeschlossenen Projekten.
Transkript
Worum geht es heute an der Bar?
Roman: Herzlich willkommen an der TGA-Bar, achter Stock, traumhaft.
Sören: Es ist Frühling, die Elbphilharmonie ist in Blickrichtung.
Roman: Stimmt, wir sehen die Elbphilharmonie aus dem achten Stock. Heute sind wir bei Sweco zu Besuch — wechselnde Locations in Hamburg. Ich habe ein Thema vorgeschlagen, weil ich ja jetzt forsche: Neues aus der Forschung. Offiziell forsche ich jetzt auch an der Helmut-Schmidt-Universität. Heute geht es um das Thema Projekterfolg.
Sören: Hatten wir da nicht schon was zu? Ich glaube, das muss so Anfang 2024 gewesen sein, etwa die 30. Folge.
Was sagt das Buch „How to Measure Anything" über Messung im Projektmanagement?
Roman: Ich habe ein sehr gutes Buch gelesen: „How to Measure Anything in Project Management", erschienen 2026. Das Grundprinzip lautet: Man kann alles messen, und im Projektmanagement wird viel zu wenig gemessen — wir machen vieles als Bauchentscheidung.
Die Definition von Messung dort finde ich cool: Wenn ich etwas messe, reduziere ich Unsicherheit. Das ist der Grund, warum ich messe. Und dann habe ich mich gefragt: Was ist Unsicherheit bei uns im Projektmanagement? Die Antwort kam schnell: Die Unsicherheit liegt in den Fragen, wie lange mein Bauprojekt dauert und wie teuer es wird.
Sören: Das ist die erste Frage, die sich ein Bauherr stellt — er gibt mit mehr oder weniger kompetenten Menschen einen Kostenrahmen und eine Planungs- und Bauzeit vor.
Sören: Als Planender, der um ein Angebot gebeten wird, habe ich die Möglichkeit, die genannten Kosten zu glauben und darauf ein Angebot zu schreiben, oder sie zu verifizieren — in der Hoffnung festzustellen, dass es passt, oder eben dass es überhaupt nicht passt. Gebe ich aber kein Angebot ab, bringe ich mich selbst in eine schlechtere Position.
Roman: Ja, dann bin ich vielleicht in einem Auftrag, den ich noch gar nicht haben will. Das hängt davon ab, wie weit man auseinanderliegt, wie der Markt aussieht und wie groß der Druck aufs Büro ist.
Wie wurden 16.000 Projekte auf Projekterfolg untersucht?
Roman: Was die Autoren gemacht haben: Sie haben eine riesige Datenbank aus England genutzt mit 16.000 Projekten aller Art — ich glaube, ungefähr 15 Prozent davon waren Bauprojekte, auch die größten. Sie haben sich gefragt: Was messe ich denn? Wenn ich Unsicherheit reduzieren will, kann es nur um Kosten oder Termine gehen. Das ist das, was alle Projekte eint: Jedes Projekt kostet etwas und hat einen Termin, zu dem es fertig sein soll. Die Definition eines Projekts ist ja, dass es irgendwann abgeschlossen ist.
Sie haben also 16.000 Projekte vermessen und bei 800 Projekten vertieft nachgefragt, welche Methoden eingesetzt wurden.
Sören: Gemessen wurden Kosten und Termine — und sie haben gefragt: Mit welcher Zahl seid ihr am Anfang losgelaufen?
Roman: Exakt. Was war eure erste Annahme, wie lange es dauert und was es kostet? Und was hat es am Ende gekostet und wie lange hat es gedauert?
Sören: Lass mich raten — es ist nicht so, dass eine Zahl gestimmt hat?
Roman: Doch, es gab Projekte, die extrem gut lagen. Ich glaube, etwa 5 Prozent der Projekte lagen ziemlich genau oder in einer Marge von 3 bis 5 Prozent dessen, was geschätzt wurde. Das war aber branchenabhängig. Die Baubranche war interessanterweise gar nicht so schlecht. Die Softwareentwicklung war richtig mies. Rüstungsprojekte und große Infrastrukturprojekte — das ist ja auch Bau — lagen ziemlich schlecht, gerade die ganz Großen.
Welche Methoden helfen nachweislich, Kosten und Termine einzuhalten?
Roman: Aus der Datenbank mit 16.000 Projekten haben sie sich 800 herausgegriffen und gefragt, welche Methoden benutzt wurden: zum Beispiel Monte-Carlo-Simulationen, Reference Class Forecasting, agile Methoden — explizit abgefragt wurde Scrum —, agile beziehungsweise Lean-Methoden wie Kanban, und das Last Planner System. Beim Last Planner System gab es leider zu wenige, die es angekreuzt haben, sodass man nicht klar sagen konnte, ob es etwas bringt.
Das krasse Ergebnis: Am Ende haben fast alle Methoden nicht nachweislich etwas gebracht. Sie haben die 800 Projekte ausgewertet, geschaut, welche am Anfang und am Ende im Zeit- und Kostenrahmen lagen, und das mit den eingesetzten Methoden korreliert. Es gibt eigentlich nur zwei Dinge, die nachweislich funktionieren, sodass ich Termine und Kosten einhalte: erstens die Monte-Carlo-Simulation — die hat irgendwas mit Würfeln zu tun, darauf gehe ich heute nicht ein —, und zweitens das Reference Class Forecasting.
Was ist Reference Class Forecasting und warum schlägt es den BKI?
Roman: Reference Class Forecasting ist nachweislich die wichtigste und beste Methode, um Kosten und Termine von Projekten einzuhalten. Ich würde es auf Deutsch mit Referenzklassenprognose übersetzen. Total simpel: Du suchst dir ähnliche Gebäude aus wie das, was du planst, und schaust, was es gekostet und wie lange es gedauert hat.
Sören: Aber mache ich das nicht mit dem BKI?
Roman: Nein, machst du nicht — das ist genau das Problem, das der BKI hat. Es ist Quatsch zu sagen: Ich nehme alle Projekte, die so ähnlich sein könnten, bilde einen Median und sage, das wird es wohl. Was du machen musst, ist die komplette Spanne der Projekte abzubilden, also alle Termine und alle Kosten. Dann betrachtest du das erste und das dritte Quartil. Im dritten Quartil liegen 75 Prozent der Projekte, im ersten 25 Prozent. Die Extreme klammerst du aus und betrachtest den Median sowie die Spanne von Q1 bis Q3.
Die Idee ist, in eine intensive Beratung zu gehen und zu fragen: Wo könnte mein Projekt liegen? Liegt es beim Median, weil wir zum Beispiel nur eine Luft-Wasser-Wärmepumpe einsetzen, oder liege ich bei Q3, weil wir Geothermie planen? Hat der Bauherr überhaupt das Geld für Q3? Genau das macht die Referenzklassenprognose — und genau das macht der BKI nicht. Der BKI liefert zwar Median, Q1 und Q3, aber nicht grafisch dargestellt, und du weißt nicht richtig, welche Projekte dahinterstecken. Das ist ein bisschen dünn.
Ich habe versucht, eine BKI-Nummer nachzuvollziehen. Für die Labore, auf die ich mich immer bezogen habe, habe ich erst hinterher herausgefunden: Es stehen nur vier Labore aus den letzten 30 Jahren in der Datenbank, die die Kostengruppen 410, 420, 430 und 440 getrennt betrachtet haben. N ist gleich 4. Und das habe ich auch aus dem Buch gelernt: N muss gleich 5 sein, also fünf Referenzen, damit du 95 Prozent aller Werte in dieser Spanne in der nötigen Signifikanz darstellen kannst — Stichwort Konfidenzintervall.
Kann ein Büro die Referenzklassenprognose mit eigenen Projekten umsetzen?
Sören: Könntet ihr das nicht anhand eurer eigenen Projekte machen, wenn es keine gut verwendbare Datenbank gibt?
Roman: Habe ich probiert. Ich habe einige Daten — ein paar Labore, ein paar Bürogebäude —, aber die Datenbasis ist nicht ganz so gut. Das nächste Problem ist die Standardisierung: Du musst einmal mit dem Baupreisindex von gestern auf heute hochrechnen; dabei ist der Zeitpunkt der Vergabe interessant, damit du die Zeit fixierst. Und zweitens brauchst du einen Regionalindex, so wie es der BKI macht — wenn ich in Hamburg baue, kostet es etwa acht oder neun Prozent mehr.
Ich habe das mit unseren eigenen Projekten gemacht und festgestellt, dass ich nicht ganz happy damit bin, weil es zu wenig ist. Du hast eben nicht die 20 oder 30 Projekte, die genau in diese Referenzklasse fallen, sondern nur fünf oder zehn abgerechnete, von denen ich zehren kann. Was wir bräuchten, wäre eine Art gemeinnütziges Tool — und das habe ich angefangen zu bauen. Darüber informieren wir später mehr.
Diese Referenzen kannst du nicht nur kostenseitig, sondern auch bauzeitseitig bilden. Du kannst sagen: Diese Projektgruppe hatte zwischen 50 und 100 Wochen Bauzeit, im Median 75 Wochen. Mit diesen Zahlen kannst du den Bauherrn beraten und abschätzen, was ihr hier macht. Damit hast du die größte Unsicherheit im Projekt erschlagen: was es kosten und wie lange es dauern wird.
Warum wird die Methode noch so selten genutzt, und was ist mit agilen Methoden?
Sören: Warum wird das nicht viel mehr gemacht? Viele greifen auf den BKI zurück und gehen von Erfahrung aus, statt es konsequent datenbasiert voranzutreiben. Wahrscheinlich hängt da der Faktor Mensch dran.
Roman: Ja, am Ende sind es Bauchentscheidungen, die wieder hineinspielen. Ich habe in einem Termin erlebt, wie der Architekt sagte: Ich denke, es kostet bei uns 10 Millionen. Aber zwischen 5 und 15 oder zwischen 2 und 18 — was kostet so ein Ding jetzt wirklich? Das kann man statistisch zeigen und nachweisen. Bei den Terminen ist die Bauzeit relativ gut erfassbar; die Planungszeit ist schwieriger, weil man Bremsen und Stopps berücksichtigen muss. Bauzeitverlängerung gehört für mich mit rein.
Zum agilen Thema gab es hinterher eine coole Erklärung: Gerade Softwareprojekte waren fast alle agil. Wir wissen also gar nicht, was nicht-agile Softwareprojekte kosten und wie lange sie dauern — es fehlt die Referenz.
Sören: Wie wäre es ohne die Methodiken gelaufen? Vielleicht unterstützen sie nicht in dem Maße, wie man sich das wünscht, aber ein Projekt strukturiert abzubilden und abzuarbeiten ist trotzdem sinnvoll.
Roman: Du hast ja gesagt: in den frühen Leistungsphasen agil, dann nicht mehr. So viel zum Thema Neues aus der Forschung. Ich habe gelernt: Kosten und Termine sind das Einzige, was man branchenweit vergleichen kann — der erste genannte Termin und die ersten genannten Kosten, meist im Vertrag, hinterher verglichen mit dem, was es wirklich gedauert und gekostet hat. Mein schlimmstes Projekt hat sich in der Vertragszeit mehr als verdoppelt, und ich glaube, die Kosten haben sich auch verdoppelt. Der Druck ist groß, alle sind genervt und gestresst. In diesem Sinne: viel Spaß mit der Referenzklassenprognose. Wir melden uns, wenn wir das Werkzeug haben. Bis dann, ciao.
Häufige Fragen zu dieser Folge
Wie wird Projekterfolg laut der Forschung gemessen?
International wird Projekterfolg vor allem an zwei Größen gemessen: ob die Kosten und ob die Termine eingehalten wurden. Das sind die einzigen Kennzahlen, die alle Projekte teilen — jedes Projekt kostet etwas und hat einen geplanten Fertigstellungstermin. Verglichen werden die erste Annahme zu Beginn und das tatsächliche Ergebnis am Ende.
Welche Projektmanagement-Methoden helfen nachweislich, Kosten und Termine einzuhalten?
Eine Auswertung von 800 vertieft untersuchten Projekten ergab, dass fast keine der abgefragten Methoden nachweislich half. Nur zwei zeigten Wirkung: die Monte-Carlo-Simulation und vor allem das Reference Class Forecasting (Referenzklassenprognose). Methoden wie Scrum, Kanban oder das Last Planner System konnten keinen klaren Effekt nachweisen, teils mangels ausreichender Datenpunkte.
Was ist Reference Class Forecasting (Referenzklassenprognose)?
Man sucht sich ähnliche, bereits abgeschlossene Projekte und schaut, was sie gekostet und wie lange sie gedauert haben. Statt nur einen Median zu bilden, betrachtet man die gesamte Spanne, klammert die Extreme aus und arbeitet mit Median sowie der Spanne vom ersten bis zum dritten Quartil. So lässt sich in der Beratung einschätzen, ob das eigene Projekt eher beim Median oder im oberen Quartil liegt.
Warum eignet sich der BKI nicht für eine echte Referenzklassenprognose?
Der BKI liefert zwar Median, erstes und drittes Quartil, aber nicht grafisch dargestellt, und man erfährt nicht, welche Projekte dahinterstehen. Bei einer geprüften Labor-Kennzahl steckten nur vier Projekte aus 30 Jahren hinter der Zahl (N=4). Für eine belastbare Aussage braucht es mindestens fünf Referenzen (N=5), um rund 95 Prozent der Werte in der nötigen Signifikanz abzubilden.
Welche Schritte sind nötig, um eigene Projektdaten für die Referenzklassenprognose nutzbar zu machen?
Die eigenen Projektdaten müssen standardisiert werden. Erstens rechnet man die Kosten mit dem Baupreisindex vom Vergabezeitpunkt auf heute hoch, um die Zeit zu fixieren. Zweitens braucht es einen Regionalindex, wie ihn der BKI nutzt, weil Bauen je nach Region unterschiedlich teuer ist — in Hamburg etwa acht bis neun Prozent mehr.
Warum konnte die Studie für agile Methoden keinen klaren Nutzen nachweisen?
Gerade Softwareprojekte wurden fast ausschließlich agil durchgeführt. Dadurch fehlt die Vergleichsgruppe nicht-agiler Softwareprojekte, sodass man nicht weiß, was diese gekostet hätten und wie lange sie gedauert hätten. Ohne Referenz lässt sich der Effekt agiler Methoden statistisch nicht sauber belegen.
Zitate
„Wenn ich etwas messe, reduziere ich Unsicherheit. Das ist der Grund, warum ich messe."
— Roman Fritsches
„Am Ende haben fast alle Methoden nicht nachweislich etwas gebracht."
— Roman Fritsches
„Kosten und Termine sind das Einzige, was man branchenweit vergleichen kann."
— Roman Fritsches
Zahlen & Fakten
Die ausgewertete englische Datenbank enthielt 16.000 Projekte; bei 800 davon wurde vertieft nach den eingesetzten Methoden gefragt.
Quelle: How to Measure Anything in Project ManagementEtwa 15 Prozent der 16.000 Projekte waren Bauprojekte, darunter auch die größten.
Quelle: How to Measure Anything in Project ManagementNur rund 5 Prozent der Projekte lagen in einer Marge von 3 bis 5 Prozent der ursprünglichen Schätzung.
Quelle: How to Measure Anything in Project ManagementVon allen abgefragten Projektmanagement-Methoden wirkten nur zwei nachweislich: die Monte-Carlo-Simulation und das Reference Class Forecasting.
Quelle: How to Measure Anything in Project ManagementFür eine signifikante Referenzklassenprognose braucht es mindestens fünf Referenzen (N=5), um rund 95 Prozent der Werte abzubilden; die geprüfte BKI-Labor-Kennzahl beruhte nur auf vier Projekten aus 30 Jahren (N=4).
In Hamburg liegen die Baukosten laut Regionalindex etwa acht bis neun Prozent höher.
Glossar
- Baupreisindex
- Index zur Hochrechnung von Baukosten vom Vergabezeitpunkt auf das aktuelle Preisniveau, um Projektdaten zeitlich vergleichbar zu machen.
- BKI (Baukosteninformationszentrum)
- Datenquelle für Baukostenkennwerte; liefert Median sowie erstes und drittes Quartil, jedoch ohne grafische Darstellung und ohne Offenlegung der dahinterliegenden Projekte.
- Quartil (Q1/Q3)
- Statistische Aufteilung: Im ersten Quartil liegen 25 Prozent, im dritten 75 Prozent der Werte; durch Ausklammern der Extreme bleibt eine belastbare Spanne um den Median.
- Reference Class Forecasting (Referenzklassenprognose)
- Methode, bei der man Kosten und Bauzeit eines Projekts anhand ähnlicher, bereits abgeschlossener Projekte prognostiziert; statt nur des Medians betrachtet man die Spanne von Q1 bis Q3 und klammert Extreme aus.
- Regionalindex
- Korrekturfaktor für regionale Baukostenunterschiede; in Hamburg liegt der Aufschlag laut Folge bei etwa acht bis neun Prozent.