Versuchsplan erstellen

Was ist ein Versuchsplan?

In vielen technischen und auch nicht technischen Bereichen werden Experimente eingesetzt, um kausale Beziehungen zwischen Variablen quantitativ zu erfassen und mathematisch zu beschreiben. Diese mathematische Beschreibung der Realität wird als Modell bezeichnet.

Bei Experimenten werden bestimmte Größen kontrolliert eingestellt (z.B. die Lufttemperatur). Andere Größen stellen sich als Ergebnis des Experiments ein und werden gemessen aber nicht aktiv eingeregelt.

In der Versuchsplanung haben sich die Begriffe unabhängige Größen oder auch Faktoren für die kontrolliert eingestellten Variablen etabliert. Dahinter steckt die Denkweise, dass sich die anderen Variablen als Resultat dieser eingestellten Größen ergeben und damit abhängige Größen sind. Passend dazu werden die mathematischen Modelle meistens als Funktionen der unabhängigen von den abhängigen Größen aufgestellt.

Ein Versuchsplan gibt nun vor, wie die unabhängigen Größen in einem oder mehreren Experimenten eingestellt werden müssen. Zum Beispiel könnte ein Versuchsplan vorgeben, dass 3 Experimente bei den Lufttemperaturen -10°C, 0°C und +10°C durchgeführt werden sollen.

Da Experimente meistens viel Zeit und Geld kosten, lohnt es sich, genau darüber nachzudenken, welche Versuche im einzelnen durchgeführt werden sollen. Mit einem guten Versuchsplan kann der Aufwand für Messungen bei gleicher Genauigkeit der Ergebnisse oft drastisch reduziert werden.

Aber was ist ein guter Versuchsplan? Genau damit beschäftigt sich die statistische Versuchsplanung.

Statistische Versuchsplanung (DoE)

Die englische Übersetzung von Versuchsplanung ist „Design of Experiments“. Die Abkürzung davon DoE wird häufig auch im Deutschen benutzt. Allerdings wird damit fast immer eine bestimmte Spielart der statistischen Versuchsplanung gemeint, und zwar die Verwendung von Polynomen als mathematisches Modell. Diese Polynommodelle werden daher auch als DoE-Modelle bezeichnet. 

Wenn von DoE gesprochen oder geschrieben wird, gibt es häufig keine saubere Trennung zwischen der Versuchsplanung an sich und der mathematischen Modellierung auf Basis von Polynomen. Vielmehr verschwimmen die Grenzen zwischen Modell, Versuchsplanung und Auswertung der Ergebnisse. Das macht auch Sinn, da es bei den Polynommodellen schöne mathematische Eigenschaften gibt, die so eine Vermischung und Verallgemeinerungen erlauben. Aber für Einsteiger, wie ich es vor einigen Jahren war, kann das sehr verwirrend sein.

Für mich war damals die mit Abstand wichtigste Erkenntnis:

Versuchsplanung ist immer spezifisch für ein bestimmtes mathematisches Modell.

‍Ein Versuchsplan der optimal für ein bestimmtes Modell ist (z.B. eine Geradengleichung) ist nicht optimal für ein anderes Modell (z.B. eine quadratische Kurve).

Die allgemeine Vorgehensweise für statistische Versuchsplanung ist:

1. Mathematisches Modell definieren
2. Optimalen Versuchsplan erstellen
3. Experimente durchführen
4. Modell an Messdaten fitten

Schritt 2 (optimalen Versuchsplan erstellen) ist natürlich leichter gesagt als getan. Hierfür braucht man relativ viel Mathematik – Statistik um genau zu sein. Eine gute Einführung in die Theorie ist in den unten verlinkten Quellen zu finden. Für ein prinzipielles Verständnis ist die folgende anschauliche Erklärung ausreichend.

Wie bei jeder Optimierung müssen wir ein Optimierungsziel definieren. Bei der optimalen Versuchsplanung ist das:

Mit möglichst geringem Aufwand den größtmöglichen Informationsgehalt erreichen.

Der Aufwand kann recht einfach durch die Anzahl der Experimente also der Größe des Versuchsplans beschrieben werden. Für den Informationsgehalt braucht man Statistik. Bei gebenden Messungenauigkeit sollen aus den Messdaten die unbekannten Parameterwerte möglichst genau und unabhängig voneinander geschätzt werden können. Tatsächlich ist es so, dass die Forderung nach Unabhängigkeit (möglichste geringe Korrelation) und der Genauigkeit der einzelnen Parameterschätzwerte unterschiedliche Ziele sind, die auch im Konflikt miteinander stehen können. In der statistischen Versuchsplanung gibt es verschiedene Zielfunktionen, die immer ein Kompromiss aus beiden Zielen darstellen. Die in der Praxis weitverbreitetste Zielfunktion ist die Determinante der Informationsmatrix. Versuchspläne, die dieses Kriterium maximieren, nennt man D-optimal.

Weiter unten zeigen wir konkrete Beispiele zu D-optimalen Versuchspläne für einfache Modelle.

Versuchspläne für nichtlineare Modelle

Die klassischen DoE-Modelle sind als Polynome aufgebaut. Das hat den Vorteil, dass die unbekannten Parameter (die Polynomkoeffizienten) ausschließlich linear in die Modellgleichung eingehen. Und bei Modellparametern, die linear eingehen, ist es so, dass der optimale Versuchsplan unabhängig von den konkreten Parameterwerten ist. Das heißt der Versuchsplan hängt nur von der Struktur des DoE Modells ab, und nicht von den Ergebnissen der Experimente. Der Versuchsplan kann komplett vorab erstellt werden. Nur wenn bei der Auswertung der Ergebnisse herauskommt, dass der grundlegende Modellansatz nicht zu den Daten passt, muss das Modell und damit der Versuchsplan für weitere Experimente angepasst werden.

Im Gegensatz zu den rein datengetriebenen Polynommodellen ist es bei physikbasierten Modellen, wie wir sie in vielen Projekten erstellen und verwenden, häufig so, dass unbekannte Parameter nichtlinear in das Modell eingehen. Als Beispiel ein Verdichtermodell mit internen Druckverlusten als unbekannte Modellparameter.

Bei nichtlinearen Parametern ist es so, dass der Zahlenwert dieser Parameter einen Einfluss auf den optimalen Versuchsplan hat. Das heißt, es müssen für die Versuchsplanung Schätzwerte angenommen werden, da die Parameterwerte erst nach der Auswertung der Experiment bestimmt werden können.

Mit diesen Schätzwerten können dann die gleichen Methoden zur Auswahl des besten Versuchsplans verwendet werden, wie bei den klassischen DoE-Modellen. Die Mathematik dahinter ist dieselbe.

Insbesondere bei nichtlinearen Modellen ist ein mehrstufiges Vorgehen sinnvoll:

1. Schätzwerte für Modellparameter wählen
2. Screening-Versuchsplan mit wenigen Punkten erstellen
3. Experiment durchführen
4. Parameterwerte aus den Messdaten identifizieren
5. Vollständigen Versuchsplan erstellen
6. Restliche Experimente durchführen
7. Parameterwerte aus vollständigen Messdaten identifizieren

Grafische Darstellung von Versuchsplänen

Ein Versuchsplan ist mathematisch gesehen eine Menge an Punkten im mehrdimensionalen Raum. Denn ein Versuchspunkt ist über bestimmte Werte für alle unabhängigen Größen (Faktoren) definiert. Das heißt die Anzahl der Faktoren bestimmt die Anzahl der Dimensionen des Versuchsraums. Bei 3 Faktoren, kann man den kompletten Versuchsraum in einer Grafik darstellen, und darin die einzelnen Versuchspunkte einzeichnen.

Bei mehr als 3 Dimensionen bietet sich ein sogenanntes Paardiagramm (engl. Pairplot) an. Dabei werden in einer kombinierten Darstellung die Verteilung der Versuchspunkte über jeweils zwei Faktoren dargestellt. Die Achsen werden zeilen- und spaltenweise von allen Einzeldiagrammen geteilt. Und zusätzlich wird auf der Hauptdiagonalen die Häufigkeitsverteilung der Versuchspunkte über den jeweiligen Faktoren dargestellt. Der Versuchsplan aus der 3D-Darstellung oben würde damit so aussehen:

‍

Zwei grundsätzliche Fragen für einen guten Versuchsplan lassen sich mit diesen Plots qualitativ sehr schnell beantworten:

1. Gibt es Gebiete, die nicht abgedeckt sind?
2. Sind die Punkte möglichst gleichmäßig verteilt?

Häufige Arten von Versuchsplänen

Die üblichste Art einen Versuchsplan zu erstellen ist, die unabhängigen Größen in diskrete Werte einzuteilen. Die unabhängigen Größen werden dabei auch Faktoren bezeichnet und die einzelnen diskreten Werte der Faktoren als Stufen.

Geht es zum Beispiel um ein Experiment mit 3 verschiedenen Faktoren, die man jeweils in 4 verschiedene Stufen aufteilt, gibt es 4³ = 64 einzelne Versuchspunkte.

Ein Versuchsplan, der all diese Punkte beinhaltet, nennt man vollfaktoriellen Versuchsplan. Es ist leicht vorstellbar, dass bei zunehmender Anzahl an Faktoren oder Stufen der experimentelle Aufwand explodiert. In der Praxis wesentlich häufiger anzutreffen sind daher sogenannte teilfaktorielle Versuchspläne, die nur eine begrenzte Auswahl der möglichen Versuchspunkte erhalten.

Aus welchen Versuchspunkten so ein teilfaktoriereller Versuchsplan idealerweise bestehen sollte, ist die zentrale Frage der statistischen Versuchsplanung. Es geht immer darum, mit minimalem Versuchsaufwand den maximalen Informationsgehalt zu erreichen.

Maximale Informationsgehalt bedeutet dabei, die Parameter eines bestimmten mathematischen Modells mit möglichst kleinen Unsicherheiten anhand der Messdaten identifizieren zu können. Daher gehört ein optimaler Versuchsplan immer zu einem ganz bestimmten Modell. Wenn man vorab nicht viel über den beobachteten Prozess weiß und daher kein bestimmtes mathematisches Modell im Kopf hat, bieten sich die folgenden zwei generellen Versuchspläne an.

Plackett-Burman Versuchspläne

Plackett-Burman Versuchspläne sind besonders nützlich, wenn man in einem frühen Stadium der Forschung oder Entwicklung herausfinden möchte, welche Faktoren überhaupt einen Einfluss auf das Ergebnis haben. Sie dienen dazu, die wichtigsten Einflussfaktoren zu identifizieren und können als Ausgangspunkt für weitere experimentelle Untersuchungen dienen, bei denen dann auch Wechselwirkungen zwischen den Faktoren berücksichtigt werden.

Plackett-Burman Versuchspläne gehen davon aus, dass die Daten mit einem einfachen linearen Modell ohne Wechselwirkungen beschrieben werden können. Da es ein lineares Modell ist, ist der optimale Versuchsplan allgemeingültig und hängt nicht von den vorab unbekannten Parameterwerten ab. Vielmehr hängt er ausschließlich von der Anzahl der zu untersuchenden Faktoren ab. Bei 3 Faktoren ergeben sich zum Beispiel 4 Versuchspunkte. Das bedeutet dank optimaler Versuchsplanung kann man mit lediglich 4 Experimenten relativ genau bestimmen, welche von 3 Faktoren einen Einfluss auf ein bestimmtes Ergebnis haben.

Latin Hypercube Versuchspläne

Eine weitere häufig verwendete Art von Versuchsplänen sind Latin Hypercube Versuchspläne. Im Gegensatz zu den bisher beschrieben Plänen, sind die Faktoren nicht in feste Stufen unterteilt, sondern komplett zufällig verteilt. Ziel dabei ist eine effiziente und gleichmäßige Exploration des Versuchsraums. Sie eignen sich besonders gut, um eine breitere Palette von Faktoren und Wechselwirkungen zu berücksichtigen.

Im Gegensatz zu Plackett-Burman Versuchsplänen können Latin Hypercube Versuchspläne Wechselwirkungen zwischen den Faktoren besser erfassen. Durch die gleichmäßige und zufällige Anordnung der Faktoren können komplexe Beziehungen zwischen den Variablen erkannt werden.

Latin Hypercube Versuchspläne sind nicht auf eine bestimmte Anzahl von Faktoren oder Stufen beschränkt. Für deren Erstellung legt man einfach die Anzahl der Faktoren und die gewünschte Anzahl an Messpunkten fest.

Zusammenfassend ermöglichen Latin Hypercube Versuchspläne eine breitere Exploration des Faktorenraums, einschließlich möglicher Wechselwirkungen, während sie dennoch mit vergleichsweise weniger Experimenten auskommen. Dies macht sie zu einer leistungsstarken Methode für komplexe Experimente, bei denen eine umfassendere Analyse der Faktoren und ihrer Interaktionen erforderlich ist.

Versuchsplan erstellen in Python

Python hat sich zum Standard für die Datenanalyse entwickelt. Mit der Bibliothek Pandas gibt es ein sehr mächtiges Werkzeug, um mit allen Arten von Daten, also auch Versuchsdaten, umzugehen. Und die Bibliothek Seaborn bietet sehr komfortable Möglichkeiten, Daten im Pandas Format zu visualisieren.

Allgemeine Versuchspläne erstellen

Es gibt für Python ein sehr nützliches Paket, um Standard-Versuchspläne zu erstellen: pyDOE2 ein Fork des nicht mehr gepflegten Pakets pyDOE.

Ein vollfaktorieller Versuchsplan für 3 Faktoren mit jeweils 3 Stufen kann zum Beispiel so erstellt werden:  

from pyDOE2 import *

design = fullfact([3, 3, 3])

Ergebnis ist ein 2D Array mit ganzzahligen Werten für die Faktoren in den Spalten. Jede Zeile entspricht einem durchzuführenden Experiment (Versuchspunkt).

Es bietet sich an, dieses Array in ein Pandas DataFrame zu konvertieren. So können Namen für die einzelnen Faktoren definiert werden und mit Seaborn ein übersichtliches Paardiagramm erstellt werden:

import pandas as pd
import seaborn as sns

column_names = ["Faktor A", "Faktor B","Faktor C"]
df = pd.DataFrame(design, columns=column_names)
pair_plot = sns.pairplot(df)

Einen Plackett-Burman Versuchsplan für 3 Faktoren kann man ebenfalls mit einer Zeile erstellen:

design = pbdesign(3)

Oder ein Latin-Hypercube Versuchsplan für 3 Faktoren mit 10 Versuchspunkten:

design = lhs(3, 10)

Versuchspläne für spezifische Modelle

Neben diesen allgemeinen Versuchsplänen können mit Python auch Versuchspläne für spezielle anwendungsspezifische mathematische Modelle erstellt werden. Dafür haben wir bei TLK ein eigenes Pythonpaket entwickelt, mit dem etwas unkreativen Namen doe_tool. Damit können auch für komplexe physikalische Modelle optimale Versuchspläne bestimmt, grafisch dargestellt und verglichen werden. Die Modelle können entweder im FMI Format (Functional Mock-up Interface) oder als Python Funktion vorliegen.

Als Minimalbeispiel schauen wir uns die Versuchsplanung für das Fitten einer Geraden an Messdaten an. Zunächst wird das Modell als Python Funktion definiert:

def linear_function(p, u):
    return p[0]*u + p[1]

Daraus wird ein entsprechendes Objekt für das doe_tool erzeugt:

import doe_tool

model = doe_tool.PythonFittingModel(linear_function)

Die zu identifizierenden Modellparameter werden definiert:

model.fitting_parameters = [{'name': 'p0', 'value': 1.0},
                            {'name':'p1', 'value': 1.0}]

Die abhängige Größe zusammen mit deren Standardabweichung als Maß für die Messunsicherheiten:

model.dependent_variables = [{'name':  'y', 'std': 0.1}]

und die unabhängigen Größen oder Faktoren:

model.independent_variables = [{'name': 'u', 'min': -1.0, 'max': 1.0}]

 Für dieses Modell wollen wir nun einen optimalen Versuchsplan bestimmen. Zunächst erstellen wir einen vollfaktoriellen Versuchsplan mit 10 Stufen pro Faktor und berechnen alle intern benötigten Daten:

design = doe_tool.FullFactorialDesign(model)
design.populate(10)
design.compute_data()

Jetzt wollen wir einen optimierten Versuchsplan mit nur 2 Versuchspunkten bestimmt. Mit einem bestimmten Algorithmus (DETMAX) werden aus den 10 Kandidaten die 2 besten Punkte herausgesucht:

>>> d_opt = doe_tool.optimize(design, 2)
>>> print(d_opt.independent)
     u
0 -1.0
9  1.0

Und das sind genau die beiden Extrempunkte. Das ist auch anschaulich nachvollziehbar. Denn beim Fitten einer Geraden schlagen die Messfehler am wenigsten auf den Schätzwert für die Steigung durch, wenn der Abstand zwischen zwei Messpunkten möglichst groß ist.

Was passiert nun, wenn wir uns 4 Messungen leisten wollen?

>>> d_opt =doe_tool.optimize(design, 4)
>>> print(d_opt.independent)
     u
9  1.0
0 -1.0
9  1.0
0 -1.0

Die statistische Versuchsplanung schlägt uns vor, lieber die beiden Experimente an den Extrempunkten zu wiederholen, anstatt zusätzliche Messpunkte in die Mitte zu setzen.

Diese Wiederholungen sind ein typisches Ergebnis der Versuchsplanung. Noch mal zur Erinnerung: Der Versuchsplan gehört immer zu einem ganz bestimmten Modell, hier eine Geradengleichung. Wir setzen also voraus, dass die Daten durch eine Gerade beschrieben werden können. Ob diese Voraussetzung in der Praxis erfüllt ist, oder ob man nicht doch lieber sicherheitshalber einen Punkt in der Mitte messen sollte, das bleibt dem Anwender dieser mathematischen Methoden überlassen.

Im doe_tool können dank der FMI-Schnittstelle auch wesentlich komplexere Modelle aus anderen Modellierungsumgebungen importiert werden. Wir nutzen es zum Beispiel, um Versuchspläne für Kältemittelverdichter zu erstellen. Dabei verwenden wir physikbasierte Modelle aus den Modelica Bibliotheken der TIL Suite.

Literatur zu Versuchsplanung

Das Problem bei statistischer Versuchsplanung ist, dass es sehr stark auf Mathematik (Statistik) beruht. Viele Quellen sind zu theoretisch, mathematisch und sind daher für die meisten Anwender (z.B. Ingenieure) nur schwer verständlich. Andere Quellen wiederum vereinfachen zu stark, sodass die grundlegenden Konzepte und Annahmen nicht klar werden. Beides führt dazu, dass die Versuchsplanungs-Methoden in der Praxis nicht verstanden und daher nicht angewendet werden.

Eine Ausnahme dazu ist der sehr lesenswerte Artikel FisherMatrix for Beginners von D. Wittman. Darin wird an einem einfachen Beispiel das zentrale Element der Versuchsplanung erklärt: die Fisher-Informationsmatrix. Die zum Verständnis notwendige Mathematik wird verständlich beschrieben, ohne in zu viel Theorie abzutauchen.

Eine andere sehr zu empfehlende Quelle ist das NIST/SEMATECHe-Handbook of Statistical Methods. Das ist eine sehr umfassende Quelle zu allen Statistik-Themen, die Ingenieure und andere Anwender betreffen. Auch hier gelingt der Spagat zwischen mathematischer Tiefe und Verständlichkeit sehr gut. Das wird erreicht durch viele Beispiele und einem Fokus auf grafischen/visuellen Auswertungen anstelle von Formeln und Zahlen. Zum Thema Versuchsplanung gibt es einen eigenen Abschnitt.