Matching kleiner Stichproben

Abstract

Die durchgeführte Studie liefert einen Beitrag zur Entwicklung von "Standards" für den Einsatz von Matchingverfahren in empirischen Evaluationsstudien. Innerhalb einer Simulation werden die Ergebnisse verschiedener in der Literatur diskutierter Distanzmaße und Zuordnungsprozesse miteinander verglichen. Die strenge Orientierung an realen Entscheidungssituationen stellt dabei eine Ergänzung zu den meisten bisher bekannten Studien dar. Sie erklärt zum einen die Fokussierung auf kleine Stichproben, zum anderen die explizite Berücksichtigung unterschiedlich skalierter Variablen, die im Matchingprozess berücksichtigt werden müssen. Um eine Annäherung an realistische Verteilungen dieser Variablen zu erreichen, wird der Mikrozensus des Statistischen Bundesamtes als Vorbild für die generierten Zufallsvariablen der Simulation verwendet. Die Betrachtung der Distanzmaße umfasst die in der Literatur als vorteilhaft angesehenen Maße, die Mahalanobisdistanz und Balancing Scores sowie aus der Statistik bekannte - in Evaluationsstudien bisher allerdings nicht verwendete - aggregierte Distanzmaße. Die Auswahl der analysierten Zuordnungsprozesse orientiert sich ebenfalls an den Ergebnissen bisheriger Studien. In die Analyse werden Replacement Matching, Random Matching, Optimal Nearest Neighbor Matching, Ridge Matching und Optimal Full Matching einbezogen. Der Vergleich der Matchingergebnisse der verschiedenen Distanzmaße anhand nichtparametrischer skalenspezifischer Tests der Übereinstimung der Merkmalsverteilungen zeigt, dass aggregierte Distanzmaße in kleinen Stichproben besser in der Lage sind, Ähnlichkeiten in unterschiedlich skalierten Merkmalen zusammenzufassen als die bisher gebräuchlichen Maße. Hinsichtlich des mittleren quadratischen Fehlers und seiner Bestanteile ist Optimal Full Matching den anderen analysierten Zuordnungsprozessen vorzuziehen, bei Betrachtung der quadrierten Distanzsumme als Näherungswert für die Angleichung der Merkmalsverteilungen erreicht Replacement Matching die beste Zuordnung. Der erwartete Vorzug optimaler Zuordnungsprozesse gegenüber anderen Nearest Neighbor Matching Algorithmen wird durch die Simulationsergebnisse nicht bestätigt.

The study contributes to the development of "standards" for the application of matching algorithms in empirical evaluation studies. Various distance measures and matching processes that are dicussed in the current literature are compared among each other in a simulation study. Supplementary to former studies, the simulation setup strongly orientates on real evaluation situations. This reality orientation requires to focus on small samples, and di_erently scaled variables must be considered explicitly in the matching process. In order to approximate realistic distributions, the random variables in the simulation are generated after the example of the German Microcensus. In the simulation, the Mahalanobis distance and two Balancing Scores are considered because their use is recommended in evaluation literature. Additionally, statistical aggregated distance measures not yet used for empirical evaluation are included. The choice of matching algorithms is orientated on the results of former studies: Replacement Matching, Random Matching, Optimal Nearest Neighbor Matching, Ridge Matching and Optimal Full Matching are analyzed. The matching outcomes of the analyzed distance measures are compared by nonparametrical scale-specific tests for identical distributions of the characteristics in the participant’s and the control group. In small samples, aggregated distance measures are the better choice for summarizing similarities in diffently scaled variables compared to commonly used measures. Regarding the Mean Square Error and its parts, bias and variance, using Optimal Full Matching results in favourable matching outcomes. In terms of the sum of the squared distances - as an approximation for the similarity of the variable’s distributions -, Replacement Matching is able to identify the best control groups. The expected superiority of Optimal Nearest Neighbor Matching is not confirmed by the simulation results.