Informationen zum Hilfssystem

Nach welchen Kriterien das LONDI-Hilfssystem Empfehlungen erzeugt

​

Die LONDI-Bewertungsgrundlagen für Diagnoseverfahren und Förderprogramme

​

Während der Entwicklung des LONDI-Hilfssystems wurde eine umfassende Recherche, Dokumentation und wissenschaftliche Bewertung von diagnostischen Testverfahren und der Förderprogramme vorgenommen. Denn im LONDI-Hilfssystem werden ausschließlich wissenschaftlich qualitätsgeprüfte Test- und Förderverfahren empfohlen. Die Bewertungsergebnisse sind in einer Datenbank im LONDI-Hilfssystem hinterlegt und gehen in den Algorithmus zur individuellen Diagnostik- und Förderempfehlung ein.

​

Qualitätskriterien diagnostischer Testverfahren

​

Die Bewertung von Testverfahren anhand von wissenschaftlichen Qualitätskriterien bildet die Entscheidungsgrundlage für ihren Empfehlungsgrad im LONDI-Hilfssystem. Zur Aufstellung der Bewertungskriterien wurden folgende Quellen herangezogen:

​

• Die Minimalstandards für diagnostische Tools des Projekts „Bildung durch Sprache und Schrift“ (BiSS-Transfer, 2021) und des niederländischen COTAN („Commissie Testaangelegenheden Nederland“) -Systems für die Beurteilung der Qualität psychologischer Tests (Evers, Sijtsma, Lucassen, & Meijer, 2010)

​

• Die DIN SCREEN Checkliste zur Information über und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens (Kersting, 2017)

​

• Die S3-Leitlinien zur Diagnostik und Behandlung der Lese- und/oder Rechtschreibstörung (AWMF, 2015) und Rechenstörung (AWMF, 2018)

 

Die Bewertung der Testverfahren erfolgte auf Basis der Information aus den Testmanualen. Die Bewertungskriterien, die in LONDI umgesetzt wurden, umfassen die folgenden fünf Kategorien, wobei jeweils bewertet wurde, inwiefern die Kriterien erfüllt = [3 Sterne], weitgehend erfüllt = [2 Sterne] oder nicht erfüllt [1 Stern] waren:

 

1. Testgrundlage: Wurde das Diagnoseverfahren auf Grundlage einer evidenzbasierten Theorie bzw. in Bezug auf Lehrpläne / Bildungsstandards konzipiert = [3 Sterne] oder hat es keine solche anerkannte Basis = [1 Stern]?

2. Objektivität: Ist die Objektivität der Durchführung und der Auswertung gewährleistet? (Ja = [3 Sterne] oder nein = [1 Stern])

3. Reliabilität: Erfasst das Verfahren zuverlässig die Leistung? Die Bewertung wurde anhand der angegebenen Retest- oder Paralleltest-Reliabilitäten bestimmt (Reliabilitätswerte ab ≥ .85 = [3 Sterne]; zwischen >.70 und <.85 = [2 Sterne]; ab ≤ .70 = [1 Stern]). Wenn die Retest- oder Paralleltest-Reliabilität nicht angegeben wurde, wurde die interne Konsistenz (Cronbach’s Alpha) bewertet (Reliabilitätswerte ab ≥ .85 = [3 Sterne]; ab < .85 = [1 Stern]).

4. Validität: Misst der Test das, was er messen soll? Geprüft wurde, ob hinreichende Angaben der Inhalts- und Kriteriumsvalidität vorliegen (Ja = [3 Sterne] oder nein [1 Stern])

5. Interpretationseindeutigkeit:

• Normierungsmethode: Beinhaltet das Diagnoseverfahren Klassennormen? (Ja = [3 Sterne] oder nein [1 Stern])

​

• Stichprobengröße: Beruhen die Klassennormen auf einer ausreichend großen Normierungsstichprobe? Folgende Prüfkriterien wurden angewandt:

N ≥ 250 = [3 Sterne]; N ≥ 120 & < 250 = [2 Sterne]; M < 120 = [1 Stern]  (Wyschkon & Esser, 2015)

​

• Aktualität der Normen: Sind die Normwerte ausreichend aktuell? Die Aktualität wurde wie folgt bewertet: Das Alter der Normen ist maximal 10 Jahre [3 Sterne], zwischen 10 und 15 Jahren [2 Sterne], 15 Jahre oder mehr [1 Stern]. Der Bewertungsschlüssel für die Einstufung der Interpretationseindeutigkeit ist so aufgesetzt, dass nur wenn alle drei Subkriterien mit [3 Sterne] bewertet wurden, das Ergebnis [3 Sterne] ist. Wenn mindestens eins der Subkriterien mit [1 Stern] bewertet wurde ist auch das Ergebnis [1 Stern]. In allen anderen Fällen ist das Bewertungsergebnis [2 Sterne]

​

Auf Basis der Bewertung dieser fünf Kategorien wurde anschließend eine Gesamtbewertung für das Testverfahren gebildet:

​

• [3 Sterne] = genügt vollkommen den Standards: [3 Sterne] in allen fünf Kriterien

​

• [2 Sterne] = genügt überwiegend den Standards: max. einmal [1 Stern]; max. zweimal [2 Sterne] mind. dreimal [3 Sterne])

​

• [1 Stern] = Kriterien nicht erfüllt: alle schlechteren Ergebnisse (diese Verfahren werden nicht von LONDI empfohlen)

​

Im Hilfssystem werden nur die Diagnoseverfahren empfohlen, die den Standards überwiegend oder vollkommen genügen.

​

Qualitätskriterien der Förderprogramme

​

In einer umfangreichen Recherche wurden zunächst alle Förderprogramme für Lesen, Schreiben und Rechnen erfasst, die auf dem Markt verfügbar sind. Es konnten mehrere Hundert Paper-Pencil-Programme, computerbasierte Programme und Förder-Apps identifiziert werden. Diese wurden in einem weiteren Schritt danach sondiert, ob sie die folgenden Basis-Eigenschaften erfüllen, die wir grundlegend an die Förderprogramme stellen:

​

• Deutschsprachiges und inhaltlich strukturiertes Material (d. h. keine reine Arbeitsblättersammlung)

​

• Überwiegend symptomspezifische Förderung (d. h. der Schwerpunkt liegt auf der Förderung der schulischen (Vorläufer-)Fertigkeiten selbst und nicht auf allgemeinen kognitiven Funktionen wie Konzentration oder Wahrnehmung, da wissenschaftliche Studien zeigen, dass eine wirksame Förderung schulischer Fertigkeiten symptomspezifisch sein sollte)

​

• Evidenzbasierte Wirksamkeit (die Wirksamkeit wurde in mindestens einer Evaluationsstudie belegt)

 

Um die Programme weiter wissenschaftlich bewerten und zu können, wurde angelehnt an das Bewertungssystem für diagnostische Testverfahren folgende fünf Bewertungskriterien erstellt:

 

1. Wirksamkeit und Stabilität der erzielten Fördereffekte: Wir wirksam ist das Förderprogramm und bleiben die Fördereffekte auch langfristig erhalten?

2. Wissenschaftliche Fundierung: Wurde das Förderprogramm nach wissenschaftlichen Erkenntnissen konzipiert?

3. Durchführungsobjektivität: Lässt sich das Förderprogramm objektiv durchführen? Ist die Durchführung also unabhängig von der Person, die es anleitet? Zum Beispiel können eine genaue Anleitung oder auch ein automatisch ablaufendes Programm die Durchführung objektivieren.

4. Nützlichkeit bzw. Angemessenheit der Gestaltung: Ist das Förderprogramm so gestaltet, dass eine sinnvolle Durchführung mit der Zielgruppe möglich ist? Ist es altersangemessen und inhaltlich adäquat gestaltet?

5. Ökonomie für die Durchführenden: Ist das Verhältnis von Aufwand und Nutzen für die Durchführenden angemessen?

 

Für jeden Bereich werden 1, 2 oder 3 Sterne nach klar definierten Kriterien vergeben, sodass die Höhe der Punktsumme die wissenschaftliche Qualität der Förderprogramme anzeigt. Diese wissenschaftliche Qualität spielt eine Rolle bei der Erstellung der Rangfolge in der die Förderprogramme angezeigt werden (siehe unten).

 

Zuordnung zu den Kompetenzstufen

​

Damit das Hilfssystem in der Lage sein würde, zu den diagnostischen Testergebnissen passende Förderprogramme vorzuschlagen, war es in einem weiteren vorbereitenden Schritt notwendig, die Untertests der Diagnostikverfahren als auch die Aufgaben der Förderprogramme den vier Kompetenzstufen des Kompetenzstufen-Modells zuzuordnen. Es wurde also bestimmt, welche Kompetenzstufen durch ein Diagnostikverfahren erfasst werden, und welche Kompetenzstufen durch ein Förderprogramm gefördert werden.

​

Wie das LONDI-Hilfssystem eine individuelle Empfehlungsliste erstellt:

​

In LONDI wurden die Diagnostikverfahren und Förderprogramme zunächst hinsichtlich ihrer wissenschaftlichen Qualität beurteilt und dann entsprechend ihrer inhaltlichen Ausrichtung den vier Kompetenzstufen des Kompetenzstufenmodells zugeordnet. Somit gab es eine qualitative Beurteilung und eine inhaltliche Einstufung eines jeden Verfahrens. Dies ist die Basis für das LONDI-Hilfssystem, das in der Lage ist, individuell geeignete Diagnostikverfahren und Förderprogramme zu empfehlen. Die Darstellung für die Diagnostik- und Förderempfehlung erfolgt in Form von Tabellen mit darin aufgelisteten Verfahren. Die Verfahren selbst als auch ihre Reihenfolge wurden durch einen Algorithmus folgendermaßen berechnet:

 

Darstellung der Diagnostikempfehlung

​

Es werden in der Ergebnistabelle der Diagnostikempfehlung nur diejenigen Testverfahren angezeigt, welche die eingegebenen Suchdaten (Schuljahr, Testzeitpunkt, Leistungsbereiche) erfüllen. Die Reihenfolge, in der die Diagnostikverfahren angezeigt werden, richtet sich nach der Anzahl der Kompetenzstufen, die die Verfahren abdecken. Je mehr Kompetenzstufen ein Testverfahren erfasst, desto höher erscheint es in der Auflistung. Grundsätzlich erscheinen zudem nur Testverfahren, die die wissenschaftlichen Kriterien von LONDI überwiegend oder vollständig erfüllen. Die Reihenfolge der Auflistung hat jedoch keinen Zusammenhang mit der wissenschaftlichen Güte der Verfahren und stellt somit keine „wissenschaftliche Empfehlungsreihenfolge“ dar. Allerdings sind die Stichprobengröße, das Normierungsjahr und die von uns bewertete wissenschaftliche Güte leicht in der Tabelle abzulesen, sodass sie bei der Auswahl eines Testverfahrens einbezogen werden können.

​

Darstellung der Förderempfehlung

​

Auch in der Förderempfehlung werden in der Ergebnistabelle alle Förderverfahren angezeigt, welche die eingegebenen Suchdaten (hier Bildungsbereich und Testergebnisse bzw. Förderbedarfe) erfüllen. Die wissenschaftliche Güte der Förderverfahren bestimmt die Reihenfolge der dargestellten Programme ebenso wie die Passung zwischen den Förderbedarfen des Kindes und der Förderziele der Programme. Dazu wird auf Basis der eingegebenen Testdaten oder der Selbsteinschätzung des Förderbedarfs ein Förderprofil des Kindes nach dem Kompetenzstufenmodell erstellt. Dieses Profil zeigt an, auf welchen Kompetenzstufen das Kind Förderung benötigt. Das Förderprofil des Kindes wird anschließend mit den von LONDI erstellten Profilen aller in Fragen kommenden Förderprogramme verglichen und zusätzlich mit der jeweiligen wissenschaftlichen Güte der Förderprogramme verrechnet. Daraus wird eine Rangfolge abgeleitet, nach der die Förderprogramme aufgelistet werden. Die Förderprogramme der vorderen Plätze passen also am besten auf die Förderbedürfnisse des Kindes und weisen die höchste wissenschaftliche Güte auf. Interessierte Nutzerinnen und Nutzer können durch klicken auf das Infosymbol zusätzliche Informationen zu einem Förderprogramm abrufen.