E-Learning in der Logistik: Analyse und Bewertung ausgewählter E-Learning-Produkte

Textprobe: Kapitel 3.1, Die Begriffe Qualitätskontrolle, Evaluation und Analyse: Qualitätskontrolle: Bisher fehlt eine allgemeinverbindliche Spezifikation des Begriffes 'Qualität'. International anerkannt ist die Begriffsdefinition des Deutschen Instituts für Normierung (DIN): 'Qualität ist die Gesamtheit von Merkmalen (und Merkmalsausprägungen) bezüglich ihrer Eignung, festgelegte und vorausgesetzte Erfordernisse zu erfüllen' (DIN EN ISO 8402). Die Einschätzung der Qualität ist damit die realisierte Beschaffenheit bezüglich der Qualitätsanforderungen und hängt neben der subjektiven Nutzenerwägung des Beurteilers auch vom jeweiligen situativen Kontext und der Produktart, zu der auch explizit die Lehrleistung gehören kann, ab. Die Liste der zu untersuchenden Merkmale ist situationsabhängig. Dabei sollte bei der Ermittlung der Qualität stets mit einem einzelnen Vergleich zwischen Forderungen und den Merkmalswerten begonnen werden, wobei das Ergebnis dieser Untersuchung möglichst quantitativ sein sollte. Die Kontrolle der Qualität findet durch Beurteilungen anhand so genannter Qualitätskriterien statt. Bei der Untersuchung von E-Learning-Produkten können dies inhaltliche, didaktische, technische und gestalterische Kriterien sowie die Berücksichtigung des Lernprozesses und andere Rahmenbedingungen sein. Erst bei gemeinsamer Erfüllung dieser Kriterien entspricht ein Produkt den Kundenwünschen bezüglich der Produktqualität. Die sinnvolle Aufbereitung der Lehrinhalte und die Nutzbarkeit müssen dabei in Einklang gebracht werden. Die Qualitätskontrolle findet nicht erst abschließend statt, sondern ist bereits ein entwicklungsbegleitender Prozess, um Schwächen der Software oder einzelner Bausteine möglichst früh zu beseitigen, so dass ein qualitativ hochwertiges Produkt auf den Markt gebracht und diese Qualität auch über den Einsatzzeitraum hinweg gehalten werden kann. Die Qualitätskontrolle leidet jedoch grundsätzlich unter einigen konzeptuellen Schwächen. Neben der Unschärfe des Qualitätsbegriffes ist insbesondere der Mangel an Standardisierung der Kriterien problematisch. Evaluation: Unter Evaluation im wissenschaftlichen Kontext wird die 'systematische Kontrolle von Qualität, Funktionalität, Wirkung und Nutzen auf Basis systematisch erhobener Daten mit wissenschaftlichen Methoden' anhand 'präzise festgelegter und offen gelegter Kriterien' verstanden und gilt der Beurteilung von Planung, Entwicklung, Gestaltung und des Einsatzes von Produkten, Prozessen und Programmen. Damit ist hier die aus der Evaluation gewonnene Datenbasis Grundlage für die bewertende Qualitäts- und Wirkungskontrolle des multimedialen Lernens. Die Evaluation multimedialer Lernsysteme ist dabei keine einmalige Messung, sondern ein ständiger Überprüfungsprozess des Zielerreichungsgrades unter Berücksichtigung allgemeiner Rahmenbedingungen vor und während der Entwicklung und während des Einsatzes der Software. Zentrale Fragen dabei sind was wann wo nach welchen Kriterien evaluiert wurde. Ebenso relevant ist es, durch wen die Evaluation durchgeführt wird. Wird Software evaluiert, so sind die Aufgabenbewältigung, die Funktionalität und der Benutzungsaufwand die wesentlichen spezifischen Evaluationsziele. Unterschieden werden im Allgemeinen zwei Typen der Evaluation, differenziert nach ihrer Vorgehensweise und Funktion: • Die formative Evaluation findet als entwicklungsbegleitende Qualitätssicherung statt und dient der Ermittlung konzeptioneller Schwachstellen bezüglich der Inhalte, der Instruktion, der Gestaltung und der Nutzbarkeit, die noch während der Entwicklung behoben werden. • Summative Evaluation hingegen findet erst nach dem Abschluss der Entwicklung statt, um Effizienz und Nutzen zu überprüfen. Hierzu gehören u.a. Akzeptanz, Lernerfolg und die Transferierbarkeit des erworbenen Wissens, aber auch die tatsächlich entstandenen Kosten des Bildungsprogramms und die bei der Umsetzung entstandenen Schwierigkeiten. Da hier existierende Softwarelösungen untersucht werden, handelt es sich also um eine summative Evaluation bestehender Produkte. Analyse: Unter einer Analyse versteht man im Allgemeinen ein systematisches Untersuchungsverfahren, bei dem das zu untersuchte Objekt in seine Bestandteile praktisch oder gedanklich zerlegt wird und diese anschließend geordnet, untersucht und ausgewertet werden. Dabei darf die Vernetzung einzelner Elemente und deren Integration nicht außer Acht gelassen werden. Das Ziel einer Analyse ist die Feststellung eines gegebenen Ist-Zustandes und dessen Ursachen. Auf die Sammlung der Daten, die oftmals mit Hilfe statistischer Werkzeuge geschieht, folgt eine Phase der Auswertung, die auf verschiedenen Wegen erfolgen kann. Anschließend werden die gewonnenen Daten vor dem situativen Kontext interpretiert. Hieraus können Informationen über Stärken und Probleme sowie Zusammenhänge und Kausalverhältnisse des zu untersuchenden Objektes gewonnen werden. Durch diese Systematik geht eine Analyse noch detaillierter vor als eine Evaluation und bietet die Möglichkeit, die Eigenschaften eines Objektes zu objektivieren. Der Softwarevergleich folgt hier in seiner Grundstruktur der qualitativen Inhaltsanalyse, wie sie u.a. von Mayring vorgestellt wird. Im Vorfeld einer solchen Analyse werden, didaktischen Modellen folgend, Kategorien festgelegt. Diese werden dann, in Einzelschritten zerlegt, systematisch untersucht. Die Kategorien sind durch Qualitätskriterien vorgegeben, die in eine Vielzahl von Einzelkategorien zerlegt sind, wie sie im Rahmen der hier vorgenommenen Analyse zusätzlich auch durch den verwendeten Kriterienkatalog gegeben sind. Alle zu untersuchenden Kriterien werden systematisch evaluiert. Diese Ergebnisse bilden die Grundlage der Analyse, aus deren Ergebnis die Gesamtbewertung der Software stattfindet. Es wird also durch verschiedene Methoden untersucht, inwieweit die E-Learning-Produkte vorgegebenen Qualitätskriterien entsprechen. Dabei wird versucht, die Bewertung ganzheitlich zu verfolgen, d.h., zum einen hard- und softwareergonomische Aspekte und zum anderen auch den organisatorischen Bereich zu berücksichtigen, der durch seine Rahmenbedingungen einen wesentlichen Teil der Lernumgebung bildet. Durch dieses dreigeteilte Vorgehen (Aufstellen der Kriterien, Evaluation der Software, Analyse der Ergebnisse) wird die Inhaltsanalyse intersubjektiv überprüf- und nachvollziehbar und damit zur wissenschaftlichen Methode.