Summative Evaluation

Die summative Evaluation des User Interface dient dazu, am Ende der Entwicklung nachzuweisen, dass für ein Produkt keine inakzeptablen Nutzungsrisiken vorhanden sind. Dies ist Teil der Validierung eines jeden Medizinproduktes.

Unser Angebot

Planung der summativen Evaluation gemäß den regulatorischen Anforderungen
Durchführung von Usability Tests inkl. Moderation, Beobachtung, professioneller Audio- und Videoaufzeichnung und Streaming für Beobachterinnen und Beobachter, die nicht vor Ort sind.
Falls angemessen: Durchführung von Expertenbewertungen
Durchführung von Evaluationen des Leseverständnisses von Informationen zur Sicherheit und der Gebrauchsanweisung als Risikobeherrschungsmaßnahme

Rekrutierung von Testpersonen
Bereitstellung realistischer Nutzungsumgebungen: Orte für Ihre Usability Tests (als Usability Labor, OP, Herzkatheterlabor, Intensivstation, Radiologieräume, etc.) entweder für die eigene Durchführung oder die Durchführung durch uns
Erstellung des Testberichts gemäß IEC 62366-1
Human Factors Validation Testing gemäß FDA-Anforderungen wie in der FDA Guidance „Applying Human Factors and Usability Engineering to Medical Devices“ beschrieben

Auf Wunsch beraten wir Sie auch bei der eigenständigen Durchführung Ihrer summativen Evaluation. Nähere Informationen finden Sie unter Consulting und Schulungen

Sie sind auf der Suche nach einer individuellen Lösung? Sprechen Sie uns an!

Kontakt

Wozu summative Evaluationen?

Die summative Evaluation dient dazu, als Teil der Validierung zu zeigen, dass ein Medizinprodukt von Benutzerinnen und Benutzern sicher verwendet werden kann. Ein Usability Test ist dafür im Normalfall die Methode der Wahl, es sind jedoch in Einzelfällen auch andere Methoden denkbar.

Was ist ein Usability Test?

Ein repräsentativer Nutzer oder eine repräsentative Nutzerin führt möglichst unbeeinflusst eine repräsentative Aufgabe in einer repräsentativen Nutzungsumgebung aus. Das kann entweder an einem Prototypen oder einem fertigen Produkt sein und sollte idealerweise im Gesamtsystem geschehen. Während der Durchführung dieser Aufgaben wird die Testperson beobachtet und Nutzungsprobleme werden dokumentiert. Um die Auswertung zu erleichtern, erfolgt eine Audio- und Videoaufzeichnung. Die Nutzungsprobleme spricht eine Moderatorin nach der Aufgabe oder am Ende des Tests mit den Nutzerinnen und Nutzern durch.

Die summative Evaluation ist Teil der Validierung des Medizinproduktes. Die Gebrauchstauglichkeit insbesondere in Bezug auf die sichere Nutzung wird hier validiert. Man kann also davon sprechen, dass während einer summativen Evaluation betrachtet wird, ob in Summe alles zusammenpasst. Dafür wird das fertige Medizinprodukt – genauer: das fertige User Interface – geprüft, um auszuschließen, dass inakzeptable Risiken durch Use Errors entstehen können.

Für die allermeisten summativen Evaluationen ist ein Usability Test anzuwenden. Diese Methode ist aufwändig, erzeugt jedoch als einzige empirische Daten als objektiven Nachweis, wie er von der IEC 62366-1 Abschnitt 5.9 gefordert wird. Zudem erwartet die IEC 62366-1, dass Use Errors anhand von Beobachtungen und subjektiven Kommentaren analysiert werden. Beides wird vor allem durch Usability Tests erhoben.

In Abgrenzung zur summativen Evaluation dienen formative Evaluationen über den Verlauf der Entwicklung einem anderen Ziel: Das User Interface verbessern, so dass Nutzungsprobleme vermieden werden (Das User Interface wird also geformt!). Neben der Effektivität können auch weitere Maße der Usability wie Effizienz und Zufriedenheit erhoben werden, um den kommerziellen Erfolg eines Produktes abzusichern. Wenn ein Produkt nicht effektiv ist – also die Nutzerinnen und Nutzer nicht zum Ziel kommen, weil sie Fehler machen – dann ist das Produkt auch nicht sicher.

Was ist zu tun?

Für summative Evaluationen sind folgende Aktivitäten durchzuführen:

Rekrutierung von repräsentativen Teilnehmerinnen und Teilnehmern
Planung des Usability Tests inkl. Entwurf von repräsentativen Aufgaben für den Usability Test und Aufgaben für die Evaluation des Leseverständnisses der Informationen zur Sicherheit inklusive Auswahl der gefährdungsbezogenen Use Scenarios
Aufbau des Medizinproduktes in der Testumgebung und Probelauf des Tests

Durchführung des Usability Tests mit dem Ziel, Use Errors und Use Difficulties zu identifizieren
Auswertung der einzelnen Usability Tests mit dem Ziel, eine Ursachen-Analyse (Root Cause Analysis) der Nutzungsfehler und Nutzungsschwierigkeiten durchzuführen
Überführung der Ergebnisse in das Risikomanagement

Rekrutierung repräsentativer Benutzer

Bei der Auswahl der repräsentativen Benutzerinnen und Benutzer wird die Use Specification herangezogen. Die dort definierten Nutzerprofile bieten die Grundlage für die Rekrutierung. Bei der Rekrutierung ist eine angemessene Kompensation für die Teilnahme üblich. Diese enthält Fahrtkosten und die Vergütung der Zeit für den Test gemäß des üblichen Stundensatzes für diese Berufsgruppe. Zudem ist je nach Arbeitgeber oder Selbstverpflichtung des Herstellers dessen Einverständnis einzuholen. Oft ist eine Geheimhaltungsvereinbarung sinnvoll. Außerdem ist es nötig, eine Erlaubnis für die Datenverarbeitung gemäß DS-GVO einzuholen – inklusive der Audio- und Videoaufzeichnungen.

Die Anzahl der Teilnehmenden für Usability Tests im Rahmen von Konformitätsbewertungsverfahren (CE-Kennzeichung) hängt von den Erwartungen der Benannten Stellen ab (z.B. TÜV SÜD , TÜV Rheinland , DQS, mdc, etc.). Diese liegen oft deutlich unter den Anforderungen der FDA.

Die FDA Guidance „Appyling Human Factors and Usability Engineering to Medical Devices“ sieht für das Human Factors Validation Testing pro Benutzergruppe mindestens 15 Teilnehmende vor. Zudem ist eine Durchführung des Tests vorgesehen mit Nutzerinnen und Nutzern, die in den Vereinigten Staaten leben. Generell sind die Anforderungen an die Qualität des Usability Tests für FDA Premarket Submissions höher als die Anforderungen der Benannten Stellen.

Usability Test Planung und Auswahl der gefährdungsbezogenen Use Scenarios

Die Interaktion zwischen Mensch und Produkt muss nicht vollständig evaluiert werden. Stattdessen schreibt die IEC 62366-1 vor, dass eine Auswahl aus den gefährdungsbezogenen Use Scenarios getroffen werden darf. Gefährdungsbezogene Use Scenarios sind dabei diejenigen, die mit Use Errors oder Use Difficulties verbunden sind, die mit einem potenziellen Schaden verbunden sind. Mit Bezug auf die Auswahl der zu evaluierenden Use Scenarios kann der Hersteller aus den folgenden Möglichkeiten wählen:

Alle gefährdungsbezogenen Use Scenarios werden evaluiert.
Es wird eine Auswahl aus den gefährdungsbezogenen Use Scenarios getroffen, die auf der Schwere der zugehörigen potenziellen Schäden beruht. Diese Schadensschwere ist im Rahmen des Risikomanagementprozesses nach ISO 14971:2019 zu bestimmen.
Es wird eine Auswahl aus den gefährdungsbezogenen Use Scenarios getroffen, die auf der Bewertung der zugehörigen Risiken beruht. Die Auswahl auf Basis von Risiken bezieht nicht nur die potenzielle Schadensschwere ein, sondern darüber hinaus auch andere Faktoren des Medizinproduktes wie zum Beispiel Änderungen des Medzinproduktes etc.

Wenn nicht alle gefährdungsbezogenen Use Scenarios ausgewählt werden, muss das Usability Engineering File nach IEC 62366-1:2015 eine Begründung für die Auswahl enthalten. Im Fall einer Auswahl basierend auf der Schwere der potenziellen Schäden ist auf die Bewertung im Rahmen des Risikomanagementprozesses nach ISO 14971:2019 zu verweisen.

Desweiteren müssen repräsentative Testaufgaben erstellt werden, so dass die Benutzerinnen und Benutzer einerseits alle gefährdungsbezogenen Use Scenarios durchlaufen, jedoch durch Unterbrechungen im Test möglichst wenig beeinflusst werden. Zudem müssen die Testaufgaben sehr präzise formuliert werden, um die Teilnehmenden nicht zu lenken.

Weitere Inhalte des Testplans sind

Die Ressourcenplanung inklusive der Räume sowie der Qualifikation der Moderatorinnen und Beobachter
Die Zeitplanung für die Teilnehmerinnen und Teilnehmer sowie ggf. Trainerinnen, Moderatoren und Beobachterinnen
Die zu evaluierenden Teile des User Interfaces
Die Bereitstellung der Gebrauchsanweisung und der weiteren Dokumente zur Unterstützung der Nutzerinnen und Nutzer
Die Wartezeit zwischen Training und Testdurchführung
Die Testaufgaben für die Evaluation der Informationen zur Sicherheit
Eine Richtlinie, wie Use Errors und Use Difficulties erhoben und dokumentiert werden
Die Definition des korrekten Gebrauchs für die Use Scenarios
Die Formulierung des Orientationscripts für das Briefing der Teilnehmenden
Die Auflistung der Aufgaben der Moderatorin
Die Richtlinien für weitere Beobachter
Soweit nötig, Maßnahmen zur Arbeitssicherheit für Teilnehmende, Moderatorinnen und Beobachter
Sinnvollerweise eine Protokollvorlage für Beobachterinnen
Eine Liste der bekannten Use Errors

Repräsentative Nutzungsumgebung

Damit die Benutzer einerseits möglichst realistisch mit dem Produkt umgehen und andererseits aber auch realistische Fehlersituation überhaupt auftreten können, ist es wichtig, eine repräsentative Nutzungsumgebung zu schaffen. Es kann dafür nötig sein, nicht nur die Umgebung zu simulieren, sondern in einer realistischen Umgebung wie einem Intensivpflegezimmer, Labor oder einem Operationsaal zu testen. Für andere Situationen ist eine simulierte Umgebung ausreichend, z. B. wenn Änderungen an einem Software User Interface implementiert wurden.

Durchführung

Während der Durchführung zeigt sich die Qualität der Moderatorin und der Beobachter. Nur wenn diese bereits während des Tests alle Use Errors und Use Difficulties erkennen, können sie zu den jeweiligen Use Errors die Teilnehmenden zur Ursache des Use Errors bzw. der Use Difficulty befragen. Ein weiterer wichtiger Punkt ist, die Teilnehmenden so wenig wie möglich zu beeinflussen. Gelingt dies nicht, ist die Aussagekraft des Usability Tests sehr stark begrenzt.

Im Rahmen der Evaluation der Informationen zur Sicherheit werden die Teilnehmenden aufgefordert, die Informationen zur Sicherheit in der Gebrauchsanweisung zu finden – also wahrzunehmen, zu verstehen und zu zeigen, dass die Gebrauchsanweisung die korrekte Nutzung ermöglicht. Dies ist die Validierung der Risikobeherrschungsmaßnahmen Informationen zur Sicherheit. Oft wird dies für Produkte, die von Healthcare Professionals verwendet werden, durch einen Fragebogen erreicht, der abfragt, wie der korrekte Gebrauch in bestimmten Situationen sein soll. Für Homecare Produkte ist hier jedoch wichtig, Nutzerinnen und Nutzern anhand der Gebrauchsanweisung das Produkt bedienen zu lassen. Die German UPA hat hierzu eine empfehlenswerte Hilfestellung veröffentlicht.

Auswertung

Die Auswertung der summativen Evaluation erfolgt auf Basis der Beobachtungsprotokolle des Moderators und der Beobachter, der Interviewdaten aus dem Usability Test, sowie der Audio- und Videoaufzeichnungen. Jeder Use Error und jede Use Difficulty wird einer Ursachenanalyse unterzogen. Es kann sinnvoll sein, nur gefährdungsbezogene Use Errors und Use Difficulties zu analysieren, um den Umfang handhabbar zu halten. Die Ursachenanalyse wird dann als Ausgangspunkt für die Überführung in das Risikomanagement genommen.

Überführung in das Risikomanagement

Jeder Use Error, der in der summativen Evaluation gefunden wurde, muss im Risikomanagement analysiert werden. Es geht hierbei darum, das einzelne Restrisiko zu evaluieren und zu überlegen, ob dieses akzeptabel ist oder nicht. Dies ist eine verantwortungsvolle Aufgabe und Usability Engineers sollten dazu Teil des Risikomanagementteams sein.

Alternative Methoden

Es gibt Szenarien, in denen ein Usability Test für die summative Evaluation nicht sinnvoll ist. Dies trifft vor allem dann zu, wenn gezeigt werden kann, dass entweder kein Gefährdungsbezug besteht oder nur ein geringer Schaden entstehen kann. Hier kann dann als summative Evaluation eine Expertenbewertung erfolgen. Dies ist insbesondere hilfreich bei Änderungen des Medizinproduktes, der Gebrauchsanweisung und der Verpackung, bei denen keine hohen Risiken zu erwarten sind.

Mögliche Methoden sind unter anderem:

PCA-Analyse ist eine Expertenbewertung , bei der Wahrnehmung, kognitive Aktivität und Handlungen, die für die korrekte Nutzung notwendig sind, genutzt werden, um Nutzungsfehler (Use Errors) zu identifizieren .
Heuristische Evaluation ist eine Bewertung, die durch Usability Experten durchgeführt wird. Das User Interface wird dabei anhand von anerkannten Usability-Kriterien evaluiert und es werden Empfehlungen zur Verbesserung gegeben.