Der Blätterkatalog benötigt Javascript.
Bitte aktivieren Sie Javascript in Ihren Browser-Einstellungen.
The Blätterkatalog requires Javascript.
Please activate Javascript in your browser settings.
2 6 | w w w c o m p u t e r - a u t o m a t i o n d e · 0 9 -2 5 K I Sa f e t y Gefährdungslevel Konfidenzniveau Geringes Risiko 90 % Mittleres Risiko 95 % Hohes Risiko 99 % Beispielhafte Zielwerte für das angestrebte Vertrauen verhältnisse etc und wie daraus Fehler in anderen Komponenten des Systems und Risiken resultieren können Aus der Analyse ergeben sich bestimmte Spezifikationen etwa eine geforderte Erkennungsleistung Genauigkeit von > 95 % bei definierten Rahmenbedingungen und Objekteigenschaften • Schritt 2 Risikobewertung Sind die Anforderungen festgelegt und die möglichen Fehlerketten analysiert müssen die Risiken bewertet werden die entstehen wenn Anforderungen nicht erfüllt werden Ist ein Risiko nicht akzeptabel muss es durch Maßnahmen reduziert werden identischen Umgebungsbedingungen keine identischen Erkennungsleistungen zeigen – der Output von KI-Systemen weist eine bestimmte Varianz auf Ist also eine Erkennungsleistung von mindestens 95 % gefordert reicht es noch nicht aus wenn das System bei Tests mehr als 95 % korrekte Output-Werte liefert Varianz erzeugt Unsicherheit die Frage lautet also wie viel Unsicherheit ist akzeptabel so dass ein zufälliger Output-Wert korrekt ist Oder Welches Maß an Vertrauen ist erforderlich damit das KI-System das Genauigkeitsniveau von 95 % erreicht? Dieses Maß ergibt sich aus der Bewertung des Risikos das inkorrekte Output-Werte verursachen Bei statistischen Analysen wird dieses Vertrauen durch das Konfidenzniveau ausgedrückt Es gibt die Wahrscheinlichkeit an dass ein Output-Wert innerhalb des Konfidenzintervalls liegt also in dem Bereich in dem sich bei gegebener Varianz 95 % aller Output-Werte befinden Je höher das Risiko desto höher muss auch das Vertrauen das Konfidenzniveau sein dass der Zielwert für die Genauigkeit erreicht wird Für die spezifischen Anforderungen eines Systems kann man entsprechende Zielwerte für das Vertrauen festlegen s Tabelle Die statistische Analyse muss dann prüfen ob das gewünschte Konfidenzniveau erreicht wird • Schritt 3 Tests und statistische Analyse Durch Tests wird sichergestellt dass die ermittelten Spezifikationen vom System eingehalten werden Für die Lichtschranke schreibt IEC 61496-2 genaue Prüfverfahren vor Mit kalibrierten Prüfstäben wird das Eindringen ins Schutzfeld simuliert unter verschiedenen Umgebungsund Fehlerbedingungen Besteht das Gerät jede Prüfung gelten die festgelegten Anforderungen als nachgewiesen Für das KI-System gibt es noch keine Norm Generell werden KI-Systeme mit repräsentativen Testdaten zum Beispiel Bildern oder Videosequenzen geprüft die sämtliche in der Systemanalyse identifizierten Szenarien und Fehlerbedingungen abdecken Zusätzlich muss eine statistische Analyse der Testergebnisse durchgeführt werden Diese ergibt beispielsweise dass die KI für die gesamte Stichprobe eine durchschnittliche Genauigkeit von 97 5 % bei einer Varianz von 1 6 % erreicht Für einzelne Teilmengen der Testdaten sind die Genauigkeitswerte annähernd normalverteilt zentraler Grenzwertsatz aus der kumulativen Dichtefunktion dieser Normalverteilung lässt sich die Wahrscheinlichkeit dafür ableiten dass der Genauigkeitswert bei 95 % oder höher Konfidenzintervall liegt also das Konfidenzniveau s Grafik Bei der Sicherheitslichtschranke müssen die Entwickler beispielsweise das Risiko bewerten dass ein Sensor ausfällt oder bei bestimmten Lichtverhältnissen nicht zuverlässig reagiert Bei nicht akzeptablen Risiken müssen sie gegebenenfalls Design Konstruktion oder Vorgaben zur Betriebsumgebung ändern Beim KI-Kamerasystem sind entsprechend die Risiken zu bewerten wenn Objekte nicht korrekt erkannt werden Es kommt aber noch ein weiteres Problem hinzu Im Unterschied zum Sensor wird unser KI-Kamerasystem auch bei absolut