Leitlinien für KI in sicherheitskritischen Anwendungen

Klick auf das Bild zum Vergrößern

Die Mobilität der Zukunft wird immer autonomer. Künstliche Intelligenz ist dabei eine Schlüsseltechnologie. Durch ihren Einsatz entstehen jedoch neue Gefahren, die entsprechend abgesichert werden müssen.

Bestehende Sicherheitskonzepte stoßen hierbei an ihre Grenzen. Die "Leitlinien für KI in sicherheitskritischen Anwendungen" sollen einen wesentlichen Beitrag zu einer sicheren und vollautonomen Mobilität leisten.

Prinzipien der Leitlinien

Dieser Leitfaden enthält eine Liste von Grundsätzen, welche die sichere Entwicklung und den Einsatz von Künstlicher Intelligenz ermöglichen sollen. Die Grundsätze befassen sich mit KI-spezifischen Herausforderungen und Unzulänglichkeiten und enthalten Empfehlungen zur Gewährleistung der Sicherheit eines Systems.

Die Grundsätze sind in vier Kategorien unterteilt - "Funktionsspezifikation", "Architekturentwurf", "Implementierungsmethoden", "Training, Test und Validierung" -, die sich auf die verschiedenen Aspekte des Entwicklungsprozesses eines Systems mit KI-Komponenten beziehen.

Leitlinien für KI in sicherheitskritischen Anwendungen

Funktionsspezifikation

1 - Spezifiziere das beabsichtigte Komponenten- und Systemverhalten

Um das Verhalten eines KI-basierten Systems oder einer Komponente zu verifizieren und zu validieren, muss das beabsichtigte Verhalten der Komponente und des Systems klar definiert sein. Es sind Unterschiede in der Spezifikation des Verhaltens auf Komponenten- und Systemebene zu beachten. [4]

2 - Definiere den Einsatzbereich

Um ein sicheres Verhalten von KI-basierten Komponenten zu gewährleisten, muss ihr Einsatzbereich klar spezifiziert und eingegrenzt werden. Außerhalb liegende Eingaben können ein gefährliches Verhalten eines Neuronales Netz verursachen. Es ist zu definieren, wie sich das KI-basierte System verhalten soll, wenn es sich außerhalb des Einsatzbereichs befindet. [5], [6], [7]

3 - Führe eine für den Einsatzbereich spezifische Gefahren- und Risikoanalyse durch

Bei der Entwicklung von sicherheitskritischen KI-Anwendungen ist eine Risikobewertung erforderlich, um die Auswirkungen auf Leib und Leben, Eigentum und finanzielle Vermögenswerte, die Umwelt, die Grundrechte und ethische Grundsätze zu untersuchen. Für verschiedene Branchen muss die Risikobewertung auf der Grundlage bestehender Normen erfolgen. Es ist wichtig zu prüfen, ob diese Normen für KI-Technologien ausgelegt sind. [1], [2], [3], [39], [40]

Architekturentwurf

4 - Verwende KI nur wenn notwendig

Da der Einsatz von KI-Technologie bereits eine Bedrohung für die Sicherheit darstellt, ist eine KI-Komponente nur dann einzusetzen, wenn dies notwendig ist und wenn sie der Aufgabe im Vergleich zu einer nicht KI-basierten Lösung eindeutig überlegen ist. [8], [9]

5 - Implementiere KI nur auf Komponentenebene

Die Annahmen über stabile hierarchische Architekturen von Komponenten, wie sie z. B. in der ISO 26262 für automatisierte Fahrsysteme vorgeschlagen werden, sind beizubehalten, und KI ist ausschließlich auf der Komponentenebene zu verwenden. Dies gilt auch für nicht-automobile Anwendungen. End-to-End-Lösungen sind zu vermeiden, da sie im Hinblick auf die Verifizierungs- und Validierungsmöglichkeiten weniger zuverlässig sind. Auf diese Weise kann der Einfluss auf das Verhalten des Gesamtsystems begrenzt werden und KI-Sicherheitsprobleme treten nur auf der Komponentenebene auf, die von einer höheren Instanz überwacht und kontrolliert werden kann. [1], [3], [10], [4]

6 - Verhindere zu komplexe KI Teilaufgaben

Es ist die Systemarchitektur mit Zuweisung der Zuständigkeiten der Komponenten auf der Grundlage der Gesamtsystemanforderungen zu definieren. Die Teilaufgaben, die sich für eine KI-basierte Lösung eignen, müssen identifiziert werden. Der Umfang einer einzelnen KI-basierte Komponente muss im Hinblick auf die Leistungserwartungen und das Verhalten des Gesamtsystems angemessen sein. Wenn die Sicherheitsanforderungen nicht von der KI-Einheit selbst erfüllt werden können, kann eine Lösung in der Systemarchitektur gefunden werden. [11], [12]

7 - Wende Strategien zu Redundanz an

Um die Robustheit von KI-Komponenten zu erhöhen, wird die Einführung von Redundanzstrategien empfohlen. Ein gängiger Ansatz sind Ensemble-Strategien. Diese beruhen klassischerweise auf dem unabhängigen Training mehrerer Klassifikatoren und der anschließenden Kombination der resultierenden Modelle auf der Grundlage ihrer Leistung. Auf diese Weise können die Vorteile verschiedener Architekturen kombiniert werden. [13], [14], [15], [16], [35], [36], [37], [38]

8 - Setze eine unabhängige Sicherheitsüberwachung ein

Zur Überprüfung der Funktionalität und Sicherheit des Systems ist eine unabhängige Überwachungsinstanz einzurichten. Die Überwachungsinstanz darf im Hinblick auf die Überprüfung des Systems mit keiner anderen Komponente logisch verbunden sein. Sie muss jedoch Kenntnisse über die spezifizierte vorgesehene Funktionalität der Komponente, die für die Aufrechterhaltung eines sicheren Systemverhaltens vorgeschriebene Datenmenge haben und die Fähigkeit besitzen, das System auf Sicherheitsstandards und - anforderungen zu überprüfen. Es sind Maßnahmen im Falle von Verstößen zu definieren. [4], [17], [40]

Implementierungsmethoden

9 - Garantiere ausschließlich regelbasierte Entscheidungen

Neuronale Netze können nicht vollständig spezifiziert werden und haben kein deterministisches Verhalten. Regelbasierte Ansätze sind in den meisten Fällen leichter zu kontrollieren und sollten daher für die Entscheidungsfindung obligatorisch sein. Allerdings kann ein von der KI berechneter Ausgang als Unterstützung verwendet werden. [4], [18], [19]

10 - Verwende geeignete KI Ansätze für jede spezifische Aufgabe

Der spezifische KI-Ansatz, z. B. die Architektur des Neuronales Netz, sollte für jede spezifische Aufgabe fundiert ausgewählt werden, um ein Höchstmaß an Sicherheit, Zuverlässigkeit und angemessener Leistung zu gewährleisten. [1], [2], [20], [21]

11 - Basiere die Implementierung auf etablierte Programmierleitlinien

Wenn es im Bereich der Zielanwendung keine Kodierungsrichtlinien für KI-basierte Systeme gibt, ist die Implementierung an etablierten Kodierungsrichtlinien für konventionelle Programmierung zu orientieren. [22], [23]

Training, Test and Validierung

12 - Definiere Qualitätsmaßstäbe an das Training, den Test und die Validierung

Die Trainings-, Validierungs- und Testdaten bestimmen die Leistung und Sicherheit einer KI-Komponente. Es muss sichergestellt werden, dass die Daten den realen Anwendungsbereich repräsentieren, indem Qualitätskriterien angesetzt werden, die eine unvoreingenommene Bewertung ermöglichen. Top-down technische Sicherheitsanforderungen bestimmen die obligatorischen Qualitätsmaßstäbe. Die Datenqualität sollte über ein Datenqualitätsmanagement mithilfe eines DQM-Prozesses sichergestellt werden. Die Daten sollten unterteilt werden, sodass ungefähr 70% Trainingsdaten, 20% Validierungsdaten und 10% Testdaten vorhanden sind. [24], [25]

13 - Definieren Validierungsmetriken für jede Aufgabe

Der Lernprozess eines Neuronales Netzes basiert auf der Definition eines geeigneten Satzes von Metriken und einer geeigneten Gewichtung, die für jede spezifische Aufgabe optimiert werden muss. Bei sicherheitskritischen Anwendungen werden diese Metriken aus den technischen Sicherheitsanforderungen abgeleitet und können beispielsweise die Genauigkeit eines Modells oder seine Zuverlässigkeit bei Vorhersagen sein, welche stark mit der Sicherheit des Systems korreliert. [26], [27], [28], [13]

14 - Führe eine unabhängige Sicherheitsbewertung durch

Eine sicherheitskritische Anwendung, bei der KI zum Einsatz kommt, sollte vor ihrer Markteinführung einer Sicherheitsbewertung durch einen unabhängigen Dritten unterzogen werden. [29], [30], [1]

15 - Entwickle eine Wartungsstrategie

KI-basierte Systeme reagieren sehr empfindlich auf Änderungen der Eingabedaten. Eine systematische Strategie für die kontinuierliche Wartung ist erforderlich, um den Leistungsabfall durch die Verteilungsverschiebung und ihre Auswirkungen auf die Sicherheit des Systems zu verhindern. Um ein KI-basiertes System instand zu halten sollten zwei Instandhaltungsstrategien implementiert werden. Einerseits eine reaktive und präventive Instandhaltung, welche Reaktionen auf ein ausgefallenes KI-System definiert. Andererseits eine vorausschauende und adaptive Strategie mit dem Fokus den optimalen Zeitpunkt für Instandhaltungsmaßnahmen zu definieren. [13], [31]

Sources

[1] AutoDrive_SC7_Intermediate_Report, Internal research document.

[2] N. Papernot and I. Goodfellow, "www.cleverhans.io," 14 June 2017. [Online]. Available: www.cleverhans.io/security/privacy/ml/2017/06/14/verification.html. [Accessed January 2022].

[3] R. Salay, R. Queiroz and K. Czarnecki, "arxiv.org," 2017. [Online]. Available: arxiv.org/abs/1709.02435. [Accessed January 2022].

[4] B. Kaiser, "www.researchgate.net," 2017. [Online]. Available: www.researchgate.net/publication/320472118, 2017. [Accessed January 2022].

[5] D. Amodei, C. Olah, J. Steinhardt, P. Christiano, J. Schulman and D. Mane, "arxiv.org," 2016. [Online]. Available: arxiv.org/abs/1606.06565. [Accessed January 2022].

[6] C. W. Lee, D. E. G. Nasif Nayeer, A. Agrawal and B. Liu, "ieeexplore," 08 January 2021. [Online]. Available: ieeexplore.ieee.org/abstract/document/9304552. [Accessed 30 March 2022].

[7] S. Fort, J. Ren and B. Lakshminarayanan, "arxiv.org," 29 July 2021. [Online]. Available: arxiv.org/abs/2106.03004. [Accessed 30 March 2022].

[8] N. Duggal, "simplilearn.com," 03 March 2022. [Online]. Available: www.simplilearn.com/advantages-and-disadvantages-of-artificial-intelligence-article. [Accessed 30 March 2022].

[9] R. Freeman, "towardsdatascience," 24 July 2020. [Online]. Available: towardsdatascience.com/when-to-not-use-ai-or-use-it-based-on-my-experience-abb58c063aba. [Accessed 30 March 2022].

[10] S. M. Grigorescu, M. Glaab and A. Roßbach, "www.elektrobit.com," 2017. [Online]. Available: www.elektrobit.com/newsroom/read-new-techpaper-chances-challenges-using-machine-learning-highly-automated-driving/. [Accessed November 2021].

[11] E. Mueller, "medium.com," 27 May 2021. [Online]. Available: medium.com/capital-one-tech/end-to-end-models-for-complex-ai-tasks-8c34080145cd. [Accessed 30 March 2022].

[12] I. Sydorenko, "labelyourdata.com," 04 May 2021. [Online]. Available: labelyourdata.com/articles/how-to-choose-a-machine-learning-algorithm. [Accessed 30 March 2022].

[13] T. Sämann, P. Schlicht and F. Hüger, "arxiv.org," 2020. [Online]. Available: arxiv.org/abs/2002.08935. [Accessed January 2022].

[14] E. Lutins, "towardsdatascience.com," 2 August 2017. [Online]. Available: towardsdatascience.com/ensemble-methods-in-machine-learning-what-are-they-and-why-use-them-68ec3f9fef5f. [Accessed November 2021].

[15] C. Lundquist, "www.diva-portal.org," 2011. [Online]. Available: www.diva-portal.org/smash/record.jsf. [Accessed January 2022].

[16] J. Kocic, N. Jovicic and V. Drndarevic, "ieeexplore.ieee.org," 2018. [Online]. Available: ieeexplore.ieee.org/abstract/document/8612054. [Accessed January 2022].

[17] M. H. Osman, S. Kugele and S. Shafaei, "ieeexplore.org," 02 January 2020. [Online]. Available: ieeexplore.ieee.org/abstract/document/8945611. [Accessed 30 March 2022].

[18] R. Smith, "becominghuman.ai," 14 July 2020. [Online]. Available: becominghuman.ai/the-key-differences-between-rule-based-ai-and-machine-learning-8792e545e6. [Accessed November 2021].

[19] J. M. Carew, "searchenterpriseai.techtarget.com," 23 July 2020. [Online]. Available: searchenterpriseai.techtarget.com/feature/How-to-choose-between-a-rules-based-vs-machine-learning-system. [Accessed November 2021].

[20] G. D. Luca, "www.baeldung.com," 24 August 2020. [Online]. Available: www.baeldung.com/cs/neural-networks-hidden-layers-criteria. [Accessed November 2021].

[21] A. Tch, "towardsdatascience.com," 14 August 2017. [Online]. Available: towardsdatascience.com/the-mostly-complete-chart-of-neural-networks-explained-3fb6f2367464. [Accessed November 2021].

[22] H. M. Limited, "Misra.org," 2020. [Online]. Available: www.misra.org.uk/app/uploads/2021/06/MISRA-Compliance-2020.pdf. [Accessed 04 April 2022].

[23] M. Barr, "barrgroup.com," 2018. [Online]. Available: barrgroup.com/sites/default/files/barr_c_coding_standard_2018.pdf. [Accessed 05 April 2022].

[24] P. Gupta, "towardsdatascience.com," 5 June 2017. [Online]. Available: towardsdatascience.com/cross-validation-in-machine-learning-72924a69872f. [Accessed November 2021].

[25] W. Koehrsen, "towardsdatascience.com," 28 January 2018 . [Online]. Available: towardsdatascience.com/overfitting-vs-underfitting-a-complete-example-d05dd7e19765. [Accessed November 2021 ].

[26] S. Y. e. al, "arxiv.org," [Online]. Available: arxiv.org/abs/1803.04792.

[27] A. Kumar, "dzone.com," 28 January 2018. [Online]. Available: dzone.com/articles/machine-learning-validation-techniques. [Accessed November 2021 ].

[28] V&V of NN for Aerospace Systems.pdf, Internal research document.

[29] T. A. LAB, "www.tuev-verband.de," 2021. [Online]. Available: www.tuev-verband.de. [Accessed January 2022].

[30] E. Kommission, "op.europa.eu," 2019. [Online]. Available: op.europa.eu/de/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1. [Accessed Januar 2022].

[31] S. H. S. Bhasker, M. Srivastava and K. Yeturu, "doi.org," 2021. [Online]. Available: doi.org/10.36227/techrxiv.14565078.v1. [Accessed January 2022].

[32] J. Brownlee, "machinelearningmastery.com," 6 August 2019. [Online]. Available: machinelearningmastery.com/why-training-a-neural-network-is-hard/. [Accessed November 2021].

[33] T. D. Krafft and K. A. Zweig, "www.vzbv.de," 2019. [Online]. Available: www.vzbv.de/sites/default/files/downloads/2019/05/02/19-01-22_zweig_krafft_transparenz_adm-neu.pdf. [Accessed Januar 2022].

[34] B. J. Taylor, M. A. Darrah and C. D. Moats, "www.spiedigitallibrary.org," 2003. [Online]. Available: www.spiedigitallibrary.org/conference-proceedings-of-spie/5103/0000/Verification-and-validation-of-neural-networks--a-sampling-of/10.1117/12.487527.short. [Accessed January 2022].

[35] P. S. F. H. Timo Sämann, „Strategy to Increase the Safety of a DNN-based,“ 20 02 2020. [Online]. Available: arxiv.org/pdf/2002.08935.pdf. [Zugriff am 2022 11 25].

[36] N. J. V. D. Jelena Kocić, „Sensors and Sensor Fusion in Autonomous Vehicles,“ 20 11 2018. [Online]. Available: ieeexplore.ieee.org/stamp/stamp.jsp. [Zugriff am 2022 11 25].

[37] Tae-Hwy Lee, Aman Ullah and Ran Wang, "Bootstrap Aggregating and Random Forest", 08 01 2019, [Online], Available: economics.ucr.edu/repec/ucr/wpaper/201918.pdf. [Zugriff am 2023 03 24]

[38] E. Lutins, „Ensemble Methods in Machine Learning: What are They and Why Use Them?,“ 02 08 2017. [Online]. Available: towardsdatascience.com/ensemble-methods-in-machine-learning-what-are-they-and-why-use-them-68ec3f9fef5f. [Zugriff am 25 11 2022].

[39] H. Putzer, H. Rueß and J. Koch: Trustworthy AI-based Systemswith VDE-AR-E 2842-61, 2021

[40] M. Trapp & G. Weiss: Towards Dynamic Safety Management for Autonomous Systems, Fraunhofer ESK, München, 2019

[41] S. H. S. Bhasker, M. Srivastava and K. Yeturu: Methods for maintenance of neural networks incontinual learning scenarios, 2021.