class: center, middle, inverse # Metanormen ## Voraussetzungen für den Einsatz von Künstlicher Intelligenz im Recht Dr. Peter Ebenhoch PMP, Senior Consultant, effectas GmbH, Zug, CH peter.ebenhoch@effectas.com; http://www.peterebenhoch.com DI Dr. Felix Gantner, infolex Rechtsinformatik, 3592 Röhrenbach, AT gantner@infolex.at; http://www.infolex.at .footnote[Internationales Rechtsinformatik Symposium Salzburg 2020] --- class:left .footnote[*Ebenhoch/Gantner: Das Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com – gantner@infolex.at ] ## Entwicklung <div class="left-column"> <h3>Informationstechnologie</h3> <ul> <li>Dateistorage</li> <li>Information Retrieval</li> <li>Vektormodell</li> <li>Big Data</li> <li>Cloud-Computing</li> <li>Virtualisierung</li> <li>...</li> </ul> </div> -- <div class="right-column"> <h3>Künstliche Intelligenz*</h3> <ul> <li>Expert System: Baux</li> <li>Neuronale Netze: Compas System</li> <li>Machine Learning: Victor System</li> <li>Rule based: AMS-Algorithmus</li> <li>...</li> </ul> </div> -- <div class="left-column"> <h3>Welche Bewertungskriterien und Einsatzbedingungen gibt es für den Einsatz von KI im Recht?</h3> </div> --- background-image: url(Erdungsstangen-IMG_20200206_075646906.jpg) --- background-image: url(AutonomeJustiz.png) .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] --- background-image: url(KIimRecht.png) .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] --- background-image: url(tesla.png) --- class: left, inverse .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] # Informationsethische Einsatzkriterien #### 1. Transparente Nutzung _Es muss klar und offengelegt sein, was das System macht und wie es benutzt werden kann (sichtbare Schnittstelle)._ #### 2. Nachvollziehbarkeit – Kontrollierbarkeit und Möglichkeit für jederzeitigen Systemeingriff _Das Verhalten des KI-Systems muss überprüft werden können, im Anlassfall muss der Mensch jederzeit eingreifen können_ #### 3. Diskriminierungsfreiheit und Achtung der Privatsphäre Bei der Bereitstellung von Daten und bei der Nutzung des Systems muss die Privatsphäre umfassend geschützt sein. #### 4. Überprüfbarkeit im Nachhinein Das Verhalten des Systems muss jederzeit transparent überprüft werden können. --- class: left, inverse .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] # Gutachten der dt. Datenethikkommission ## Empfehlungen 1. Menschenzentriertes Design 2. Transparenz, Erklärbarkeit und Nachvollziehbarkeit 3. Nachhaltigkeit, Robustheit, Sicherheit, Vereinbarung mit Grundwerten, Bias-Minimierung, uam. 4. Risikoadaptierter Regelungseinsatz 5. Transparenz und Begründbarkeit staatlicher Entscheidungen 6. Haftungsrelegung analog zur Gehilfen- und Produkthaftung --- class: left, inverse .footnote[FN1: «IT-Pannen und der Ruf nach mehr Personal beim AMS», Der Standard, 22.Oktober 2019, S. 15.] # Rahmenbedingungen für den KI-Einsatz 1. Scope (Anwendungsbereich) 2. Safety Kernel (Begrenzung des Gefahrenpotenzials) 3. Data (Inhalt, Quelle und Umfang der Trainingsdaten) 4. Model (Aufbereitung der Daten, Grenzen des Modells) 5. Transparency (Nachvollziehbare Begründung) 6. Integration (Organisatorische Einbindung des Systems) 7. Don’t trust Updates (Updates sind wie Neuentwicklungen zu testen) > ad #7: "Eine Panne hat es auch beim Algorithmus gegeben: Ebenfalls im Oktober sind falsche Parameter bei einem Update eingespielt worden. Bei 30.000 Arbeitssuchenden kam es daher zu einem Fehler bei der Berechnung der Jobchancen. Die Sache sei rasch entdeckt und behoben worden, heißt es beim AMS. Um solche Fehler künftig zu vermeiden, werde der Algorithmus aktuell getestet." <sup>1</sup> --- class: left, inverse .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] ## Analog anwendbare technische Normen & Standards 1/2 #### ISO/IEC 27005 Risikomanagement - Schützenswerte Güter (Assets), die Risikowahrscheinlichkeit, Verletzlichkeit, Auswirkungsgrad werden analyisiert. - Risikomassnahmen (Abwehr, Reduktion, Verlagerung, Inkaufnahme) werden festgelegt. #### ISO/IEC 27001 Informationssicherheits-Managementsystem - Auf Basis einer Risikobewertung werden in einer Organisation oder für ein System Massnahmen installiert. - Es wird ein Managementsystem zur fortlaufenden Beobachtung und Anpassung der Massnahmen installiert. - Es wird durch Schulungen und Engagement das Bewusstsein über Gefahren und Massnahmen bei den Betroffenen geschaffen. - Für organisatorisch abgesicherte Risiken wird Begleitkommunikation geschaffen und werden Prozesse angepasst. --- class: left, inverse .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] ## Analog anwendbare technische Normen & Standards 2/2 #### ISO 9241 Ergonomics of Human System Interaction - Usability bedeutet nicht nur einfache Bedienbarkeit, sondern auch die Sicherstellung, dass das System das macht, was erwartet wird und zurecht erwartet werden konnte. #### IEC 82079-1-2019 Nutzungsinformation für Produkte und Systeme - Benutzer eines Produkt oder Systems müssen die für die Bedienung dem Verwendungszweck entsprechende Informationen erhalten. - Die Information muss verständlich, präzise, prägnant und verlässlich sein. - Die Information muss im jeweiligen Anwendungskontext direkt anwendungsunterstützend verfügbar gemacht werden. --- class: left, inverse # Standardisierungsmethodik ### Getrennte Bewertung der KI-Anwendung und des geplanten Einsatzzwecks Es sollen Anwendungsprofile gebildet und die jeweiligen Risiken bewertet werden. _Eine Dokumentrecherche ist weniger entscheidungskausal als inhaltliche Entscheidung oder Bewertung._ ### Semiquantifizierte Kriterien Einzelne massgebliche Aspekte wie KI-Modell, Daten, Algorithmus, Schnittstellen können jeweils qualitativ bewertet und – ähnlich wie bei Energielabeln – auf Skalen numerisch abgebildet werden. .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] --- class: left, inverse # Zusammenfassung 1. Der Einsatz von KI im Recht muss reguliert werden. 2. Existierende technische Normen können problemlos analog angewendet werden. 3. Es muss genau zwischen technischen Eigenschaften und kontextbezogenen unterschieden werden. 4. Wie bei Maschinen und Anlagen muss die sichere Bedienbarkeit zur Zielerreichung sichergestellt werden. 4. Bewertungsskalen erlauben die regelungszielrelevante Einordnung von KI-Systemen, ohne auf deren technische Besonderheiten oder Implementationsdetails Rücksicht nehmen zu müssen. → Es besteht Handlungsbedarf, da diese Technologien leise die rechtliche Autonomie und die Rechtmässigkeit unseres Rechtssystems unterlaufen. .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] --- ### Referenzen .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] - Angwin, Julia/Larson, Jeff/Mattu, Surya/Kirchner, Lauren, Machine Bias, [ProPublica](https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing), 23.5.2016. - Bendel, Oliver, [Handbuch Maschinenethik](https://link.springer.com/referencework/10.1007/978-3-658-17484-2) (aufgerufen am 20. Oktober 2019). - Beuth, Patric/Breithut, Jörg, Patienten-Software benachteiligt Millionen Afroamerikaner, [Spiegel Online](https://www.spiegel.de/netzwelt/apps/usa-algorithmus-benachteiligt-afroamerikanische-patienten-a-1293382.html) (aufgerufen am 31.Oktober 2019). - Bundesregierung Deutschland, [Nationale KI-Strategie](https://www.ki-strategie-deutschland.de/home.html?file=files/downloads/Nationale_KI-Strategie.pdf) (aufgerufen am 20. Oktober 2019). Council of Europe, European Commission for the efficiency of justice (CEPEJ),[European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their environment](https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c) (aufgerufen am 30. Oktober 2019). - Da Silva Et. Al., [Document type classification for Brazil’s supremecourt using a Convolutional Neural Network](https://cic.unb.br/~teodecampos/ViP/correiaDaSilva_etal_icofcs2018.pdf) (aufgerufen am 30. Oktober 2019). - Deutsche Kommission für Elektrotechnik, [Normungsroadmap KI](https://www.dke.de/de/themen/kuenstliche-intelligenz) (aufgerufen am 20. Oktober 2019). - Dt. Bundesministerium für Justiz und für Verbraucherschutz, [Datenethikkommission, ]Gutachten der Datenethikkommission](https://www.bmjv.de/SharedDocs/Downloads/DE/Themen/Fokusthemen/Gutachten_DEK_DE.pdf) (aufgerufen am 27. Oktober 2019). - Ebenhoch, Peter, How to regulate Artificial Intelligence, https://www.peterebenhoch.com/en/blog/HowToRegulateArtificialIntelligence (aufgerufen am 20. Oktober 2019). - Eubanks, Virginia, Automating Inequality, St. Martin’s Press, New York 2015. European Group on Ethics in Science and New Technologies, [Statement on artificial intelligence, robotics and autonomous systems, Final Report](http://ec.europa.eu/research/ege/pdf/ege_ai_statement_2018.pdf). (aufgerufen am 20. Oktober 2019), 2018. - Floridi et. al. AI4People, [An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations](https://www.researchgate.net/publication/329192820_AI4People-An_Ethical_Framework_for_a_Good_AI_Society_Opportunities_Risks_Principles_and_Recommendations/link/5bfc3476299bf10737f991db/download) (aufgerufen am 20. Oktober 2019), Erscheinungsjahr (wenn vorhanden). - Grupo de Pesquisa e Aprendizado de Máquina, Victor Project Homepage, http://gpam.unb.br/victor/ (aufgerufen am 30. Oktober 2019). - Hammele/Grimm, Künstliche Intelligenz. Was bedeutet sie für die Autonomie des Menschen? In: Grimm/Keber/Zöllner (Hrsg), Digitale Ethik – Leben in vernetzten Welten, Reclam, Leipzig, 2019, S. 153-170. - Hubbard, Douglas W., How to Measure Anything, Wiley, 2014. - Krempl, Stefan, Datenethik-Kommission: [Verbot von De-Anonymisierung und Profilbildung](https://www.heise.de/newsticker/meldung/Datenethik-Kommission-Verbot-von-De-Anonymisierung-und-Profilbildung-4566788.html) (aufgerufen am 30. Oktober 2019). - Mantelero, Alessandro, Polytechnic University of Turin, https://rm.coe.int/artificial-intelligence-and-data-protection-challenges-and-possible-re/168091f8a6 (aufgerufen am 30. Oktober 2019). - Molavi, Ramak/Erbguth, Jörn, Einsatz maschinellen Lernens in der Justiz: Ethische und technische Aspekte, ITRB, 2019, Heft 7, S. 160–165. - O‘Neil, Cathy, Angriff der Algorithmen, Carl Hanser Verlag, München 2017. - Renda, Andrea, Artificial Intelligence, Ethics, governance and policy challenges, Report of a CEPS Task Force, https://www.ceps.eu/wp-content/uploads/2019/02/AI_TFR.pdf (aufgerufen am 30. Oktober 2019). - The Law Library of Congress, [Regulation of Artificial Intelligence in Selected Jurisdictions](https://www.loc.gov/law/help/artificial-intelligence/regulation-artificial-intelligence.pdf) (aufgerufen am 30. Oktober 2019). - Wiegerling, Klaus, Philosophie intelligenter Welten, Wilhelm Fink, Paderborn 2011. --- class: inverse .footnote[Ebenhoch/Gantner: Metanormen, IRIS 2020 – peter.ebenhoch@effectas.com – gantner@infolex.at ] # Kontakt ### Neu (relaunched): * https://rechtsinformatik.at * https://ebenhoch.ch ### Web * http://www.infolex.at * https://www.peterebenhoch.com ### Kontakt * Dr. DI Felix Gantner, Bei der Kapelle 7, A-3592 Röhrenbach, gantner@infolex.at * Dr. Peter Ebenhoch, Loretostrasse 3, CH-6300 Zug, peter.ebenhoch@effectas.com