Ebenhoch/Gantner – Recht in der KI-Falle

# Das Recht in der KI-Falle

Dr. Peter Ebenhoch PMP, Senior Consultant, effectas GmbH, Zug, CH
    peter.ebenhoch@effectas.com; http://www.peterebenhoch.com

DI Dr. Felix Gantner, infolex Rechtsinformatik, 3592 Röhrenbach, AT
    gantner@infolex.at; http://www.infolex.at
    
.footnote[Internationales Rechtsinformatik Symposium Salzburg 2019]

---
class: left, inverse

![](besen0.png)
--
![](besen1.png)
--
![](besen2.png)
--
![](besen3.png)

---
class: left, inverse

## Walt Disney: Fantasia

![](besen3.png)
--
![](besen4.png)

Nach: Der Zauberlehrling<br/> _von Johann Wolfgang von Goethe_
---

# Einführung
.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

# Künstliche Intelligenz

![KI-Systemtypen](ki-systemtypen.png)

Ansätze zur Implementierung von KI-Systemen:

1. Der regelbasierte Ansatz war in den 1980er Jahren als _Expertensystem_ (XPS) präsent.
2. Der musterbasierte Ansatz ist derzeit als _Machine learning_ bzw. _Deep learning_ (ML/DL) en vogue:
  - Bilderkennung, Objekterkennung, Objektortung, Spracherkennung, Übersetzung, Sprachsynthese
3. Selbstlernende Systeme, die von sich aus neue Algorithmen erstellen, sind lediglich angedacht.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

## Rechtliche Domänenmodellierung

![KI-Systemtypen](ki-systemtypen2.png)

KI-Systeme müssen im Vorhinein kalibriert werden:

1. XPS: Normative Inhalte müssen syntaktisch formalisiert werden.
2. ML/DL: Referenzdaten mit Ergebniszuordnungen werden bereit gestellt.
3. «SLS»: Dem System muss beigebracht werden, wann es die Aufgabe gelöst hat.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

class:left

## Domänenbeschränkung

| Typ     | Kalibrierung             | Schwäche          | Begründung   |
|:-------- |:----------------------| :-------------|:------------|
| Regelbasiert      | Formalisierungs-aufwand | Kann nicht lernen (Closed World)  | ~~inhaltlich normative Referenz~~ Regelreferenz |
| Musterbasiert    | Datenvorbereitung      | - Wahrscheinlichkeit<br/>- keine Sinnerfassung<br/>- fehlende Intentionalität | Keine  (Black Box)|
| Selbstlernend    | ?   | (wie oben) Unvorhersehbarkeit, Sprunghaftigkeit, Willkür | Keine  |

- XPS: Der Formalisierungsaufwand bewirkt eine zeitliche Verzögerung und erzeugt hohe Kosten. Bei geänderter Fachdomäne müssen die Regeln nachgeführt werden. Alleine deshalb kann auf diese Weise so nie Singularität erreicht werden, weil der Aufwand die Welt formal abzubilden, ins Unendliche steigen würde.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

### "Kalibrierte Identifikation" DL/ML

![Bewusstseinsstufen](bewusstseinsstufen.png)

#### Enger Domänenbezug

- Objekte werden nur auf Basis "abgepackter" Intelligenz identifizieren. 
- ML/DL: Niedrige Arbeitskosten sind ein Vorteil (China, Crowdworking).
- KI fehlt Objekt_bewusstsein_.
- KI kann sich nicht mit eigenen Resultaten kalibrieren ("von sich selbst lernen").

#### Unfähigkeit, Inhalte zu verstehen

- Formal-statistische Auswertung von Texten (Vorkommenshäufigkeit, Anordnung)
- z. B. lediglich statistische Auswertung von Urteilen; ohne Bezug auf Inhalte, Argumentation, etc.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

### Natürliche (juristische) Intelligenz
Bedeutung und Situation

![Bewusstseinsstufen](bewusstseinsstufen2.png)

---

# Beschränkungen von "Künstlicher Intelligenz"
.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

class:left

### KI-Beschränkung
## Syntax / Formalisierung

KI-Systeme ...

1. beinhalten lediglich von Menschen abgeleitete Intelligenz als formalisierte Regelwerke;
2. verstehen nichts;
3. können nicht denken;
4. können keine Begründungen für ihre Entscheidungen liefern;
5. sind von sich aus nicht kalibrierungsfähig;
6. arbeiten als IT-Systeme rein syntaktisch;
7. verstehen nicht, was sie tun;
8. können mit Bedeutung und Kontext (Semantik und Pragmatik) nichts anfangen.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

### KI-Beschränkungen
## "Technischer Autismus"

- Semantik kann von KI-Systemen nur als quantifizierte und diskrete Syntax erfasst werden. 
- Die inhaltliche Bedeutung und nicht-diskrete Abstufungen gehen verloren. 
- Die Quantifizierung von Bedeutung bildet nur Korelationen ab, keine tatsächliche oder begriffliche Ursächlickeit.

vgl. dazu:

1. Es gibt analoge Vagheit, die nicht diskret (auf einer Skala) abgebildet werden kann.
2. Sprache ist kein formales System. (Wittgenstein)
3. Formale Systeme sind nie aus sich selbst heraus widerspruchsfrei formulierbar. (Gödel)
4. Beispiel "Der Zauberlehrling" Walt Disney - Fantasia 1940

---
class:left

### KI-Beschränkungen
## Schwarz-weiss Denken

_"Die Gesetze spiegeln also mehr politische Kompromisse wider, sind dadurch komplexer und schwieriger zu digitalisieren. 
Künftig wird man genauer darauf schauen müssen, wie digitalisierungsfreundlich ein Gesetz ist."_
<br/>– Peter Parycek, Der Standard, 2019-02-07

→ Künftig wird man  auch genauer "darauf schauen" müssen, inwiefern und welche Gesetze überhaupt digitalisiert werden sollen.

→ Digitalisierung schränkt potenziell unsere Kompromissfähigkeit und unsere Entscheidungsfreiheit ein.

→ Die Flexibilität der Rechtssprache mag oft nachteilig wirken, sichert aber den gesellschaftlichen Zusammenhalt und ermöglicht demokratisches Handeln.

.footnote[https://derstandard.at/2000097567007/IT-Experte-Digitales-Amt-traegt-noch-Papierlogik-in-sich]

---

class:left

### KI-Beschränkungen
## Folgen

- Reine Mustererkennung als _Musteridentifikation_
- Nur _Wahrscheinlichkeit_ im _Kalibrationskontext_ gesichert
- Sprunghaftes Verhalten in realer Umgebung (black box)

- "Adversarial attacks" sind möglich

![](gibbon-klein.png)

.footnote[Ebenhoch/Gantner: Recht in der 
, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]
---

class:left

### KI-Beschränkungen
## Auswirkungen

<div class="left-column">
  <b>Google's Gorilla (2015)</b>
  <ul>
    <li>Google's Fototagging erkennt Tiere mit Hilfe von KI</li>
    <li>KI taggt schwarze Menschen als Gorillas</li>
    <li>Google kann das Problem nicht lösen, es ist konzeptionell</li>
    <li>Google schaltet die Tagging-Option Gorilla ab</li>
    <li>Hacking einfach möglich</li>
   </ul>
 <img href="gibbon.png"></img> 
</div>

<div class="right-column">
  <b>Uber's Tote (19.03.2018)</b>
  <ul>
     <li>Uber's KI erkennt Objekt auf der Fahrbahn</li>
     <li>Uber's KI deutet es als unbeachtlich, z. B. als wehenden Plastiksack </li>
     <li>Uber's KI verursacht den Tod von Elaine Herzberg</li>
     <li>Der "nicht-intelligente" Auffahrschutz des Volvo war zuvor abgeschaltet worden</li>
</div>

.footnote[https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai ]

---
class:left

## Funktionalismus vs. Intentionalität

- KI betrachtet Intelligenz lediglich als formales System, das bei bestimmten Eingaben bestimmte Ergebnisse liefert.
- "Denken" und "Intelligenz" sind demnach unbabhängig von der "Hardware" (z. B. dem Menschen und seinem Gehirn).

_Block_ kritisierte das wie folgt:

Angenommen, ich kann in der Wüste von Arizona Millionen Bierdosen analog zum menschlichen Gehirn verknüpfen. Sie liefern auf bestimmte Fragen sinnvoll Antworten zurück.

_Ist dieses System jetzt intelligent? Hat es gar Bewusstsein?_

<br/>
_Searle_  bezweifelt das mit Hinweis auf fehlende Intentionalität als fehlende Eigenwahrnehmung und Verstand.

Er bringt das Beispiel des chinesischen Zimmers, um nachzuweisen, dass Computer durch Ausführen eines Programmes nie Bewusstsein erlangen können.

---
class:left

### Juristische Objektivität durch KI?
#### Was ist "Objektivität" eigentlich?

- Objektivität ist eine Strategie, um Akzeptanz herzustellen.
- Der Begriff der Objektivität ist mehrdeutig.
  - Unvoreingenommenheit und Nachvollziehbarkeit
  - Wertefreiheit
  - Quantifizierbarkeit 
- Objektivität ist nicht absolut sondern kontextgebunden.
- Objektivität setzt Subjektivität und Empathie voraus.
- Nur Menschen können objektiv sein.

_Die Rechtswissenschaft ist eine Methode, um rechtliche und sozial akzeptierte Objektivität und Vertrauen durch Nachvollziehbarkeit, Begründungspflicht, Transparenz und einer Werteorientierung zu produzieren und sicherzustellen._

- Objektivität wird heute oft als Wertefreiheit und diskrete Quantifizierbarkeit missverstanden. 
- Unter diesen Prämissen wird der Einsatz von KI zu einer semantischen Entleerung führen und die Grundpfeiler des Rechts untergraben.

---
class:left

## Juristische Objektivität durch KI 
### ... ist nicht möglich.

KI scheitert gleich aus mehreren Gründen daran, juristisch objektiv sein zu können:

1. KI setzt von Menschen entwickelte Algorithmen und Daten ein. Sie hat deshalb grundsätzlich eine subjektive Voreinstellung. Eine objektive KI als quantifizierte KI müsste selber Algorithmen und Daten erstellen. Davon ist die KI freilich ganz weit entfernt   (Dreamer-Discriminator Ansatz).
2. KI fehlt Eigen- und Fremdwahrnehmung, sie kann nicht denken und ist nicht emphatisch. Entsprechend kann KI objektiv und subjektiv erst gar nicht unterscheiden.
3. Da KI weder inhaltlich noch kontextgebunden agieren kann, kann sie weder auf Einwände Bezug nehmen noch situativ handeln und Objektivität herstellen.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

## Mikromanagement durch "Objektivität"

#### Falls KI als wertfreie, quantitative Repräsentation verstanden wird:

- Ansatz für quantitative Kontrolle aller Justizvorgänge
- Abschaffung jeder inhaltlich juristisch denkenden Tätigkeit

---
class: inverse, middle

# Auswirkungen

---
class: left

# KI-Praxis

Compas — System zur Vorhersage der Rückfallswahrscheinlichkeit

.small[
The first time Paul Zilly heard of his score — and realized how much was riding on it — was during his sentencing hearing on Feb. 15, 2013, in court in Barron County, Wisconsin. Zilly had been convicted of stealing a push lawnmower and some tools. The prosecutor recommended a year in county jail and follow-up supervision that could help Zilly with “staying on the right path.” His lawyer agreed to a plea deal.

But Judge James Babler had seen Zilly’s scores. Northpointe’s software had rated Zilly as a high risk for future violent crime and a medium risk for general recidivism. _“When I look at the risk assessment,”_ Babler said in court, _“it is about as bad as it could be.”_

Then Babler overturned the plea deal that had been agreed on by the prosecution and defense and imposed two years in state prison and three years of supervision.
]

]

---
class: left

## Rechtliche Algorithmen als Geschäftsgeheimnis

Das Unternehmen, das __Compas__ anbietet, betrachtet die Formel als Geschäftsgeheimnis:

_“The key to our product is the algorithms, and they’re proprietary”_, one of its executives said last year.

_“We’ve created them, and we don’t release them because it’s certainly a core piece of our business.”_

---

# Einsatzbereiche

* Abbildung von Rechtsnormen

* Unterstützung bei der Interpretation unbestimmter Rechtsbegriffe/statistische Prognosen

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

# Probleme

* (Fast) keine Daten – zumindest bei Normen und Entscheidungen
* Code/Statistik-Modell ist Interpretation
* Zeitliche Änderungen (von Rechtsbasis und des sozialen Kontexts) machen Modelle und Daten ungültig
* Falsche Gewichtung zeitlich älterer Daten – Modelle sind rückwärtsgewandt stabil

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

## Notwendige Transparenz

# Algorithmen und Modelle müssen offengelegt werden

- Algorithmen und Modelle müssen erläutert werden
- Der Einsatzbereich der Algorithmen und Modelle muss beschrieben werden – ```Compas``` funktioniert für 'Schwerkriminelle'

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class: left

# Scheintransparenz
![AMS-Formel](amsformel.png)

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class: left

# Scheintransparenz (2)
![AMS-Formel](amsformel2.png)

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

# Grundlegende Änderung der Verfahrenssituation

- “Macht der Computer” durch Scheinobjektivität
- KI darf nicht “Berater” der entscheidenden Person sein
- KI-Ergebnisse sind wie Sachverständigengutachten zu behandeln
<br/> → Sie müssen für Parteien einsehbar, verständlich und kritisierbar sein.

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

# Das Recht in der KI-Falle

1. Sparzwang kürzt juristisches Know-how durch "kalibrierte Identifikation".
2. Die soziale Integrationskraft und Adaptionsfähigkeit des Rechts durch Kompromissfindung, Einzelfallbezug, wertekonforme Berücksichtigung neuer Aspekte, Verhandlungsführung, Dialogfähigkeit schwindet.
3. Menschliche Intelligenz muss gegen automatisierte Sturheit ankämpfen.
4. Ausgaben für die Ausbildung und die Anwendung von juristischem Sachverstand werden zu Gunsten von KI gekürzt.
5. Menschliche Handlungsoptionen werden durch kontextferne Algorithmen eingeschränkt, berechtigte Ansprüche und Einwände verhallen unverstanden von automationsunterstützten Systemen.
6. _Code is Law_: An die Stelle des Rechts tritt der faktische Vorrang der KI, für die niemand mehr zuständig ist.
7. KI-Fehler werden als unvermeidbar dargestellt, obwohl Menschen und Firmen davon profitieren, aber nicht dafür haften.
.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---
class:left

# Sprachtrübungen (positives Framing von KI)

- betreutes Lernen → Betreuen und Lernen können  nur Menschen → _Einlesen von Referenzdaten_
 - KI "interpretiert" falsch → Interpretieren können nur Menschen
 - künstliche Intelligenz → es wird menschliche Intelligenz maschinenlesbar gemacht →_parasitäre Intelligenz_ oder _kalibrierte Identifikation_

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]

---

– The Muse, Simulation Theory (2018)

---

## Referenzen

- Der Sinn des Denkens, Markus Gabriel
- Objektivität, Stefan Graukroger
- https://www.heise.de/tr/artikel/KI-schickt-Menschen-faelschlich-ins-Gefaengnis-4309742.html
- https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
- Xiaoyong Yuan, Pan He, Qile Zhu, Xiaolin Li∗, Adversarial Examples: Attacks and Defenses for Deep Learning, arXiv:1712.07107v3

Web

* http://www.infolex.at
* http://www.peterebenhoch.com/ki/ki-falle.html

Kontakt

* Dr. DI Felix Gantner, Bei der Kapelle 7, A-3592 Röhrenbach, gantner@infolex.at
* Dr. Peter Ebenhoch, Loretostrasse 3, CH-6300 Zug, peter.ebenhoch@effectas.com

.footnote[Ebenhoch/Gantner: Recht in der KI-Falle, IRIS 2019 – peter.ebenhoch@effectas.com –	 gantner@infolex.at  ]