Guide on the use of AI-based tools by lawyers and law firms in EU

Im Rahmen der Stakeholder Conference der EU-Kommission Judicial training: the right skills to embrace the digitalisation of justice

Am 31. März 2022 hat der Rat der Europäischen Anwaltschaften (CCBE) zusammen mit der European Lawyers Foundation einen Leitfaden über die Nutzung von KIbasierten Werkzeugen durch Anwälte und Kanzleien in der EU veröffentlicht. Dieser Leitfaden war das Ergebnis eines von der EU kofinanzierten Projekts namens Artificial Intelligence for Lawyers (AI4Lawyers), das im April 2020 startete. Alle Projektunterlagen, einschließlich des Leitfadens, sind unter https://ai4lawyers.eu/ verfügbar.

Peter Homoki | Rechtsanwalt, | Homoki Ügyvédi Iroda | www.homoki.net
Übersetzung aus dem Englischen | Dr. Astrid Auer-Reinsdorff |
see original text below

BESONDERHEITEN DER EU-RECHTSMÄRKTE

Sowohl das Projekt als auch der Leitfaden konzentrierten sich auf kleine Anwaltskanzleien: Im Gegensatz zum Vereinigten Königreich wird der Rechtsmarkt in der EU von kleinen Kanzleien beherrscht. Dies gilt sowohl für die Anzahl der Kanzleien in diesem Sektor als auch für ihr wirtschaftliches Gewicht: 71 % aller Beschäftigten im Rechtsdienstleistungssektor arbeiten in Kanzleien mit weniger als zehn Mitarbeitern, und auch die Umsatzdaten zeigen ähnliche Ergebnisse (53 %).1Einzelheiten dazu finden Sie unter http://ai4lawyers.eu/wp-content/uploads/2022/03/Overview-of-the-average-state-of-the-art-ITcapabilities-in-the-EU.pdf, S. 9. Dieser Unterschied hat wichtige Konsequenzen. Kleine Kanzleien haben eine flache Organisationsstruktur und knappe IT-Budgets. IT-Tools, die für größere Organisationen entwickelt wurden, haben einen anderen Schwerpunkt und eine andere Funktionalität als solche für kleine Kanzleien. Ferner fehlt es kleinen Kanzleien oft an geeigneter IT-Unterstützung und sie haben nur begrenzte Ressourcen für individuelle Entwicklungen.
Die Unterschiede in den Sprachen und Rechtsordnungen wirken sich noch stärker auf die KI-Tools aus als das Budget einer Kanzlei. Große Sprachmodelle (Large Language Models, LLMs) dienen als Basismodell für viele Tools zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), die Anwälte zur Automatisierung ihrer Arbeitsprozesse einsetzen. Allerdings müssen diese Modelle, wie der Name schon sagt, auf einer enormen Menge von Textdaten (Korpora) aufgebaut werden. Aber nicht alle Sprachen in der EU verfügen über die gleiche Menge und Qualität an Textressourcen, und die bekanntesten Sprachmodelle werden nicht proportional auf verschiedene Sprachen trainiert. So wurde z.B. GPT-3 zu 92 % auf einem englischsprachigen Korpus trainiert, zu 1,67 % auf Deutsch und nur mit ein paar Promille auf den meisten anderen Sprachen.2https://github.com/openai/gpt3/blob/master/dataset_statistics/languages_ by_character_count.csv. Dennoch zeigen diese multilinguistischen Modelle überraschende Fähigkeiten: Sie sind in der Lage, Sprachen zu übersetzen, für die sie trainiert wurden, ohne dass sie explizit für die Übersetzung trainiert wurden. Aber die meisten Fähigkeiten beruhen immer noch auf den LLMs, die auf einer bestimmten Sprache „vortrainiert“ sind, weshalb man nicht erwarten kann, dass diese LLMs in den Landessprachen denselben Funktionsumfang und dieselben Fähigkeiten aufweisen wie in Englisch.

„Unabhängig davon, wie harmonisiert das EU-Recht ist, unabhängig von der Freiheit der Rechtsanwälte, grenzüberschreitende Dienstleistungen zu erbringen, wissen wir alle, dass es unmöglich ist, Recht in der EU im Allgemeinen zu lernen, unabhängig von bestimmten Rechtsordnungen“

Dieses Problem wird durch die verschiedenen Ausgestaltungen der Gerichtsbarkeit und der nationalen Unterschiede im Recht noch verschärft. Unabhängig davon, wie harmonisiert das EU-Recht ist, unabhängig von der Freiheit der Rechtsanwälte, grenzüberschreitende Dienstleistungen zu erbringen,3Zum Beispiel die Richtlinie 98/5/EG wissen wir alle, dass es unmöglich ist, Recht in der EU im Allgemeinen zu lernen, unabhängig von bestimmten Rechtsordnungen. Diese Grenze gilt nicht nur für Menschen, sondern auch für Maschinen. Auch wenn die Fähigkeiten großer Sprachmodelle sehr allgemein sind und man unabhängig von der Fragestellung relativ zuverlässige Antworten erhält, werden sie nicht in der Lage sein, die korrekte Wortwahl oder den zutreffenden Geist des Gesetzes in allen Rechtsordnungen zu treffen, es sei denn während des Vortrainings werden entsprechende Texte aus den betreffenden Rechtsordnungen verwandt.

BEDEUTUNG DER ANLEITUNG VON ANWÄLTEN FÜR KI-TOOLS: STANDARDISIERUNG VON NACHFRAGE UND WISSEN

Aufgrund dieser sprachlichen und rechtlichen Unterschiede und des Mangels an IT-Budgets ist der Markt für anwaltsspezifische KI (und andere innovative IT-Tools) in der EU eher fragmentiert. Legaltech-Lösungen haben Schwierigkeiten bei der Skalierung. Das gilt selbst für Software, die als Infrastruktur für andere Softwareebenen dienen sollte, wie Praxis-, Fall- oder Dokumentenmanagement- Software.
Dies hat zur Folge, dass man in einigen Mitgliedstaaten möglicherweise sehr lange warten muss, bis die entsprechenden Tools mit länderspezifischen Fähigkeiten verfügbar werden, da diese hauptsächlich auf der Marktnachfrage kleiner Kanzleien und Einzelanwälte basieren. Solange die Anwälte nur über ein geringes ITBudget verfügen, wird es nur wenige Anbieter geben, die sie mit den erforderlichen Tools versorgen. Selbst wenn der Wettbewerb zwischen den Anwälten auf den einzelnen Rechtsmärkten stark ist, wird dies nicht unbedingt dazu führen, dass technisch versierte Anwälte diejenigen ersetzen, die solche Tools nicht nutzen. Eher wird die Art und Rentabilität der Arbeit sich verändern bei Anwälten, die verstärkt Tools zur Arbeitsunterstützung einsetzen. Selbst Regierungen und Gerichte sehen in der Regel davon ab, Anwälten neue Technologien aufzuzwingen oder Anwälte, die nicht bereit sind, solche Technologien zu nutzen, aus dem Markt zu drängen, es sei denn, es treten Ausnahmesituationen ein, wie z. B. bei einer Pandemie.

„Diese vielschichtigen Probleme werden also nicht durch einen Leitfaden gelöst, aber er kann dennoch dazu beitragen, die Nachfrage vonseiten der Anwälte zu steigern“

Diese vielschichtigen Probleme werden also nicht durch einen Leitfaden gelöst, aber er kann dennoch dazu beitragen, die Nachfrage vonseiten der Anwälte zu steigern, indem er sie davon überzeugt, solche Tools auszuprobieren und die damit verbundenen Risiken und Chancen zu verstehen. Ein Leitfaden kann auch dazu beitragen, die Marktnachfrage von Anwälten zu standardisieren, indem er eine Struktur für solche Tools bereitstellt und Anwälten das Verständnis dafür erleichtert, welche Art von NLP-Tools für ihre Praxis nützlich sein könnten, anstatt sich auf Marketingmaterial zu verlassen, das für große Firmen erstellt wurde.

KONZEPTIONELLER RAHMEN, ARTEN VON NLP IM LEITFADEN UND DAS KAPITEL ÜBER MÖGLICHE ZUKUNFTSSZENARIEN

Eines der Ziele des Leitfadens war es, den Rahmen der KI-Tools so zu erläutern, dass er für Anwälte leicht verständlich ist, aber dennoch dazu beiträgt, etwas mehr darüber zu erfahren, wie und warum solche Tools funktionieren, und so Anwälten zu helfen, sich im Umgang mit diesen Tools sicherer zu fühlen. Neben den Grundlagen gibt es Informationen zu den wichtigsten Kategorien von NLP-Werkzeugen, wie Texterzeugung, Sprachverständnis und Textsuche. Anstelle von präzisen technischen Beschreibungen fällt es einigen Anwälten vielleicht leichter, Beispiele zu verstehen, die ihrem Alltag nahekommen: Die Schilderung eines Tages einer zukünftigen Anwältin im Jahr 2032, die bereits einige innovative KI-Tools in ihre tägliche Arbeit integriert hat. In diesem Kapitel werden sechs Szenarien zur Veranschaulichung aufgeführt, wie z.B. Vertragsverhandlungen, ein Kundenaufnahmeverfahren oder eine sehr rationalisierte Vorbereitung von Gerichtsverfahren. Die aufgelisteten Tools wurden bereits vor 2022 in Forschungsarbeiten einbezogen. Die Anwendungsbeispiele setzen voraus, dass die bereits bekannten und erforschten Tools in zehn Jahren zuverlässig arbeiten und zum Einsatz kommen können.

DEONTOLOGISCHE RISIKEN UND PROBLEME MIT KI-TOOLS

Wie jedes andere technische Produkt birgt auch der Einsatz von KI-Tools einige spezifische Risiken für die Interaktion von Anwälten mit ihren Mandanten, mit den Gerichten und für die Zusammenarbeit mit anderen Anwälten.
Von den berufsrechtlichen Herausforderungen möchte ich hier zwei hervorheben: Die Risiken im Zusammenhang mit dem IT-Outsourcing und die Zuverlässigkeit der LLM. Einige dieser Risiken ergeben sich aus denselben Bedingungen wie bei jedem IT-Outsourcing oder, allgemeiner gesagt, bei jeder Einschaltung eines Dritten als Dienstleister. Diese Risiken sind die gleichen, mit denen Anwälte konfrontiert sind, wenn sie Cloud-Computing Dienste4Siehe CCBE-Leitlinien für die Nutzung von Cloud-Computing-Diensten durch Rechtsanwälte. oder Online-Plattformen nutzen.5Siehe CCBE-Leitfaden für die Nutzung von Online-Rechtsplattformen durch Anwälte Für Anwälte ist es sehr bequem, sich nicht mit ihrer IT-Infrastruktur vor Ort befassen zu müssen, und es ist einfach, sich sofort an die Verwendung von Tools zu gewöhnen. Doch dieser Ansatz hat auch Nachteile.

„Die meisten Dienste von Drittanbietern verringern unweigerlich die Unabhängigkeit des Anwalts und können auch zu einer gewissen Anbieterabhängigkeit führen“

Selbst wenn es möglich ist, einige der oben genannten großen Sprachmodelle lokal zu installieren, können sie in Bezug auf Geschwindigkeit und Fähigkeiten nicht mit den leistungsstärksten Modellen mithalten, die nur über eine Anwendungsprogrammierschnittstelle (API) oder über Cloud-Dienste des KI-Modellanbieters (wie OpenAI, Google usw.) angeboten werden. Die meisten Dienste von Drittanbietern verringern unweigerlich die Unabhängigkeit des Anwalts und können auch zu einer gewissen Anbieterabhängigkeit führen. Im Leitfaden werden einige Ansätze zur Verringerung dieser Beschränkungen dargelegt, z.B. die Standardisierung von Exportformaten zwischen Drittanbietern, aber auch die Arbeit der EU in diesem Bereich (z.B. Verhaltenskodizes für SaaS-Anbieter) sei erwähnt.6Siehe z.B. den SWIPO AISBL-Verhaltenskodex. In jedem Fall müssen Anwälte sicherstellen, dass unabhängig davon, wie stark die Anbieterbindung ist, nicht die Möglichkeit des Anwalts beeinträchtigt ist, auf Mandantendaten zuzugreifen, die bei solchen Drittdiensten gespeichert sind.

„Wir müssen ein Gefühl für die Unzuverlässigkeit bekommen und ein ‚zuverlässiges Arbeitsmodell‘ für uns selbst entwickeln, welche Ungenauigkeiten zu erwarten sind und wie diese als reine fiktive Kreation der KI zu erkennen sind“

Das andere deontologische Problem, das ich ansprechen möchte, ist die mangelnde Zuverlässigkeit großer Sprachmodelle. Juristen müssen sich darüber im Klaren sein, dass, selbst wenn solche auf neuronalen Netzen basierende Modelle Zugang zu mehr Informationen haben und diese abrufen können, als ein einzelner Mensch jemals wissen könnte, die Wahrscheinlichkeit groß ist, dass, solange das betreffende Modell nicht auf eine bestimmte gesuchte Information trainiert wurde, es überzeugend aussehende Informationen liefert, anstatt mitzuteilen: „Ich weiß es nicht“. Das macht es erstaunlich unzuverlässig. Bis dieses Zuverlässigkeitsproblem gelöst ist, müssen wir uns an diese Unzuverlässigkeit gewöhnen. Wir müssen ein Gefühl für diese Unzuverlässigkeit bekommen und ein „zuverlässiges Arbeitsmodell“ für uns selbst entwickeln, welche Ungenauigkeiten zu erwarten sind und wie diese als reine fiktive Kreation der KI zu erkennen sind. Genau wegen dieses Problems ist es nicht möglich, solche Werkzeuge den Mandanten direkt zugänglich zu machen, ohne dass die Plausibilität durch anwaltlichen Input getestet ist. Dies wird als „Human in the Loop“ bezeichnet, bei dem nur eine menschliche Überprüfung die Zuverlässigkeit der Beratung oder anderer Ergebnisse gewährleisten kann und versucht, dieses Risiko zu steuern.

SCHLUSSFOLGERUNG

Seit April 2022 hat sich auf dem Gebiet der großen Sprachmodelle viel getan. Dank des beispiellosen Erfolgs des ChatGPT-Produkts von OpenAI verstehen jetzt viel mehr Juristen, warum der Bereich der KI für unsere Zukunft entscheidend ist und dass es sich nicht nur um einen esoterischen Hype handelt, der in fünf Jahren platzen wird. Unsere Prioritäten haben sich plötzlich geändert, und jetzt müssen wir uns darauf konzentrieren, uns längerfristig umzuschulen, genau wie jeder andere geistige Beruf. Es ist noch wichtiger geworden, den Weg des Leitfadens weiterzugehen, und viel mehr Juristen werden sich mit der (Un-)Zuverlässigkeit und der Funktionsweise der großen Sprachmodelle vertraut machen müssen.

Exklusiv für Mitglieder | Heft 07/08 2023 | 72. Jahrgang

Guide on the use of AI-based tools by lawyers and law firms in EU

at “Judicial training: the right skills to embrace the digitalisation of justice” 27th April, 2023

On the last day of March, 2022, the Council of Bars and Law Societies of Europe (CCBE), together with the European Lawyers Foundation have published a Guide on the use of AI-based tools by lawyers and law firms in the EU. This Guide was the final deliverable in an EU co-funded project called Artificial Intelligence for Lawyers (AI4Lawyers) that started in April 2020. All the project materials, including the Guide are available at https://ai4lawyers.eu/.

Particularities of the EU legal markets

Both the project and the Guide focused on small law firms: unlike the United Kingdom, the legal market in the EU is dominated by small law firms. Both in terms of the number of firms in the sector, and also in terms of their economic weight: 71% of the total employees in the legal services sector work in law firms that have less than 10 employees, and also turnover data gives similar results (53%).7 http://ai4lawyers.eu/wp-content/uploads/2022/03/Overview-of-the-average-state-of-the-art-ITcapabilities-in-the-EU.pdf, S. 9. This difference has important consequences. Small law firms have a flat organisational structure and tight IT budgets. IT tools made for larger organisations have different focus and functionality compared to those made for small firms, and small firms often lack appropriate IT support, have limited resources for custom developments.
Differences in languages and jurisdictions have an even more profound effect on the AI tools than the budget of a firm. Large language models (LLMs) serve as the foundation model for many natural language processing (NLP) tools that lawyers use to automate their work processes. However, even as their name implies, these models have to be built on an enormous amount of text data (corpora). But not all languages within the EU have the same amount and quality of text resources, and the best-known language models are not trained proportionally on different languages. E.g., 92% of GPT-3 is trained on English-language corpus, 1.67% on German, and only a couple of permille on most other languages.8https://github.com/openai/gpt3/blob/master/dataset_statistics/languages_ by_character_count.csv. Nevertheless, these multilinguistic models demonstrate surprising capabilities: they are able to translate languages they were trained on without explicitly being trained to translate. But most capabilities still rely on these LLMs „pre-trained“ on a specific language, and you cannot expect the same amount of functionality, capabilities in these LLMs in national languages as in the English language.

This problem is exacerbated by the problem of jurisdictions, and national differences in law. No matter how harmonised the EU law is, no matter the freedom of lawyers to provide cross-border services,9 Such as Directive 98/5/EC. we all know that it is impossible to learn „law“ in general in the EU, independent from specific jurisdictions, and that limit applies not only to humans, but to machines as well. Even if the capabilities of large language models are very generic, and one will receive confident answers no matter what the question is, they will not be able to deduce or guess the correct word or spirit of law in all jurisdictions, unless appropriate texts are shown to them during pre-training from the specific jurisdictions concerned.

Importance of guidance to lawyers in AI tools: to standardise demand and knowledge

Due to these linguistic and jurisdictional differences, the lack of IT budget, the market for lawyer-specific AI (and other innovative IT) tools in the EU is rather fragmented. Legaltech solutions have difficulties in scaling. That’s true even for software that should serve as an infrastructure to other layers of software, like the practice-, case- or document management software.

As a consequence, in some member states, one may have to wait forever for the appropriate tools to appear purely based on the market demand of small law firms and solo lawyers. As long as lawyers have little IT budget, there will be very few providers to supply them with the necessary tools. Even if there is a very strong competition between lawyers in each legal market, this will not necessarily result in tech-savvy lawyers replacing those who don’t use such tools, but may simply change the type and profitability of work each of these types of lawyers focus on. Even governments and courts usually refrain from forcing new technologies on lawyers or forcing lawyers unwilling to use such technologies out of the market, unless exceptional situations arise, such as during a pandemic.
So, these multi-layered problems will not be solved by any guide, but it may still help increase the demand from the lawyers‘ side, by convincing them to try out such tools and to understand the inherent risks. A guide may also be helpful in standardising the market demand of lawyers by providing a structure for such tools, and by facilitating lawyers‘ understanding of what kind of NLP tools might be useful for their practice, instead of relying on marketing materials created for large firms.

Conceptual framework, types of NLPs in the Guide and the chapter on possible future scenarios

One of the aims of the Guide was to give some explanation regarding the framework of AI tools, that is easy to understand for lawyers, but still useful in learning a bit more about how and why such tools work, thus helping lawyers become more comfortable in using these tools.
Besides the foundations, there are a couple of pages on the major categories of NLP tools, such as text generation, language understanding and text retrieval.
Instead of precise technical descriptions, some lawyers may find it easier to understand examples that are close to their everyday life: a narrative of a day of a future lawyer in 2032 who has already integrated some innovative AI tools in her everyday work. This chapter lists six scenarios for the purposes of illustration, such as contract negotiation, a client intake process, or a very streamlined court case preparation. The tools listed were already included in research papers before 2022, so we only made the assumption that these tools will be reliable in ten years‘ time for daily use by lawyers.

Deontology risks and problems with AI tools

Just like any other technical product, AI tools when used also pose some specific risks as to how lawyers interact with their clients, the courts and how they work with other lawyers.
Among the other deontology problems, I would here highlight two: risks related to IT outsourcing and the reliability of LLMs.
Some of these risks arise from the same source as any IT outsourcing, or, more generally, any involvement of a third party as a service provider. These risks are the same as those lawyers are faced with when using cloud computing services10 See CCBE Guidelines on the use of cloud computing services by lawyers or online platforms.11 See CCBE Guide on Lawyers’ use of online legal platforms It is very convenient for lawyers not having to deal with their IT infrastructure at their premises, and easy to get accustomed to using tools right away. But there are drawbacks to this approach.

Even if it is possible to install some of these large language models mentioned above locally, they are no match in speed and in capabilities to the most powerful models which are only offered via an application programming interface (API), via some cloud services deployed by the AI model provider (such as OpenAI, Google etc.).
Most third-party services inevitably decrease the independence of lawyer, and could also result in a degree of vendor lock-in. The Guide sets out some of the approaches to lessen these lock-ins, like standardising export formats between third-party services, but we also have to mention the work of the EU in this regard (such as codes of conduct of SaaS providers).12 See e.g. the SWIPO AISBL Code of Conduct. Nevertheless, lawyers have an obligation to ensure that no matter how strong the vendor lock-in is, it should not affect the lawyer’s ability to access any client data recorded at such third-party services.
The other deontology problem that I would like to talk about is the lack of reliability of large language models. Lawyers have to understand that even if such neural network-based models had access and can retrieve more information than a single human could ever know, as long as the given model was not trained on a specific piece of information you are looking for, there is a good chance that it will give convincingly looking information instead of saying „I don’t know“. That makes it surprisingly unreliable.

Until this reliability problem is solved, we have to adapt to such unreliability, we have to get a feel for this unreliability, and build a “reliable working model” for ourselves regarding what kind of problems to expect. This is exactly because of this problem that it is not possible to make such tools directly accessible to clients without a lawyer’s prior involvement. This is called a „human in the loop“, where only human review can ensure the reliability of the advice or other output, and will try to manage this risk.

Conclusion

Since April 2022, many things have happened in the field of large language models. Thanks to the unprecedented success of OpenAI’s ChatGPT product, now a lot more lawyer understands why the field of AI is crucial for our future, and that it is not just an esoteric hype that will burst in five years‘ time. Our priorities have suddenly changed, and now, we have to focus on retraining ourselves in the longer term, just like every other mental profession. Going forward on the same path as the Guide became even more important, and a lot more lawyers will have to get acquainted with the (un)reliability and the operation of the large language models.