WEBVTT 00:00:00.005 --> 00:00:03.845 Das zeigt ganz gut, was da die Gefahren sind. 00:00:03.845 --> 00:00:06.187 Zum einen natürlich aus dem geopolitischen Aspekt, aber auch, 00:00:06.524 --> 00:00:09.065 weil das ganz gut demonstriert, wie, 00:00:09.825 --> 00:00:12.607 wenig wir einfach wissen, auf was wurde da genau trainiert, 00:00:12.915 --> 00:00:15.565 wie wurde das trainiert, ist das hier absichtlich entstanden, 00:00:15.565 --> 00:00:20.565 ist das ein blöder Seiteneffekt, weil man irgendwie da einen falschen Bias in 00:00:20.565 --> 00:00:21.344 den Trainingssachen hat. 00:00:21.553 --> 00:00:25.599 Man weiß es einfach nicht, aber das muss einem einfach bewusst sein. 00:00:26.305 --> 00:00:30.235 Wir benutzen LLMs gerne, sie sind super wertvoll, aber wir verstehen nicht so 00:00:30.235 --> 00:00:33.365 ganz, was unter der Haube passiert, auch worauf sie trainiert wurden, 00:00:33.365 --> 00:00:36.332 was für Rahmenbedingungen sie vielleicht mitbringen. 00:00:42.017 --> 00:00:46.445 Der Thomas, der hat uns jetzt richtig Appetit gemacht auf KI im Coding, 00:00:46.785 --> 00:00:51.275 das mal einzusetzen, zu schauen, was kann man damit alles machen und ja, 00:00:51.275 --> 00:00:54.195 die Versprechen der KI-Technologie, die klingen ja auch verlockend. 00:00:54.195 --> 00:00:57.725 Effizienzboost, Ten Times Developer, Revolution. Ich weiß nicht, 00:00:57.725 --> 00:01:02.005 wie oft man das Wort Revolution schon gehört hat im Rahmen von KI-Technologie. 00:01:02.005 --> 00:01:07.480 Aber es gibt eine entscheidende Frage, die dabei vielleicht beim ganzen Enthusiasmus oft übersehen wird. 00:01:08.072 --> 00:01:11.230 Wie sicher ist denn eigentlich der Code, den KI-Assistenten schreiben? 00:01:12.658 --> 00:01:16.095 Die Antwort ist da leider ernüchternd. KI-Code bringt neue Risiken mit sich. 00:01:16.095 --> 00:01:17.761 Risiken sind auf alle Fälle da. 00:01:17.958 --> 00:01:21.592 Von klassischen Schwachstellen bis zu völlig neuen Angriffen wie Model Poisoning 00:01:21.952 --> 00:01:23.821 oder Rules File Backdoors. 00:01:24.669 --> 00:01:28.274 Vielleicht Begriffe, die ihr zum ersten Mal hört, aber die sehr real sind. 00:01:28.732 --> 00:01:31.315 Und deshalb freue ich mich, dass jetzt Clemens Hübner hier ist. 00:01:31.315 --> 00:01:35.327 Der ist nämlich Software Cyber Security Lead bei Giesecke und Devrient, 00:01:35.600 --> 00:01:37.719 einem Unternehmen, das Sicherheit ernst nimmt. 00:01:38.119 --> 00:01:43.280 Er begleitet Softwareprojekte, berät zu DevSecOps und baut sichere Entwicklungsprozesse auf. 00:01:43.640 --> 00:01:47.295 Als Trainer und Speaker auf internationalen Konferenzen kennt er die realen 00:01:47.295 --> 00:01:49.967 Sicherheitsprobleme, die KI-generierter Code mitbringt. 00:01:50.286 --> 00:01:53.085 Und die wird er uns jetzt auch gleich vorstellen. Seid gespannt. 00:01:53.085 --> 00:01:55.401 Ich freue mich sehr, dass du hier bist, lieber Clemens. 00:01:56.346 --> 00:01:59.115 Ja, ich freue mich auch. Danke, Hendrik. Danke für die Einladung. 00:01:59.399 --> 00:02:01.106 Sehr, sehr gerne. Immer wieder gerne. 00:02:01.419 --> 00:02:05.041 Aber wir haben, wie du vielleicht gemerkt hast, wenig Zeit. Deshalb würde ich 00:02:05.041 --> 00:02:06.731 sagen, die Bühne gehört dir. 00:02:06.969 --> 00:02:11.288 Wenn ihr Fragen an Clemens habt, schreibt sie in den Chat und ich gebe sie weiter. Viel Spaß. 00:02:12.112 --> 00:02:15.705 Super, danke dir. Starten wir direkt rein. Ich habe nämlich auch viel mitgebracht, 00:02:16.551 --> 00:02:19.653 und da schauen wir jetzt direkt mal rein. 00:02:20.007 --> 00:02:23.921 Ich glaube, zur Motivation brauche ich euch heute gar nicht so viel erzählen. 00:02:23.921 --> 00:02:29.171 Ihr seid alle hier, weil ihr euch mit Code AI beschäftigt, weil ihr das relevant findet. 00:02:29.171 --> 00:02:34.891 Ich habe trotzdem mal die letzten Zahlen rausgesucht, die ich gefunden habe, wie weit verbreitet. 00:02:36.174 --> 00:02:40.051 Code AI schon in den Entwicklungsprozessen in den Unternehmen ist und auch wie 00:02:40.051 --> 00:02:44.821 viel Geld hinter den entsprechenden Tools, hinter den entsprechenden Lösungen steht. 00:02:44.821 --> 00:02:47.638 Also eine große Erfolgsgeschichte, könnte man meinen. 00:02:48.471 --> 00:02:51.381 Wir haben heute auch schon so ein bisschen was von den menschlichen, 00:02:51.381 --> 00:02:56.561 organisatorischen Herausforderungen gehört in der Keynote und ich muss jetzt 00:02:56.561 --> 00:03:00.281 weiter ein bisschen den Spielverderber spielen, denn wenn man sich mit dem Thema 00:03:00.281 --> 00:03:02.201 beschäftigt, dann stolpert man auch immer wieder 00:03:02.642 --> 00:03:04.861 über Schlagzeilen wie diese hier. 00:03:04.861 --> 00:03:10.741 Prompt Injection in AI-Agenten, über AI-Development-Tools, 00:03:10.741 --> 00:03:16.156 die irgendwelche Daten verloren haben, über gelöschte Datenbanken, 00:03:16.751 --> 00:03:21.160 über AI-Agenten, die Dinge machen, die man nicht möchte, die gehackt werden. 00:03:21.566 --> 00:03:24.301 Und da möchten wir heute ein bisschen Struktur reinbringen und uns ein bisschen 00:03:24.301 --> 00:03:27.231 genauer anschauen, was ist denn genau die Angriffsoberfläche, 00:03:27.231 --> 00:03:32.901 das Sicherheitsrisiko, wenn wir Code AI einsetzen und wie können wir das sicher machen. 00:03:32.901 --> 00:03:38.807 Was sind passende Gegenmaßnahmen, damit ich das passend und sicher einsetzen kann. 00:03:39.945 --> 00:03:43.103 Ganz kurz noch zu mir. Ich wurde schon vorgestellt. Clemens Hübner mein Name, 00:03:43.347 --> 00:03:46.513 Software Cyber Security Lead bei Giesecke und Devrient. 00:03:46.513 --> 00:03:53.673 Wir sind ein Unternehmen, das sich mit Sicherheit rund um Zahlungsdienstleistungen beschäftigt. 00:03:53.673 --> 00:03:56.145 Also jeder, der schon mal eine Euro-Banknote in der Hand hatte, 00:03:56.424 --> 00:04:00.383 eine SIM-Karte, eine Chip-Karte, kennt unsere Produkte, also ein Umfeld, 00:04:00.383 --> 00:04:03.605 in dem es viel um sichere Entwicklung geht. 00:04:03.953 --> 00:04:08.833 Und aus der Brille darf ich euch heute eben auch ein bisschen meinen Blick auf, 00:04:09.313 --> 00:04:15.296 das Thema Software Security mit Code AI erzählen. 00:04:15.557 --> 00:04:19.303 Kleiner Disclaimer vorweg, ich bin heute hier als Privatperson, 00:04:19.303 --> 00:04:23.539 das heißt, die Meinungen, die ich habe, die sind meine eigenen. 00:04:23.655 --> 00:04:28.624 Und dann müssen wir uns auch nicht weiter zurückhalten und starten direkt rein 00:04:28.978 --> 00:04:31.213 in den Aufstieg von Code AI. 00:04:31.613 --> 00:04:39.462 Und Emma hat es vorhin schon kurz erwähnt, als Andrej Karpathy den Begriff Vibe-Coding geprägt hat. 00:04:40.229 --> 00:04:47.516 Da fand gefühlt so, startete so eine neue Epoche in der Softwareentwicklung, 00:04:47.516 --> 00:04:49.546 zumindest in der AI-gestützten Softwareentwicklung. 00:04:49.865 --> 00:04:54.756 Vibe Coding wurde zu einem Schlagwort, an dem sich viele auch reiben und der 00:04:54.756 --> 00:05:01.230 so ein bisschen die letzte Evolutionsstufe vielleicht von verschiedenen Entwicklungen 00:05:01.543 --> 00:05:04.086 im Bereich Code AI darstellt. 00:05:04.086 --> 00:05:07.859 Und wenn ich heute von Code AI spreche oder auch mal Coding Assistant sage, 00:05:08.213 --> 00:05:11.266 dann benutze ich das so ein bisschen synonym, aber es hilft sicher, 00:05:11.266 --> 00:05:16.586 wenn wir kurz verstehen, dass es da eine gewisse Bandbreite gibt. 00:05:16.586 --> 00:05:21.756 Und wir haben so Autocompletion-Tools, die gab es auch schon vor LLMs, 00:05:22.376 --> 00:05:26.746 die kennt jeder, der schon länger entwickelt, wo die IDE da eben entsprechend, 00:05:26.746 --> 00:05:30.946 ja, auf Basis von einer Zeile oder vielleicht von zwei Zeilen irgendwie die 00:05:30.946 --> 00:05:32.135 nächste vorgeschlagen hat. 00:05:32.996 --> 00:05:38.906 Das war so der Anfang. Dann kam mit dem Erfolg von Chat-GPT natürlich auch der 00:05:38.906 --> 00:05:44.486 Einsatz von solchen Modellen als Frage-Antwort-Helfer, wo wir vielleicht auch 00:05:44.486 --> 00:05:46.149 fleißig Code rauskopiert haben. 00:05:46.445 --> 00:05:53.932 Das wurde dann weiter verfeinert, eben mit Tools, die sich speziell mit Code-Generierung beschäftigen, 00:05:54.616 --> 00:05:58.768 sowas wie Copilot-Chat oder dann eben auch ganzen IDEs, die darauf aufbauen, 00:05:59.436 --> 00:06:02.355 und jetzt eben dann die agentische Entwicklung. 00:06:02.982 --> 00:06:07.857 Hin zu Vibe Coding Agents, wo wir also sogar nur noch natürliche Sprache irgendwie 00:06:07.857 --> 00:06:14.507 reingeben und dann eine ganze App rausbekommen und vielleicht gar nicht mehr so viel. 00:06:16.207 --> 00:06:21.457 auf den Code schauen müssen, sondern quasi das alles vom Agenten scheinbar weg abstrahiert wird. 00:06:21.457 --> 00:06:26.707 Also das ist so der Range, in dem wir uns entwickeln und der hilft uns auch, 00:06:26.707 --> 00:06:28.280 damit ihr später verstehen könnt, 00:06:28.987 --> 00:06:33.359 welche Schwachstelle ist denn für welche Art von Code AI besonders relevant 00:06:33.650 --> 00:06:38.387 und ohne dass ich jetzt zu viel Spoiler, desto mehr man ins Autonome geht, desto, 00:06:38.987 --> 00:06:44.830 mehr muss man natürlich auch darauf achten, dass die Agenten entsprechend sicher agieren. 00:06:45.173 --> 00:06:50.687 Also, das so zur Einführung, Code AI, Coding Agents, über diese Systeme sprechen 00:06:50.687 --> 00:06:54.644 wir und vor allem dann eben über das agentische Coden. 00:06:56.061 --> 00:06:59.987 Und wenn wir dann jetzt über die Security sprechen wollen, dann habe ich uns 00:06:59.987 --> 00:07:04.797 mal so ein vereinfachtes Schaubild von einem Coding Assistant mitgebracht. 00:07:05.232 --> 00:07:09.247 Ein Coding Assistant, wirklich sehr, sehr vereinfacht, der hat, 00:07:10.347 --> 00:07:14.707 gewissen Input, das ist zum einen natürlich der User Prompt, das ist das, 00:07:14.707 --> 00:07:20.907 an das man als erstes denkt, also das, was ich als EntwicklerInnen eingebe und. 00:07:22.147 --> 00:07:25.602 Dann gelöst haben möchte, aber natürlich auch der gesamte Kontext, 00:07:25.730 --> 00:07:29.515 also die Inhalte, die der Coding Assistant sich zusätzlich, 00:07:30.473 --> 00:07:36.357 dazu holt, sei es jetzt verschiedene Code-Files drumherum, Dokumentation, 00:07:36.357 --> 00:07:42.297 vielleicht Libraries, vielleicht andere Materialien, die bereitstehen, 00:07:42.297 --> 00:07:44.166 also all das wird dann in den Kontext gepackt, 00:07:44.851 --> 00:07:47.509 Und landet dann gemeinsam mit irgendwie einem System-Prompt, 00:07:47.782 --> 00:07:55.909 mit dem der Coding-Assistent selber irgendwie, ja, programmiert wird oder die 00:07:56.065 --> 00:07:58.660 Rahmenbedingungen mitbekommt, mit denen er agieren soll. 00:07:58.916 --> 00:08:02.739 Und all das wird in einen Prompt gepackt und in das LLM geworfen. 00:08:02.739 --> 00:08:07.419 Und das ist ganz wichtig zu verstehen, dass ein LLM ja nur auf einem großen, 00:08:07.419 --> 00:08:10.509 natürlich sprachlichen Input letzten Endes agiert. 00:08:10.509 --> 00:08:15.459 Das heißt, all die verschiedenen Sachen, die Sachen, die wir als Developer reingeben 00:08:15.459 --> 00:08:18.009 und auch die Sachen, die irgendwie vom Coding Assistant oder aus dem Kontext 00:08:18.009 --> 00:08:23.401 kommen, landen am Ende gemeinsam im Prompt, den das LLM ausführt, 00:08:23.668 --> 00:08:25.499 dann vielleicht auch drüber iteriert, das sind dann, 00:08:26.219 --> 00:08:28.794 die entsprechenden Sachen, die der Coding Assistant eben so macht. 00:08:29.719 --> 00:08:34.729 Und wo er dann am Ende die Möglichkeit hat, Code-Änderungen natürlich durchzuführen, 00:08:34.729 --> 00:08:37.359 aber vielleicht auch irgendwie Tests auszuführen, zu schauen, 00:08:37.359 --> 00:08:38.663 kompiliert noch alles, also. 00:08:39.609 --> 00:08:43.539 Ja, das sind die Aktivitäten und wenn wir jetzt dann über moderne Agenten sprechen, 00:08:43.899 --> 00:08:50.459 dann haben die eben auch noch Zugriff auf eine Reihe an Tools und da wird es 00:08:50.459 --> 00:08:53.098 dann besonders interessant, deswegen schauen wir uns das später im Detail an. 00:08:53.551 --> 00:08:58.559 Konkret möchte ich jetzt auf fünf Schwachstellen oder Risiken im Zusammenhang mit, 00:08:59.359 --> 00:09:05.527 Code AI eingehen und wir starten direkt mit dem Bereich hier, 00:09:05.805 --> 00:09:09.279 nämlich was landet eigentlich alles in dem Prompt und wenn man Prompt schon 00:09:09.279 --> 00:09:11.299 hört und ein bisschen was mit Security, 00:09:12.079 --> 00:09:15.539 zu tun hatte, dann denkt man natürlich als erstes an Prompt Injection. 00:09:15.539 --> 00:09:20.225 Prompt Injection, eine Schwachstellenklasse, die quasi mit LLMs erst neu aufkam, 00:09:20.521 --> 00:09:23.905 sehr spannend ist für jemanden wie mich, finde ich, 00:09:24.927 --> 00:09:28.689 und die vom Begriff so ein bisschen an SQL Injection erinnern, 00:09:28.689 --> 00:09:33.699 wer sich schon früher mal mit Security beschäftigt hat, und es funktioniert recht ähnlich. 00:09:35.010 --> 00:09:42.637 Das, wie SQL Injection, Input von einem Nutzer oder auch von einem Angreifer, also, 00:09:43.277 --> 00:09:48.651 nicht vertrauenswürdiger Input, wird so in ein Query, in ein Kommando integriert, 00:09:48.941 --> 00:09:50.957 das später ausgeführt wird, dass, 00:09:51.617 --> 00:09:56.673 der Angreifer eben die Möglichkeit hat, aus dem eigentlichen Dateninput auszubrechen 00:09:56.923 --> 00:10:00.137 und den Query, das Kommando selber zu manipulieren. 00:10:00.137 --> 00:10:04.684 Das ist die Idee hinter SQL Injection, das ist auch die Idee hinter Prompt Injection. 00:10:04.951 --> 00:10:09.407 Die typische Prompt Injection, mit der es oft losging, die viele wahrscheinlich 00:10:09.407 --> 00:10:12.033 kennen, ist so dieses Ignore all previous instructions. 00:10:12.358 --> 00:10:16.487 Damit versucht man eben, diese Grenze zwischen dem System Prompt, 00:10:16.487 --> 00:10:21.087 der vielleicht vor dem User Prompt steht, und dem User Prompt aufzubrechen und 00:10:21.087 --> 00:10:24.107 aus dem User Prompt hinaus den System Prompt zu manipulieren, 00:10:24.107 --> 00:10:26.017 in dem Fall eben ihn ignorieren zu lassen. 00:10:26.581 --> 00:10:29.097 Als die ersten Chatbots aufkamen auf irgendwelchen Unternehmensseiten, 00:10:29.097 --> 00:10:35.863 da gab es also lustige Posts, wo dann jemand eben genau mit so einem Trick geschafft hat, ja, 00:10:37.337 --> 00:10:41.557 zum Beispiel jetzt hier ein Auto für einen Dollar zu kaufen oder ein Angebot 00:10:41.977 --> 00:10:44.761 dafür, davon zu bekommen von so einem Chatbot. 00:10:45.457 --> 00:10:51.889 Das kann aber auch noch entsprechend ausgefeilter werden, aber das Grundprinzip ist immer das gleiche. 00:10:52.156 --> 00:10:58.177 Inhalt, der in den Prompt kommt, verändert den Prompt als Ganzen so, 00:10:58.177 --> 00:11:02.337 dass das LLM am Ende Aktionen macht oder. 00:11:03.597 --> 00:11:08.277 ein Ziel verfolgt, das eigentlich so nicht vorgesehen war. 00:11:08.857 --> 00:11:14.147 Also zum Beispiel der User-Prompt manipuliert wird oder der System-Prompt manipuliert 00:11:14.147 --> 00:11:16.711 wird, je nachdem aus welcher Richtung man kommt. 00:11:17.536 --> 00:11:24.496 Und Prompt Injection ist so das wichtigste Risiko, das es überhaupt gibt im Zusammenhang mit LLMs. 00:11:24.821 --> 00:11:30.744 Die OWASP hat die Top Ten Risiken im Zusammenhang mit LLMs und da ist Prompt 00:11:30.744 --> 00:11:37.064 Injection schon von Anfang an auf Platz 1 als eben das wichtigste Risiko, 00:11:37.064 --> 00:11:39.459 mit dem man sich auf jeden Fall auseinandersetzen muss. 00:11:40.306 --> 00:11:43.744 Was bedeutet das jetzt im Zusammenhang mit Coding Assistants? 00:11:43.744 --> 00:11:49.114 Coding Assistants. Wir haben gesehen, alles, was in den Prompt landet, 00:11:49.114 --> 00:11:52.096 kann irgendwie potenziell für eine Prompt Injection verwendet werden. 00:11:52.375 --> 00:11:55.294 Das ist zum einen der User-Prompt, okay, das heißt, wir können uns irgendwie 00:11:55.294 --> 00:11:59.289 als Developer selber hacken, vielleicht nicht so interessant, 00:11:59.608 --> 00:12:02.975 aber es kann auch alles andere sein, was drumherum liegt. Zum Beispiel auch 00:12:03.259 --> 00:12:05.264 alles, was im Kontext ist. 00:12:05.724 --> 00:12:10.620 Da gibt es ein anschauliches Beispiel, das nennt sich dann Rules-File-Backdoors. 00:12:10.870 --> 00:12:16.754 Rules-Files, das sind so die Dateien, die neben einem Repository liegen oder 00:12:16.754 --> 00:12:22.084 neben einem Code liegen, mit dem man einem Assistenten irgendwie Anweisungen 00:12:22.084 --> 00:12:24.923 geben kann, auf was für Regeln soll er grundsätzlich achten. 00:12:25.214 --> 00:12:28.864 Wir haben irgendwie Coding-Styles, je nach Coding-Assistent heißen die dann. 00:12:29.744 --> 00:12:33.358 irgendwie unterschiedlich, aber das Prinzip ist immer das gleiche. 00:12:33.555 --> 00:12:38.154 Wir spezifizieren dann Rahmenbedingungen für einen Agenten und die werden sich 00:12:38.154 --> 00:12:44.961 dann automatisch mit angezogen, mit dem Kontext geladen und dann mit in den Prompt gepackt. 00:12:45.274 --> 00:12:48.884 Und gerade zu Beginn waren so Rules Files gerne geteilt im Internet, 00:12:48.884 --> 00:12:51.050 man hat sich da gerne Sachen zusammen kopiert, um irgendwie. 00:12:51.944 --> 00:12:55.996 ja, gut funktionierende Instructions für einen Coding Assistant zu bekommen, 00:12:56.246 --> 00:12:59.914 da wurde eben auch beobachtet, dass es Rules Files gab, in denen mit unsichtbaren 00:12:59.914 --> 00:13:03.384 Unicode-Zeichen eben zusätzliche Instructions, 00:13:04.264 --> 00:13:07.171 eingefügt waren, man sieht die jetzt hier dann rechts, 00:13:07.944 --> 00:13:12.814 die dann dadurch in den Prompt gelangt sind und damit am Ende eine Instruction 00:13:12.814 --> 00:13:15.385 war, die der Coding Assistant ausgeführt hat. 00:13:16.186 --> 00:13:19.823 Also, das ist eine Möglichkeit, wie so eine Prompt Injection unseren Coding 00:13:19.823 --> 00:13:21.521 Assistant beeinflussen kann. 00:13:21.898 --> 00:13:25.703 Andere Möglichkeit ist die Studie hier. Ich habe die Links immer mit draufgepackt. 00:13:25.703 --> 00:13:29.241 Ihr kriegt die Slides ja später. Könnt ihr euch nochmal im Detail durchlesen. 00:13:29.853 --> 00:13:34.333 Da haben es eben Forschende geschafft, zu zeigen, dass man auch über Dependencies, 00:13:34.913 --> 00:13:38.075 Third-Party-Dependencies, die wir mit in unserem Projekt benutzen, 00:13:38.302 --> 00:13:42.203 solche Prompt-Injections eben durchführen können, wenn der Coding-Assistent 00:13:42.203 --> 00:13:46.237 eben bemerkt, ah, hier geht es jetzt eben um diese, in diesem Fall Python-Library, 00:13:46.873 --> 00:13:50.469 hier hole ich mir eben entsprechend die Datei mit rein, auch dann, 00:13:50.707 --> 00:13:54.023 um zu verstehen, was ich eigentlich machen muss, dann landet das genauso im 00:13:54.023 --> 00:13:57.249 Prompt und ist genauso ein Einfallstor für eine Prompt-Injection. 00:13:57.522 --> 00:14:00.953 Und die Autoren hier haben es sogar geschafft, dass. 00:14:02.329 --> 00:14:05.803 Die Library quasi vom Inhalt gar nicht verändert war, die hat immer noch weiterhin 00:14:05.803 --> 00:14:08.993 das getan, was sie eigentlich sollte, war auch auf den ersten Blick gar nicht 00:14:08.993 --> 00:14:12.523 zu erkennen, deswegen haben sie das eben Stealthy Cross-Origin Context Poisoning 00:14:12.523 --> 00:14:14.751 genannt, also über den Kontext verwendet. 00:14:16.019 --> 00:14:19.106 Eben eine Prompt Injection gegen einen AI-Coding-Assistent. 00:14:19.576 --> 00:14:23.079 Und das muss einem sehr, sehr bewusst sein. Alles, was im Kontext landet, 00:14:23.079 --> 00:14:26.929 muss eigentlich vertrauenswürdig sein. Und da kann man sich überlegen, 00:14:26.929 --> 00:14:31.523 wie gut kann man den eigenen Kontext eigentlich kontrollieren. 00:14:31.813 --> 00:14:35.045 Vor allem, wenn dann auch noch das Thema MCP ins Spiel kommt. 00:14:35.301 --> 00:14:40.399 MCP-Server sind ja dafür ausgelegt, dass man eben ein gewisses Ökosystem schaffen 00:14:40.399 --> 00:14:45.969 kann, dass Coding-Assistents oder gegen jede Art eben mit anderen Systemen auf 00:14:45.969 --> 00:14:49.093 eine standardisierte Art und Weise interagieren können, 00:14:49.899 --> 00:14:54.169 und das funktioniert in der Praxis so, dass die MCP-Server dann eben advertisen, 00:14:54.169 --> 00:14:57.879 was bieten sie an, eine Description bereitstellen und diese Description dem 00:14:57.879 --> 00:15:00.109 Coding-Assistent von Anfang an mitgegeben wird. 00:15:00.109 --> 00:15:03.019 Das heißt, diese Description ist von Anfang an Teil des Kontexts, 00:15:03.019 --> 00:15:06.889 egal ob der MCP-Server jetzt benutzt wird oder nicht, das muss einem bewusst 00:15:06.889 --> 00:15:09.619 sein, sobald man einen MCP-Server integriert, selbst wenn der nicht benutzt 00:15:09.619 --> 00:15:11.472 wird, hat dieser MCP-Server eben, 00:15:12.104 --> 00:15:16.619 die Möglichkeit, den eigenen Kontext zu manipulieren und da gab es dann schon so, 00:15:17.199 --> 00:15:22.269 Rugpull-Attacks, wo eben MCP-Server erst irgendwie sinnvolle Arbeit geleistet 00:15:22.269 --> 00:15:26.379 haben, später dann aber quasi geflippt sind, das heißt, selbst wenn man 00:15:26.819 --> 00:15:29.438 das am Anfang einmal kontrolliert, was schickt dieser MCP-Server, 00:15:29.705 --> 00:15:34.144 dann kann man natürlich nicht sicherstellen, dass das auch in aller Ewigkeit so bleibt. 00:15:34.527 --> 00:15:39.819 Da gab es jetzt im Frühjahr ein schönes Beispiel bei Context 7, das ist so ein. 00:15:40.939 --> 00:15:45.509 MCP-Server, der eben Dokumentationen bereitstellt, das heißt, 00:15:45.509 --> 00:15:50.044 wer da mal ein konkretes Beispiel anschauen möchte, wie sowas funktionieren kann, 00:15:50.821 --> 00:15:55.663 Dem sei dieser Artikel hier empfohlen. Also, das ist so ein ganz wichtiger Punkt. 00:15:55.936 --> 00:16:02.291 Prompt Injection bei Coding Assistants ist extrem wichtig und ich glaube, es ist eigentlich, 00:16:03.291 --> 00:16:06.031 in der Art und Weise, wie wir das aktuell benutzen, unmöglich, 00:16:06.031 --> 00:16:11.348 den Kontext so zu kontrollieren und so clean zu halten, so trusted zu halten, 00:16:11.685 --> 00:16:15.361 dass wir sicherstellen können, dass da keine Prompt Injection reinkommt und 00:16:15.361 --> 00:16:17.491 Prompt Injection ist technisch ungelöst. 00:16:17.491 --> 00:16:20.311 Also SQL Injection weiß man inzwischen sehr gut, wie das funktioniert. 00:16:20.671 --> 00:16:24.501 Prompt Injection fehlen bisher zuverlässige deterministische Maßnahmen, 00:16:24.501 --> 00:16:26.859 um das zu verhindern. Das heißt, wir müssen uns Gedanken machen, 00:16:27.190 --> 00:16:29.011 eigentlich annehmen, dass wir für Prompt Injection 00:16:30.340 --> 00:16:34.046 anfällig sind, uns Gedanken machen, okay, wie können wir die Auswirkungen davon, 00:16:34.506 --> 00:16:35.837 verhindern, aber dazu später mehr. 00:16:36.609 --> 00:16:42.396 Wir schauen aber auf eine zweite wichtige Risikoklasse im Zusammenhang mit Coding 00:16:42.396 --> 00:16:45.366 Assistants, und zwar ist das Data Leakage, 00:16:45.946 --> 00:16:50.786 das heißt Daten von uns oder aus unserem Projekt fließen ab, 00:16:50.786 --> 00:16:55.986 und das ist auch schon länger ein Thema, gab es bei Devon auch so eine, ja, 00:16:56.646 --> 00:16:59.817 Agentic IDE quasi, oder Coding Assistant, 00:17:00.506 --> 00:17:05.686 schon 2024, ein schönes Beispiel, wo eben gezeigt wurde, auf wie viele unterschiedliche 00:17:05.686 --> 00:17:10.726 Arten man aus so einem Coding Assistant eben Daten exfiltrieren kann, also zum Beispiel, 00:17:11.226 --> 00:17:14.256 Code, der euch wichtig ist, oder Credentials, die mit dem Repo liegen, 00:17:14.256 --> 00:17:15.827 obwohl sie da vielleicht nicht sein sollten. 00:17:17.308 --> 00:17:21.534 Aber natürlich auch, je nachdem, wie der Coding Assistant gesandboxed ist, 00:17:21.714 --> 00:17:26.468 alles andere, was auf der Festplatte des Developers liegt, also SSH-Keys zum Beispiel. 00:17:27.646 --> 00:17:31.006 Die Dateien, das heißt, das sind alles Möglichkeiten, 00:17:31.886 --> 00:17:35.476 auf die ein Coding Assistant potenziell Zugriff hat und wo Devin das hier eben 00:17:35.476 --> 00:17:39.166 auf verschiedene Arten und Weise dann exfiltrieren konnte, oder, 00:17:39.686 --> 00:17:43.876 aus Devin exfiltriert werden konnte, dem Curl-Commands abgeschickt wurden, 00:17:43.876 --> 00:17:47.166 mit dem das abgeschickt wurde, über den Browser, der da integriert war, 00:17:47.166 --> 00:17:50.412 mit dem halt Sachen aufgerufen werden konnten, also gab es quasi, 00:17:51.326 --> 00:17:52.241 sehr viele Möglichkeiten. 00:17:52.904 --> 00:17:55.197 Ein anderes schönes Beispiel, das ich recht anschaulich finde, 00:17:55.597 --> 00:17:59.603 ist bei GitHub Copilot Chat, also, 00:18:00.688 --> 00:18:06.391 der Möglichkeit, dass man in GitHub in der Web UI auf Pull Request zum Beispiel, 00:18:07.471 --> 00:18:13.931 ein LLM hat, mit dem man eben über den Pull Request quasi chatten kann, der läuft dann, 00:18:14.531 --> 00:18:19.031 mit den Rechten des Nutzers, der eben gerade diesen Chat benutzt und da gab 00:18:19.031 --> 00:18:24.411 es eben eine schöne Demonstration, dass unsichtbare Kommentare in den Pull-Requests, 00:18:25.131 --> 00:18:29.031 eines Angreifers dann eben dazu geführt haben, dass der Agent, 00:18:29.571 --> 00:18:36.201 also das GitHub-Copilot-Chat, dann eben Sachen gemacht hat im Kontext des Nutzers 00:18:36.201 --> 00:18:39.701 und auf Sachen zugegriffen hat, die von außen zum Beispiel nicht zugreifbar 00:18:39.701 --> 00:18:42.320 sind, also auf Secrets, auf private Repos. 00:18:42.709 --> 00:18:47.391 Und wo dann sehr spannend auch diese Daten exfiltriert wurden, das ist ja bei so einem. 00:18:48.591 --> 00:18:50.801 Chatbot vielleicht nochmal ein bisschen schwieriger, könnte man meinen, 00:18:51.063 --> 00:18:56.031 war das dann aber quasi in lauter einzelne Bilder kodiert, also jedes Zeichen 00:18:56.031 --> 00:18:58.251 ist dann ein Bild, wir haben. 00:18:59.551 --> 00:19:04.261 ein Bild für A, ein Bild für B, ein Bild für C und so weiter und packen die 00:19:04.261 --> 00:19:09.531 hintereinander, je nachdem welchen String wir exfiltrieren wollen und je nachdem 00:19:09.531 --> 00:19:12.733 welche Bilder dann von unserem Server geladen werden, dann können wir dann eben gut sehen, 00:19:13.482 --> 00:19:17.591 wie das Secret, das wir da exfiltrieren wollen, eben genauer ausschaut. 00:19:17.591 --> 00:19:18.706 Also, sehr spannender Angriff. 00:19:19.571 --> 00:19:22.711 Lohnt sich auch, das sich mal anzuschauen, wenn einem das interessiert. 00:19:22.711 --> 00:19:27.961 Das zeigt nämlich auch ganz gut, wie vielfältig die Möglichkeiten sind, 00:19:27.961 --> 00:19:29.891 mit denen man solche Daten exfiltrieren kann. 00:19:31.627 --> 00:19:34.774 Gut, kommen wir zu dem Thema Tools. 00:19:34.774 --> 00:19:38.014 Wir haben vorhin schon gesehen, immer mehr, 00:19:38.834 --> 00:19:43.434 Tools stehen so einem Coding-Agent zur Verfügung, zum Beispiel über einen MCP-Server, 00:19:43.434 --> 00:19:47.730 aber natürlich auch, gerade wenn wir jetzt über eine IDE-Integration sprechen, 00:19:48.037 --> 00:19:52.284 über die Aspekte, die dort direkt zur Verfügung stehen. 00:19:52.284 --> 00:19:57.154 Also, vielleicht hat unser Agent Zugriff auf das komplette Filesystem, 00:19:57.154 --> 00:20:00.514 er kann auf jeden Fall sicher das Repo lesen, vielleicht darf er im Web nach 00:20:00.514 --> 00:20:03.854 Sachen suchen, vielleicht soll er auch in unserem... 00:20:05.069 --> 00:20:09.775 Repo, ähm, agieren dürfen, ja, vielleicht soll der in Git rein oder in unserem 00:20:10.095 --> 00:20:13.376 Issue-Tracker schauen können, was, ähm, was verbirgt sich hinter einem Feature, ja, 00:20:13.719 --> 00:20:18.065 all das sind, sind Tools, die oft an Agenten, äh, angebunden wurden und die 00:20:18.065 --> 00:20:22.365 zum einen dann eben, ähm, Möglichkeit sind für eine Prompt Injection als Einfallstor, 00:20:22.365 --> 00:20:25.515 das haben wir vorhin gesehen, aber natürlich auch eine Möglichkeit, 00:20:25.515 --> 00:20:28.246 wie der Agent, ähm, der Coding Agent, 00:20:28.885 --> 00:20:32.315 dann eben Schaden anrichten kann und das berühmte Beispiel, 00:20:32.315 --> 00:20:35.404 das, äh, letztes Jahr, ähm, für viel, 00:20:36.542 --> 00:20:38.375 ja, vielleicht auch ein bisschen Freude. 00:20:40.655 --> 00:20:44.285 Gesorgt hat, weil der Artikel sehr, sehr unterhaltsam geschrieben war, 00:20:44.582 --> 00:20:47.035 ist eben hier das Beispiel von Replit, auch so ein, 00:20:47.735 --> 00:20:53.435 Webcoding-Anbieter, der eben die gesamte Produktionsdatenbank von einem Nutzer 00:20:53.435 --> 00:20:56.905 gelöscht hat und dann danach behauptet, er kann sie auch nicht wiederherstellen, 00:20:56.905 --> 00:20:58.148 obwohl er es gekonnt hätte, 00:20:59.375 --> 00:21:02.535 großartige Ausreden produziert hat, also wirklich, 00:21:03.235 --> 00:21:08.185 ja, wenn es nicht so tragisch wäre, ein sehr unterhaltsamer Vorfall, 00:21:08.185 --> 00:21:14.185 vor allem auch so wie der Autor das da eben berichtet hat und das war nur ein 00:21:14.185 --> 00:21:16.325 unbeabsichtigter Fehler. 00:21:16.325 --> 00:21:19.085 Das heißt, da hat der Agent einfach irgendwie Sachen verwechselt, 00:21:19.085 --> 00:21:21.773 man kann das natürlich nicht so ganz nachvollziehen, was da genau schief lief, 00:21:22.535 --> 00:21:25.465 aber man kriegt ein Gefühl dafür, was passieren kann, wenn ein Angreifer das 00:21:25.465 --> 00:21:31.113 wirklich darauf anlegt und da so einen Coding Agent bewusst manipulieren möchte. 00:21:31.775 --> 00:21:35.449 Solche Sachen kommen immer wieder um die Ecke, solche Erfahrungsberichte. 00:21:36.698 --> 00:21:42.715 Jetzt erst von diesem Jahr auch wieder, wo ein anderer Nutzer berichtet hat, 00:21:42.715 --> 00:21:48.155 jetzt den Claude-Code, das ist jetzt nicht auf einen bestimmten Agent beschränkt, ähnlicher Vorfall, 00:21:49.120 --> 00:21:53.235 ja, wo eigentlich die Idee war, er möchte irgendwie Kosten optimieren, 00:21:53.235 --> 00:21:55.985 hat da einen Agenten drauf losgeschickt und das Resultat war, 00:21:55.985 --> 00:21:59.435 dass die Datenbank dann weg war und dass er dann am Ende sogar mehr für seine 00:21:59.435 --> 00:22:00.605 Infrastruktur bezahlt hat. 00:22:00.605 --> 00:22:05.495 Also das ist auch ein schönes Beispiel dafür, was quasi ein Agent mit zu viel 00:22:05.495 --> 00:22:08.416 Toolzugriff alles für Schaden anrichten kann. 00:22:09.658 --> 00:22:12.167 Und dann sehen wir eben Sachen, wo das absichtlich passiert, 00:22:12.167 --> 00:22:16.407 also wo das kein Versehen ist, zum Beispiel bei Agent Skills, 00:22:16.867 --> 00:22:22.247 die ja auch fleißig im Internet geteilt werden, wo es eben Studien gibt, 00:22:23.107 --> 00:22:26.697 oder Versuche gibt, dass eben sehr viele von diesen Skills, 00:22:26.697 --> 00:22:30.735 die ja auch dann am Ende Teil von unserem Prompt werden, 00:22:31.919 --> 00:22:36.993 eben dafür genutzt wurden, um die Agenten zu übernehmen und dann auch dort wieder 00:22:37.300 --> 00:22:41.039 zum Beispiel Secrets auszuleiten, durch entsprechende Tools, 00:22:41.393 --> 00:22:45.979 also auch das ein Beispiel dafür, was durch zu viel. 00:22:47.413 --> 00:22:50.060 Ja, agentische Autonomie passieren kann. 00:22:50.785 --> 00:22:53.932 Also das muss einem an dieser Stelle eben bewusst sein. 00:22:55.027 --> 00:22:58.287 Alle Möglichkeiten, die ein Agent hat, kann dann eben zum Beispiel durch eine 00:22:58.287 --> 00:23:02.535 ausgenutzte Prompt Injection-Schwachstelle auch ein Angreifer nutzen. 00:23:03.191 --> 00:23:07.007 Also, hier mal so ein Beispiel, wie so ein malicious Agent-Skill ausschaut und 00:23:07.007 --> 00:23:11.677 auch ein Beispiel dafür, dass man sowas auch immer gut überprüfen muss und sich 00:23:11.677 --> 00:23:16.031 überlegen muss, ist das wirklich das, was der Agent machen soll. 00:23:17.927 --> 00:23:22.475 Gut. Das waren jetzt so die verschiedenen Bereiche rund um den Agenten selber. 00:23:22.475 --> 00:23:28.812 Jetzt müssen wir uns natürlich noch mit dem Output von dem Coding Assistant beschäftigen. 00:23:29.615 --> 00:23:35.412 Wie ist eigentlich die Code-Qualität und insbesondere die Security von generiertem Code? 00:23:35.998 --> 00:23:39.825 Und da ist zuerst mal zu verstehen, wir haben das ja auch in der Keynote heute 00:23:39.825 --> 00:23:47.285 schon gelernt, dass der Durchsatz und die schiere Menge an Code massiv steigt. 00:23:47.285 --> 00:23:52.795 Gibt's auch schöne Untersuchungen, jetzt hier eben auf einem Datenset mit, 00:23:54.075 --> 00:24:00.075 ja, fast einer halben Milliarde, glaube ich, von Line Changes aus verschiedenen 00:24:00.075 --> 00:24:05.115 großen Repositories, nicht nur Open Source, sondern auch eben Google, Microsoft, 00:24:06.289 --> 00:24:12.075 Meta, interne Repos, die da untersucht haben, wie verändert Copilot, 00:24:12.075 --> 00:24:17.247 Usage oder Agentic AI im Coding eben die, 00:24:17.875 --> 00:24:21.345 Art und Weise, wie entwickelt wird und das Spannendste, was man eben sehen kann, 00:24:21.345 --> 00:24:26.441 ist, dass der Code-Churn eben massiv ansteigt in den letzten Jahren, also. 00:24:27.415 --> 00:24:31.655 Die Menge an Code, der quasi immer wieder angefasst wird und das, 00:24:31.655 --> 00:24:34.835 was ich auch selber bei der Benutzung von Coding Assistants, 00:24:35.355 --> 00:24:39.935 merke, sie tendieren dazu, viel zu verändern, viel umzustrukturieren, 00:24:39.935 --> 00:24:41.686 wenn man sie davon nicht abhält, 00:24:42.122 --> 00:24:47.223 das heißt, immer mehr Code wird irgendwann mal von einem Coding Assistant angefasst 00:24:47.415 --> 00:24:50.285 Und deswegen ist es interessant zu schauen, ja gut, wie ist denn die Sicherheit 00:24:50.285 --> 00:24:52.077 von dem Code, der da generiert wird. 00:24:52.780 --> 00:24:57.769 Da gibt es ganz spannende Studien. Eine sehr umfangreiche war von Veracode aus 00:24:57.769 --> 00:25:01.829 dem letzten Jahr, wo sie über 100 verschiedene Modelle eben gefragt haben, 00:25:02.707 --> 00:25:09.859 ja, verschiedene Coding-Tasks gegeben haben und fast die Hälfte von allen Coding-Samples, 00:25:09.859 --> 00:25:10.879 die da rausgefallen sind, 00:25:11.589 --> 00:25:14.689 eben Schwachstellen hatten und oft auch einfach sehr simple, 00:25:14.689 --> 00:25:19.419 oberste Top-Ten-Schwachstellen, also jetzt nicht besonders ausgefeilte, 00:25:19.419 --> 00:25:23.839 sondern wirklich typische, einfache Schwachstellen, an die ein guter Entwickler, 00:25:23.839 --> 00:25:25.675 eine gute Entwicklerin eigentlich denken würde, 00:25:26.609 --> 00:25:31.730 war eben fast die Hälfte aller Coding-Aufgaben da der Fall. 00:25:32.072 --> 00:25:34.669 Und weil sie hier eben so viele Modelle sich angeschaut haben, 00:25:35.349 --> 00:25:39.619 war da auch ganz spannend zu sehen, die neueren Modelle sind in der Hinsicht 00:25:39.619 --> 00:25:45.464 Security gar nicht so viel besser als die Modelle, die schon ein bisschen älter waren. 00:25:45.743 --> 00:25:51.159 Die Studie ist schon fast ein Jahr alt, das ist in AI-Zeitalter natürlich irgendwie ein Jahrtausend. 00:25:52.909 --> 00:25:56.769 Aber auch die neueren Studien, die waren jetzt nicht ganz so umfangreich, 00:25:57.429 --> 00:26:02.763 die man da sieht, die zeigen so eine leichte Verbesserung mit den Modellen, aber die, 00:26:03.909 --> 00:26:07.989 wenn man die ungepromptete Security nimmt, also ohne, dass man besonders darauf 00:26:07.989 --> 00:26:12.718 achtet, dann ist die Sicherheit von generiertem Code immer noch relativ schlecht. 00:26:13.530 --> 00:26:16.789 Wenn man da ein bisschen tiefer reinsteigen möchte, dann finde ich BaxBench 00:26:16.789 --> 00:26:18.019 schon mal ein ganz tolles Projekt. 00:26:18.359 --> 00:26:21.808 Das ist ein Benchmarking eben für LLMs, Open Source. 00:26:22.116 --> 00:26:28.339 Dann kann man sich auf GitHub anschauen, welche Testcases da benutzt wurden, 00:26:29.099 --> 00:26:33.616 und kann das zum Beispiel auch mal für ein eigenes LLM ausführen. 00:26:33.906 --> 00:26:38.056 Das ist jetzt auch eine Studie aus dem letzten Jahr, die da aber auch gezeigt hat, ja, 00:26:39.599 --> 00:26:44.616 bei den, selbst bei dem besten Modell, das sie da eben getestet haben, 00:26:44.900 --> 00:26:49.489 waren fast zwei Drittel entweder falsch oder haben eine Schwachstelle enthalten. 00:26:49.489 --> 00:26:52.429 Und insgesamt über alle Modelle, die wir da eben getestet haben, 00:26:52.429 --> 00:26:57.779 das ist jetzt der aktuelle Stand, den ich mal gezogen habe, es sind eigentlich, 00:26:59.219 --> 00:27:03.993 im Durchschnitt in der Hälfte aller Antworten noch hier eine Schwachstelle enthalten. 00:27:05.729 --> 00:27:09.719 Was für Schwachstellen sind das? Ich habe meine Erfahrungen mit Schwachstellen 00:27:09.719 --> 00:27:14.493 aus Coding Assistants mal in vier Cluster eingeteilt. 00:27:15.639 --> 00:27:18.959 Zum einen gibt es die Schwachstellen, die irgendwie darauf basieren, 00:27:18.959 --> 00:27:23.629 dass die Coding Assistants sehr auf den Happy Path fokussiert sind, 00:27:23.629 --> 00:27:28.249 also auf die Funktionalität, auf das umzusetzen, was von ihnen verlangt wird 00:27:28.249 --> 00:27:29.739 erstmal, die Beschreibung, 00:27:30.399 --> 00:27:34.549 die man ihnen gibt, und dass dann gerne eben begleitende Sicherheitsmaßnahmen 00:27:34.549 --> 00:27:37.237 vergessen werden, also eine Autorisierung, also eine Rechtevergabe, 00:27:37.556 --> 00:27:40.709 ein Rate Limiting oder auch schon irgendwie einfach nur ein Error Handling, 00:27:40.709 --> 00:27:42.816 dass das irgendwie Sachen sind, die fehlen. 00:27:43.617 --> 00:27:49.181 Dann gibt es natürlich den Aspekt, dass, ja, die auch nur auf unsicherem Code 00:27:49.181 --> 00:27:53.691 trainiert wurden, das heißt, manche Sachen sind auch einfach gelernt, 00:27:53.691 --> 00:27:56.655 das ist das, was man früher als Stack-Overflow-Effekt bezeichnet hat. 00:27:57.601 --> 00:28:02.721 Wo eben in den Trainingsdaten schon irgendwie unsichere Sachen waren oder irgendwelche 00:28:02.721 --> 00:28:08.191 alten Patterns, alten Cypher, zum Beispiel gerade bei Krypto irgendwie benutzt 00:28:08.191 --> 00:28:10.835 waren, die man heute eigentlich nicht mehr benutzen möchte. 00:28:11.386 --> 00:28:13.691 Dann natürlich das Thema Architectural Blindness. Ich glaube, 00:28:13.691 --> 00:28:16.561 das ist der Bereich, der sich am meisten verbessert, weil die Modelle immer 00:28:16.561 --> 00:28:19.781 besseres Verständnis, einen größeren Kontext, ein besseres Verständnis für ein 00:28:19.781 --> 00:28:22.841 gesamtes Projekt bekommen, aber halt trotzdem vielleicht immer noch nicht, 00:28:23.761 --> 00:28:27.371 die gesamte Domäne überblicken, alles komplett verstehen, verstehen, 00:28:27.371 --> 00:28:30.821 was hat man eigentlich für ein Trust-Model, gerade wenn man irgendwie nur ein 00:28:31.141 --> 00:28:35.571 Sub-Projekt hat und das Modell nicht weiß, was sind denn die entsprechenden 00:28:35.571 --> 00:28:37.724 anderen Komponenten, mit denen wir arbeiten. 00:28:38.049 --> 00:28:40.528 Das ist all das, was in die Klasse fällt. 00:28:41.195 --> 00:28:44.875 Und dann natürlich, wir arbeiten hier immer noch mit LLMs. LLMs halluzinieren fröhlich. 00:28:45.259 --> 00:28:50.101