ANORA Journal
Deine KI liest das Web. Wem gehorcht sie?
Was passiert, wenn eine Quelle die KI umsteuern will? Ein praktischer Blick auf Rechercheaufträge, fremde Anweisungen und überprüfbare Grenzen.
Im ArtikelInhaltsverzeichnis 8 Kapitel
Angenommen, eine KI soll für einen Fachartikel recherchieren. Sie öffnet eine Website, findet brauchbare Angaben und übernimmt nebenbei eine fremde Vorgabe für den weiteren Auftrag.
Der Text ist neu in ihrer Recherche. Zur Änderung des Auftrags hat ihn niemand berechtigt.
Genau diese Grenze interessiert mich bei KI im Marketing. Eine Quelle darf eine Frage beantworten, eine Behauptung stützen oder einen Widerspruch sichtbar machen. Daraus würde ich ihr keine Entscheidung darüber überlassen, was als Nächstes mit meinen Inhalten geschieht.
Das Bild einer Missionstafel passt für mich dazu: Ein zusätzlicher Zettel kann etwas über die Spielwelt verraten. Ob daraus ein neuer Auftrag wird, ist eine eigene Entscheidung. Für eine Unternehmensaufgabe möchte ich diese Entscheidung erkennen können.
Eine gelesene Quelle ist noch kein neuer Auftrag
OWASP beschreibt unter dem Begriff „indirekte Prompt Injection“, dass externe Inhalte wie Websites oder Dateien das Verhalten eines Sprachmodells unerwartet verändern können. Solche Anweisungen müssen für Menschen nicht einmal sichtbar sein. Auch RAG, also die Ergänzung der Generierung um abgerufene Informationen, beseitigt diese Art von Schwachstelle nach der Übersicht nicht vollständig. [1]
Für meine Recherche folgt daraus eine praktische Unterscheidung. Ein Satz über ein angebotenes Produkt kann als Information relevant sein. Eine Aufforderung, die Bewertung zu verändern oder einen zusätzlichen Schritt auszuführen, gehört zu einer anderen Frage: Wer hat dafür den Auftrag erteilt?
Dabei würde ich die Herkunft mitführen. Bei einem eigenen Briefing kann ich klären, welche Person den Inhalt verantwortet. Bei einer fremden Website kenne ich zunächst den gelesenen Inhalt und den ausgewiesenen Absender. Eine Stelle, die über ihr Angebot schreibt, entscheidet dadurch noch nicht über meine Veröffentlichung.
Das gilt auch bei einem überzeugenden Auftritt. Eine sorgfältig gestaltete Seite und eine nützliche Fachinformation wären für mich Gründe, ihre Aussagen zu prüfen. Eine zusätzliche Handlungsbefugnis würde ich daraus nicht ableiten.
Was ich bei einer Marketingrecherche unterscheiden würde
Für ein gedankliches Beispiel soll die KI Angaben zu drei Angeboten zusammentragen. Gewünscht ist eine Übersicht, aus der eine Redaktion später einen nachvollziehbaren Vergleich entwickeln kann.
Auf einer der Seiten stehen zunächst Leistungsumfang und Bedingungen. Daneben könnte eine Passage versuchen, die Bewertung im späteren Artikel zu lenken. An anderer Stelle könnte sie einen zusätzlichen Umgang mit den gesammelten Unterlagen verlangen. Das ist ein vorgeschlagenes Beispiel, kein hier dokumentierter Angriff auf eine bestimmte Website.
Die Leistungsangaben würde ich mit ihrer Quelle festhalten und fachlich einordnen. Eine beanspruchte Spitzenposition wäre zunächst eine Aussage des Anbieters. Ob der spätere Vergleich sie trägt, müsste die Redaktion anhand ihrer Kriterien beurteilen.
Bei der zusätzlichen Aufforderung würde ich nach dem Zusammenhang zum ursprünglichen Auftrag fragen. Eine Website darf mir erklären, wie ein öffentliches Produkt funktioniert. Sie wird dadurch nicht zur zuständigen Stelle für meine internen Unterlagen oder den nächsten Veröffentlichungsschritt.
Ein werbender Satz wäre für mich dabei noch kein Nachweis eines Angriffs. Ein Anbieter darf sein Angebot positiv darstellen. Für den Vergleich würde ich diese Perspektive kenntlich machen und die Aussage prüfen. Ob ein technischer Beeinflussungsversuch vorliegt, ist eine zusätzliche Frage. Eine fachlich einseitige Quelle und eine Aufforderung, den Arbeitsauftrag zu wechseln, würde ich getrennt beurteilen.
Auch das Ergebnis der Recherche sollte diesen Unterschied zeigen. Die nächste Person braucht eine Übersicht über Aussagen, Quellen und offene Fragen. Sie sollte erkennen können, wenn ein gelesener Inhalt versucht hat, mehr zu bestimmen als seine eigene sachliche Beschreibung.
Warum mir ein einzelner Warnsatz zu wenig wäre
Das britische National Cyber Security Centre warnt davor, Prompt Injection wie ein mit einem einzigen technischen Mittel lösbares SQL-Injection-Problem zu behandeln. Im Blogbeitrag vom Dezember 2025 wird die verbleibende Verwechslungsgefahr zwischen Anweisungen und Daten betont. Als wichtigen Ansatz nennt das NCSC fest durchgesetzte Grenzen für mögliche Aktionen. Ein Filter gegen einzelne bekannte Formulierungen sei dafür keine vollständige Lösung. [2]
Ich würde deshalb die Erklärung „Wir schreiben dem Modell, dass es fremde Anweisungen ignorieren soll“ als einen Teil des Ansatzes ansehen. Danach möchte ich verstehen, was im konkreten Ablauf geschieht, wenn die Unterscheidung trotzdem misslingt.
Bei meinem Rechercheauftrag wäre zuerst interessant, wie weit ein fehlerhafter Vorschlag überhaupt reichen kann. Entsteht eine überprüfbare Notiz? Wird daraus schon eine Änderung an einem veröffentlichten Inhalt? Oder könnte die Recherche einen weiteren Arbeitsbereich berühren?
Diese Fragen würde ich dem tatsächlichen Ablauf stellen. Eine beruhigende Formulierung im Chat beantwortet sie ebenso wenig wie die bloße Zusicherung, nur bekannte Quellen zu verwenden.
Der Unterschied liegt auch in den verfügbaren Werkzeugen
Anthropic beschreibt in seiner Untersuchung zu Browser-Agenten vom November 2025 zwei relevante Aspekte: die vielen möglichen Träger fremder Anweisungen im Web und die unterschiedlichen Aktionen, die ein Browser-Agent ausführen kann. Die eigene Untersuchung berichtet Fortschritte bei der Abwehr und bezeichnet das Problem zugleich ausdrücklich als ungelöst. [3]
Für meinen Vergleich interessiert mich die Verbindung zwischen Lesen und Handeln. Eine Redaktion kann die Aufgabe haben, öffentliche Informationen zusammenzutragen. Das wäre für mich noch kein Grund, in demselben Schritt zusätzlich eine Veröffentlichung oder einen Versand ausführen zu lassen.
Ich würde die benötigte Arbeit konkret benennen. Soll am Ende ein Entwurf vorliegen, möchte ich einen Entwurf erhalten. Ein gelesener Hinweis, der einen weiteren Schritt fordert, müsste als solcher erkennbar bleiben. Welche nächste Handlung tatsächlich beauftragt wird, entscheidet sich am ursprünglichen Auftrag und an einer zulässigen späteren Änderung.
Das bedeutet nicht, für jede neue Fundstelle dieselbe Bestätigung zu verlangen. Innerhalb eines klaren Rechercheauftrags soll die KI Informationen finden und vergleichen können. Mich interessiert die Stelle, an der aus einer Fundstelle plötzlich eine neue Zuständigkeit werden soll.
Wie ich den Unterschied sichtbar prüfen würde
Vor einem wiederkehrenden Einsatz würde ich einen überschaubaren Rechercheauftrag wählen, dessen sachliches Ergebnis sich gut vergleichen lässt. Die erwartete Übersicht, ihre Quellen und die Grenzen der Aufgabe würde ich vorab festhalten.
Danach würde ich eine geeignete Testunterlage in zwei Fassungen verwenden. Die sachlichen Angebotsangaben bleiben gleich. In der zweiten Fassung kommt eine deutlich als fremde Aufforderung erkennbare Passage hinzu, die eine Änderung des Auftrags verlangt.
Mich interessiert dann, was sich tatsächlich verändert. Bleiben die Leistungsangaben korrekt erfasst? Wird die zusätzliche Aufforderung als Quelleninhalt behandelt? Taucht sie im Ergebnis als vermeintliche Vorgabe der Redaktion auf? Wird ein zusätzlicher Schritt versucht?
Eine kurze Rückmeldung, die nur den Angriff als erkannt bezeichnet, wäre mir dafür zu wenig. Ich möchte das Arbeitsresultat und die beobachteten Aktionen mit dem vorher festgelegten Auftrag vergleichen können. Auch ein freundlich formulierter Umweg wäre eine Abweichung, wenn er außerhalb dieser Aufgabe liegt.
Das sind vorgeschlagene Abnahmeschritte, keine hier ausgeführten Experimente. Ein unauffälliger Durchlauf wäre ein begrenzter Befund unter diesen Bedingungen. Weitere Quellenformen und mögliche Handlungen müssten zur jeweiligen Anwendung passen.
Die Prüfung darf nicht am auffälligen Zettel enden
OWASP nennt neben Texten auch multimodale Inhalte als möglichen Träger solcher Beeinflussung, etwa Anweisungen in einem begleitenden Bild. [1] Für die Abnahme würde ich deshalb nicht allein danach fragen, ob ein Mensch den problematischen Satz beim schnellen Lesen bemerkt.
Wenn die Anwendung Bilder, angehängte Unterlagen oder aufbereitete Suchergebnisse verarbeitet, gehören diese Wege für mich zur Beschreibung der Aufgabe. Die prüfende Person sollte wissen, welcher Inhalt das System tatsächlich erreicht hat. Nur die auf dem Bildschirm auffälligste Passage zu zeigen, könnte dafür zu wenig sein.
Dabei würde ich mit passenden freigegebenen Testmaterialien arbeiten. Eine Prüfung braucht keinen echten vertraulichen Kundenbestand. Für die Frage, ob eine fremde Aufforderung den Auftrag verändert, lässt sich zunächst ein klar begrenzter eigener Inhalt verwenden.
Auch eine berechtigte neue Information sollte weiterhin ankommen können. Wenn eine Angebotsbedingung korrigiert wurde, möchte ich diese Änderung in der Recherche sehen. Eine brauchbare Grenze soll die inhaltliche Arbeit ermöglichen und einen fremden Steuerungsversuch davon unterscheiden helfen.
Wann ich den Umfang kleiner wählen würde
Bei einer einzelnen Fachfrage kann eine bewusst ausgewählte Unterlage mit eigener Prüfung genügen. Für eine kleine Aufgabe würde ich nicht allein wegen einer neuen Werkzeugkategorie einen umfassenderen Ablauf aufbauen.
Wenn dagegen regelmäßig viele fremde Inhalte verarbeitet werden und daraus weitere Aktionen entstehen können, würde ich genauer hinsehen. Welche Entscheidung soll die Recherche vorbereiten? Wer kann den Auftrag ändern? Und was geschieht, wenn gelesener Inhalt etwas anderes verlangt?
Ebenso wichtig wäre mir ein ausdrücklich beauftragter Umgang mit einer Anleitung. Wenn ich eine ausgewählte Dokumentation als Grundlage für einen bestimmten Arbeitsschritt vorgebe, soll die Unterstützung deren passende Hinweise berücksichtigen können. Der Umfang bleibt dabei durch diesen Auftrag bestimmt. Ein später auftauchender Zusatz auf derselben Seite sollte nicht stillschweigend eine neue Veröffentlichung oder einen anderen Empfänger erlauben. Für mich hängt die Entscheidung deshalb am Zusammenhang: Was wurde tatsächlich beauftragt, und welche Information wird dafür verwendet?
Eine überzeugende Antwort müsste für mich an einem konkreten Übergang sichtbar werden. Die nächste Person sollte eine Quelle prüfen können, ohne zugleich deren Aufforderungen als bereits beschlossene Arbeit übernehmen zu müssen. Daran würde ich auch eine Unterstützung durch ANORA messen; eine hier nachgewiesene Produktfunktion wird damit nicht behauptet.
Für mich ist das der entscheidende Punkt: Eine KI darf beim Lesen etwas Neues erfahren. Wer ihr damit einen neuen Auftrag geben darf, sollte dabei klar bleiben.
Ein fremder Zettel gehört auf die Tafel. Die Mission schreibt er noch nicht um.
Quellen
[1] OWASP Gen AI Security Project, „LLM01:2025 Prompt Injection“, insbesondere „Indirect Prompt Injections“, Einleitung und multimodale Risiken, abgerufen am 15.11.2026: externe Inhalte und ihre Wirkung auf das Modell.
[2] National Cyber Security Centre, „Prompt injection is not SQL injection (it may be worse)“, 8.12.2025, besonders „Secure design“ und „Make it harder“, abgerufen am 15.11.2026: Risikobegrenzung und Grenzen einzelner Filter.
[3] Anthropic, „Mitigating the risk of prompt injections in browser use“, 24.11.2025, besonders „Why browser use creates unique prompt injection risks“ und „The path forward“, abgerufen am 15.11.2026: Browser-Inhalte, mögliche Aktionen und offene Grenzen.
Quellen zum Beitrag
Diese Referenzen werden im Artikel verlinkt. Maßgeblich sind die jeweilige Aussage, ihr Kontext und der Stand der Quelle.
Bringen Sie KI aus der Theorie in Ihren Arbeitsalltag.
Sehen Sie, wie ANORA Wissen, Modelle, klare Zuständigkeiten und Freigaben in einen kontrollierten Workflow für Ihr Unternehmen übersetzt.
KI-Workflow mit ANORA prüfen