Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Leitfaden zum Umgang mit CSAM

CSAM vorbeugen, erkennen und auf Vorfälle reagieren.

Bei der Entwicklung dieses Leitfadens hat sich OpenAI von der Tech Coalition, von Thorn, vom National Center for Missing & Exploited Children (NCMEC) und von der Internet Watch Foundation (IWF) fachlich beraten lassen.

Kinderschutz bei der Entwicklung berücksichtigen

OpenAI hat klare Erwartungen an den Kinderschutz bei der Produktentwicklung. Du bist dafür verantwortlich, dass die Menschen, die dein Produkt nutzen, bei der Nutzung der Dienste von OpenAI die geltenden Gesetze einhalten. Dazu gehören Gesetze, die den sexuellen Missbrauch und die sexuelle Ausbeutung von Kindern unter Strafe stellen. Nutze die Dienste von OpenAI niemals, um Personen unter 18 Jahren auszubeuten, zu gefährden oder zu sexualisieren. Beachte die Nutzungsrichtlinien von OpenAI.

Sexuelle Ausbeutung und sexueller Missbrauch von Kindern im Internet betreffen viele Produkte und Dienste, auch solche, die sich nicht an Kinder richten. OpenAI möchte Entwicklungsteams dabei unterstützen, geeignete Maßnahmen gegen diesen Missbrauch zu finden.

Überlege so früh wie möglich, wie Menschen dein Produkt missbrauchen könnten. Wenn du den Kinderschutz von Anfang an einplanst, können die Schutzmaßnahmen mit deinem Produkt wachsen. So musst du sie später nicht in ein bereits komplexes Produkt oder System integrieren. Entwicklungsteams und Organisationen jeder Größe sollten prüfen, welche Formen des Missbrauchs ihre Produkte ermöglichen könnten. Dazu zählen Darstellungen des sexuellen Missbrauchs von Kindern (CSAM), die gezielte Kontaktanbahnung zum sexuellen Missbrauch (Grooming), sexuelle Erpressung, die Sexualisierung von Kindern, die Liveübertragung von Missbrauch und Menschenhandel. Das gilt besonders für Produkte, über die Menschen Nachrichten austauschen, Inhalte hochladen, Bilder bearbeiten, Livestreams übertragen, Personen oder Inhalte entdecken oder Zahlungen abwickeln können.

Dieser Leitfaden konzentriert sich auf CSAM und zeigt dir, wie du Kinder bei der Entwicklung deiner Produkte schützen kannst.

Erste Schritte

Der Einstieg kann schwerfallen. Welche Lösungen sich eignen und wie du sie umsetzt, hängt von der Größe, dem Entwicklungsstand und den verfügbaren Ressourcen deiner Organisation ab.

Die folgende Checkliste hilft dir bei den ersten Schritten im Umgang mit CSAM. Geh das Risiko frühzeitig an. Warte nicht, bis dir alle Werkzeuge zur Verfügung stehen oder du jeden Schritt abgeschlossen hast.

Vorbeugen

Lege klare Regeln für dein Produkt oder deinen Dienst fest. Gib den Menschen, die dein Angebot nutzen, die Möglichkeit, dir von ihren Erfahrungen zu berichten.

  • Lege klare Regeln fest. Untersage sexuelle Ausbeutung und sexuellen Missbrauch von Kindern in deinen Nutzungsbedingungen, deinen Richtlinien zur zulässigen Nutzung oder deinen Community-Richtlinien. Fachliche Empfehlungen und praktische Werkzeuge findest du bei der TSPA oder im kostenlosen Pathways-Programm der Tech Coalition. Dazu gehört eine Übersicht über externe Standards, die sexuelle Ausbeutung und sexuellen Missbrauch von Kindern im Internet untersagen.
  • Mach die Meldefunktion leicht zugänglich. Biete eine gut sichtbare Möglichkeit, potenziell schädliche Inhalte oder Verhaltensweisen zu melden. Leite die Meldungen an eine regelmäßig geprüfte Warteschlange oder eine betreute Anlaufstelle weiter. Übermittle dabei genügend Informationen, damit das zuständige Team anhand deiner Richtlinien entscheiden kann. Weitere Hinweise gibt die australische Behörde eSafety Commissioner.
  • Nutze Sicherheitskennungen, um Uploads einzelnen Personen zuzuordnen. Ordne in deinem Produkt oder Dienst jeden Upload der Person zu, die ihn vorgenommen hat. Wenn du bei unterstützten Anfragen an OpenAI Sicherheitskennungen mitsendest, kann das OpenAI helfen, die Nutzung zu überwachen und Missbrauch zu erkennen. Stellt OpenAI in deinem Produkt oder Dienst Richtlinienverstöße fest, kann dein Team dadurch konkretere Hinweise für das weitere Vorgehen erhalten. Sicherheitskennungen können deinem Team auch helfen, schneller auf Missbrauch zu reagieren. Mit einer stabilen Kennung lassen sich Aktivitäten zu einer einzelnen Person zurückverfolgen. So sinkt das Risiko, dass der Missbrauch durch eine Person den Zugang für deine gesamte Organisation beeinträchtigt. Verwende für jede Person eine eindeutige Zeichenfolge. Bilde vor dem Senden Hashwerte aus E-Mail-Adressen oder Anmeldenamen, um die Privatsphäre zu schützen und keine personenbezogenen Daten offenzulegen. Wenn du die Images API direkt verwendest, sende dieselbe stabile Kennung als safety_identifier für die Bildgenerierung und die Bildbearbeitung. Der Parameter user ist veraltet, wird aber aus Gründen der Abwärtskompatibilität weiterhin unterstützt.

Wenn du die Prävention ausbauen möchtest, kommen weitere Maßnahmen infrage:

  • Blockiere Schlüsselwörter oder URLs mit CSAM-Bezug oder lehne entsprechende Anfragen ab, um Missbrauch vorzubeugen. Mehr dazu erfährst du bei der IWF.
  • Zeige Personen, die versuchen, deinen Dienst im Zusammenhang mit CSAM zu missbrauchen, Warnungen oder Hinweise an. Mehr dazu erfährst du bei Stop It Now.
  • Wenn Kinder deinen Dienst nutzen können und dir jemand mitteilt, dass auf deiner Plattform sexuelle Bilder oder Videos von der eigenen Person zu finden sind, verweise die betroffene Person auf Hilfsangebote. Über das Programm Report Remove von IWF und NSPCC können Kinder im Vereinigten Königreich Bilder und Videos zur Entfernung oder Sperrung melden. Ein weiteres Angebot ist Take It Down vom NCMEC.
  • Wenn du erfährst, dass ein Kind akut gefährdet ist oder ihm unmittelbar Gefahr droht:
    • Informiere die zuständigen Einsatzkräfte, etwa die örtliche Polizei.
    • Erkläre dem Kind, wie es die Einsatzkräfte erreichen kann.

Erkennen

Erkenne Inhalte oder Verhaltensweisen, die möglicherweise gegen deine Richtlinien verstoßen, damit dein Team sie prüfen und Maßnahmen ergreifen kann.

Nutze verfügbare Werkzeuge zur CSAM-Erkennung:

  • Abgleich wahrnehmungsbasierter Hashwerte. Wenn dein Produkt das Hochladen, Speichern oder Verarbeiten von Bildern oder Videos unterstützt, solltest du den Abgleich wahrnehmungsbasierter Hashwerte in Betracht ziehen. Diese Technik erzeugt einen digitalen Fingerabdruck eines Bildes oder Videos und vergleicht ihn mit Fingerabdrücken von bekanntem CSAM. So lässt sich bekanntes Material auch dann erkennen, wenn jemand die Bildgröße geändert, die Datei komprimiert oder sie anderweitig bearbeitet hat. Du brauchst sowohl Zugang zu einer Technologie für den Hashabgleich, etwa PhotoDNA, als auch zu CSAM-Hashlisten. Diese Listen enthalten Hashwerte von bekanntem CSAM. Nicht alle Dienste bieten beides an.
    • Empfohlene Technologien für den Hashabgleich:
    • Empfohlene CSAM-Hashlisten:
      • Das NCMEC bietet Hashlisten für bekanntes CSAM, für Inhalte, die Kinder ausbeuten, und für mit generativer KI erstelltes CSAM an. Wende dich an das Team für Anbieter elektronischer Dienste des NCMEC.
      • Die IWF bietet Image Intercept an. Kleine Unternehmen und Start-ups, die die Voraussetzungen erfüllen, können diesen Dienst für den Hashabgleich mit geringen technischen Vorkenntnissen integrieren.
  • Klassifikatoren für bislang unbekanntes CSAM. Diese Werkzeuge können CSAM erkennen, das bislang unbekannt war oder noch nicht gesichtet wurde.
    • Safer by Thorn bietet Klassifikatoren an, die darauf ausgelegt sind, möglicherweise bislang unbekanntes CSAM in Bildern und Videos sowie Hinweise auf sexuelle Ausbeutung in Texten zu erkennen.
    • Die Content Safety API von Google klassifiziert Bilder und Videos mithilfe von KI und weist ihnen eine Priorität für die Prüfung zu. Je höher die vom Klassifikator zugewiesene Priorität, desto wahrscheinlicher enthält das Bild oder Video CSAM.
  • Verantwortliche identifizieren und Richtlinien durchsetzen. Nutze verfügbare Kennungen und Informationen wie Anmeldenamen, E-Mail-Adressen und Geräte-IDs. Prüfe damit, ob du Konten dauerhaft sperren oder ihre Nutzung anderweitig einschränken solltest, wenn Personen darüber gegen CSAM-Richtlinien verstoßen oder dies versucht haben. Achte darauf, ob Personen wiederholt Verstöße begehen und versuchen, die Maßnahmen zu umgehen.

Reagieren und melden

Stelle sicher, dass dein Team angemessen reagieren kann und dein Produkt die nötigen Funktionen dafür bietet, sobald du von CSAM in deinem Dienst erfährst.

  • Registriere dich und bereite dich darauf vor, CSAM den Behörden zu melden. Registriere dich beim NCMEC oder bei deiner örtlichen Meldestelle. Überlege, welche Angaben das NCMEC braucht, um auf eine Meldung zu reagieren, und wie deine Meldung zum Schutz von Kindern beitragen kann. Gib möglichst viele Informationen an, damit die Meldung an die örtlich zuständige Behörde gelangt und die verdächtige Person identifiziert werden kann. Die Dokumentation zu den Meldefeldern des NCMEC führt unter anderem IP-Adressen und Geräte-IDs auf.

Je nach Rechtsordnung können unterschiedliche Gesetze und Meldepflichten gelten.

  • Bewahre aussagekräftige Aufzeichnungen und Kennungen auf. Dokumentiere bei einer Meldung den Vorfall und bewahre alle zugehörigen Daten auf, die helfen könnten, die für den Verstoß verantwortlichen Personen zu identifizieren. So kannst du Anfragen der Strafverfolgungsbehörden beantworten.
  • Erstelle einen Leitfaden für den Umgang mit Vorfällen. Lege fest, wer Meldungen prüft, wie dein Team dringende Fälle intern und extern eskaliert, welche Maßnahmen es gegen die für Verstöße verantwortlichen Personen ergreifen soll und wer darüber entscheiden darf. Dieser Leitfaden der TSPA kann dir helfen, Abläufe zur Durchsetzung deiner Richtlinien festzulegen.
  • Erwäge, ein Netzwerk vertrauenswürdiger Fachstellen aufzubauen. Organisationen wie die IWF und andere Meldestellen können CSAM-Fälle dank ihrer Erfahrung erkennen und dir melden.
  • Schule und unterstütze die beteiligten Personen. Es ist wichtig, Menschen in die Prüfung und Entscheidungsfindung einzubeziehen. Sorge dafür, dass Prüfteams, Supportteams und Mitarbeitende im Bereitschaftsdienst deine Richtlinien, die Eskalationswege und die Grenzen der eingesetzten automatisierten Systeme kennen.
  • Nutze geeignete Werkzeuge, um Inhalte zu moderieren oder auf Missbrauch zu reagieren. Weitere Werkzeuge können dir helfen, Risiken für Kinder zu begegnen und auf konkrete Schäden zu reagieren:
    • Die Moderation API erkennt potenziell schädliche Inhalte in Texten und Bildern. Erfahre mehr über das Modell omni-moderation-latest. Es ersetzt keine spezialisierte CSAM-Erkennung. Es enthält weiterhin die Kategorie sexual/minors für sexuelle Inhalte, die Personen unter 18 Jahren betreffen. Diese Kategorie gilt ausschließlich für Text. Mithilfe der Ergebnisse kannst du:
      • Inhalte sperren oder filtern.
      • Inhalte von Menschen prüfen lassen.
      • Maßnahmen für ein bestimmtes Konto ergreifen.
      • Wiederholten Missbrauch erschweren und die für dein Produkt oder deinen Dienst vorgesehenen Maßnahmen durchsetzen.
    • Prüfe, welche weiteren Moderationswerkzeuge dir helfen könnten. Coop von ROOST ist beispielsweise eine Open-Source-Prüfkonsole, mit der du mögliche Richtlinienverstöße in Texten, Multimedia-Inhalten und Profilen sichten und priorisieren kannst. Sie unterstützt sowohl die Prüfung durch Menschen als auch automatisierte Prüfungen und berücksichtigt das Wohlbefinden der prüfenden Personen. Mit ihr lassen sich vollständige Moderationsabläufe umsetzen, einschließlich Meldungen an die CyberTipline des NCMEC.

Wenn du den Umgang mit Vorfällen und das Meldeverfahren ausbauen möchtest, kommen weitere Maßnahmen infrage:

  • Unterstütze die Menschen, die gegen CSAM vorgehen. Organisationen sollten in Schulungen, Unterstützung und ein Programm für das Wohlbefinden der Personen investieren, die CSAM prüfen. Ziehe dazu die Empfehlungen von WeProtect heran.
  • Hol dir fachliche Unterstützung. Für den Einstieg brauchst du kein großes Trust-and-Safety-Team. Die Tech Coalition bietet Unternehmen mehrere Möglichkeiten, ihre Kinderschutzmaßnahmen zu stärken:
    • Pathways ist ein kostenloses Programm, das Unternehmen beim Aufbau eigener Kinderschutzkompetenzen unterstützt. Es richtet sich besonders an Start-ups sowie kleine und mittlere Plattformen und steht Unternehmen jeder Größe offen. Mit praxisnahen Materialien, Leitfäden und Unterstützung hilft es Unternehmen, die Grundlagen für einen wirksamen Kinderschutz zu schaffen. Unternehmen, die die Voraussetzungen erfüllen, können über Pathways auch eine Unterlizenz für PhotoDNA beantragen.
    • Elevate bietet individuelle Beratung und Unterstützung bei der Umsetzung. Das Angebot richtet sich an Unternehmen, die praktische Hilfe brauchen, um ihre Kinderschutzprogramme zu stärken und auf konkrete Risiken zu reagieren.
    • Eine Mitgliedschaft in der Tech Coalition ermöglicht es Unternehmen, sich weltweit am gemeinsamen Vorgehen der Branche gegen sexuelle Ausbeutung und sexuellen Missbrauch von Kindern im Internet zu beteiligen. Sie können sich mit anderen Unternehmen austauschen, Fachwissen teilen und zu gemeinsamen Maßnahmen beitragen. Wende dich für ein erstes Beratungsgespräch an das Team der Tech Coalition.
    • Weitere Orientierung für die Entwicklung bieten die bewährten Verfahren zum Kinderschutz der Tech Coalition.

Schutzmaßnahmen ausbauen

Welche Kontrollen und Schutzmaßnahmen geeignet sind, hängt vom Produkt ab. Berücksichtige seine Entwicklungsphase und seinen Reifegrad, die Menschen, die es nutzen, seine Funktionen, die Regionen, in denen es angeboten wird, und die verfügbaren Ressourcen.

Bei Produkten mit erhöhtem Risiko solltest du prüfen, welche Schutzmaßnahmen du einführen oder verstärken kannst. Das betrifft etwa Produkte, die Livestreaming, Bildgenerierung oder Bildbearbeitung, Dateispeicherung oder private Kontakte ermöglichen. Folgende Maßnahmen kommen infrage:

  • Bewerte die Produktrisiken vor der Einführung und bei jeder Änderung an Funktionen mit hohem Risiko. Beachte die Hinweise von Ofcom zur Risikobewertung.
  • Kombiniere Erkennungsverfahren passend zu deinem Dienst. Dazu können Hashabgleich, Bild- oder Videoklassifikatoren, Hinweise in Texten, die Erkennung von Schlüsselwörtern und URL-Sperren gehören.
  • Lass besonders zuverlässige Hinweise und Hinweise auf schwerwiegende Vorfälle von Menschen prüfen. Nutze Werkzeuge, die das Wohlbefinden des Prüfteams schützen und unnötigen Kontakt mit schädlichem Material begrenzen.
  • Erschwere wiederholten Missbrauch durch Ratenlimits, Kontrollen auf Kontoebene und die Überwachung auf Anzeichen von Missbrauch.
  • Teste regelmäßig, wie deine Kontrollen funktionieren, und miss ihre Wirksamkeit. So kannst du Lücken erkennen, Ergebnisse verfolgen und die Kontrollen verbessern.

Diese Empfehlungen dienen als Ausgangspunkt. Sie ersetzen keine Rechtsberatung und legen keinen allgemein gültigen Sorgfaltsmaßstab fest. Passe sie an deinen Dienst, dein Risikoprofil und das geltende Recht an.