KI-Wörterbuch / Content-Moderation
🛡️ Sicherheit und Qualität
Content-Moderation
Automatische Filterung von Modell-Ein- und -Ausgaben auf verbotene Inhalte.
Moderation im KI-Kontext ist die automatische Prüfung von Inhalten auf verbotene Kategorien: Gewalt, sexuelle Inhalte, Hassrede, Selbstverletzung. Filter prüfen sowohl das, was der Nutzer eingibt, als auch das, was das Modell generiert - und Moderationssysteme sind selbst KI-Modelle. Für App-Entwickler stellen Anbieter separate Moderationstools bereit, die man vor und nach dem Hauptmodell einbauen sollte. Für Nutzer ist Moderation oft eine Quelle der Frustration bei Fehlalarmen - sie ist verantwortlich für Ablehnungen bei harmlosen, aber zweideutig klingenden Anfragen.
Verwandte Begriffe