JetBase Logo

KI-Inhaltsmoderator – Echtzeit-Plattform für multimodale Moderation

A multimodal AI moderation system enforces platform-specific policies across text, images, and video in real time.

~75% of violations are blocked automatically, with moderation decisions delivered in under 600ms.

TechnologiesReactNestJS
ServicesIndividualsoftwareWebDesignDevOpsLMS
Banner

Kontext

Kontext - Bild

Eine schnell wachsende soziale Netzwerkplattform, die unter strengen Community- und regulatorischen Anforderungen operierte, verließ sich stark auf menschliche Moderatoren, um Text, Bilder und Videos zu überprüfen. Mit zunehmendem Inhaltsvolumen wuchsen die Moderationswarteschlangen schneller, als das Team sie skalieren konnte, was Entscheidungen verlangsamte und das Risiko erhöhte, dass Verstöße Nutzer erreichten.

Generische Moderationstools waren nicht ausreichend. Die Richtlinien der Plattform erforderten Sensibilität für kulturelle und regionale Kontexte, während sich die Vorgaben regelmäßig änderten. Der Kunde benötigte ein Moderationssystem, das schnelle Entscheidungen vor der Veröffentlichung treffen, sich an plattformspezifische Regeln anpassen und menschliches Urteilsvermögen für wirklich mehrdeutige Fälle vorbehalten konnte.

Ergebnisse

VorherNach

Verstoßbehandlung

Menschliche Moderatoren haben eingehende Inhalte vor der Maßnahme überprüft.

~75 % der Verstöße werden automatisch ohne menschliches Eingreifen blockiert

Moderationslatenz

Manuelle Überprüfung war von Moderationswarteschlangen abhängig

Unter 600ms für Moderationsentscheidungen

Gutachterauslastung

Umfassende manuelle Überprüfung von Texten, Bildern und Videos

Ausnahmebasierte Überprüfung, die den Moderationsaufwand um mehr als 70 % reduziert.

Richtlinien-Rollout

Aktualisierte Richtlinien könnten Tage in Anspruch nehmen, bis sie einheitlich angewendet werden.

Richtlinien-Updates innerhalb von Stunden ohne Ausfallzeiten bereitgestellt

Fokus der menschlichen Überprüfung

Moderatoren haben Zeit damit verbracht, sowohl offensichtliche als auch mehrdeutige Fälle zu prüfen.

Unklare Fälle eskalierten mit nachvollziehbaren Begründungen und schlüssiger Logik.

Herausforderungen

Lösungen

  • Manuelle Moderation konnte mit dem Inhaltsvolumen nicht skalieren

    Das Moderationsteam überprüfte Text, Bilder und Videos manuell. Als die Plattform wuchs, wurden die Warteschlangen länger, die Reaktionszeiten erhöhten sich, und die Skalierung des Moderationsteams im gleichen Maße war nicht nachhaltig.

    Vereinheitlichte Echtzeit-Multimodale Pipeline

    Wir haben eine einzige Moderations-Pipeline für Text, Bilder und Video aufgebaut. Für Videos ermöglichte das Streaming Frame Sampling dem System, ausgewählte Frames zu analysieren, anstatt ganze Dateien zu verarbeiten, wodurch die Moderationslatenz unter 600 ms gehalten werden konnte.

  • Generischen Moderationsmodellen fehlte der erforderliche kulturelle und politische Kontext

    Die Community-Standards der Plattform gingen über die Erkennung offensichtlich schädlicher Inhalte hinaus. Ob etwas gegen die Richtlinien verstieß, konnte von kulturellem, regionalem und plattformspezifischem Kontext abhängen.

    Anpassbare Richtlinienpakete

    Wir haben konfigurierbare Richtlinienpakete mit kategorie-spezifischen Regeln und Schwellenwerten eingeführt, die durch Feinabstimmung und Prompt-Steuerung unterstützt werden. Anstatt die Plattform zu zwingen, sich an generische Moderationslogik anzupassen, konnte das System an seine tatsächlichen Community-Standards angepasst werden.

  • Menschliche Prüfer verbrachten Zeit mit offensichtlichen Fällen

    Ein Ein-Modell-Ansatz führte zu einem Zielkonflikt zwischen strengerer Durchsetzung und Fehlalarmen. Die Weiterleitung aller Inhalte an Moderatoren bewahrte das menschliche Urteilsvermögen, löste aber das Problem der Arbeitslast nicht.

    Ensemble-Moderation + Eskalation mit Mensch-in-der-Schleife

    Wir kombinierten mehrere Klassifikatoren mit regelbasierten Prüfungen für Belästigung, Hassrede, NSFW-Inhalte und plattformspezifische Verstöße. Fälle mit hoher Sicherheit konnten automatisch bearbeitet werden, während unsichere Fälle mit transparenten Begründungen für die Markierung eskaliert wurden. Dies verlagerte die Moderation von einer vollständigen manuellen Überprüfung hin zu einer ausnahmebasierten Überprüfung.

  • Richtlinienaktualisierungen konnten nicht schnell genug konsequent durchgesetzt werden

    Als sich die Community-Richtlinien änderten, konnte die Aktualisierung der Kriterien für die manuelle Überprüfung in einem wachsenden Team Tage dauern und zu inkonsistenter Durchsetzung führen.

    Richtlinien von Modellen entkoppelt

    Wir haben konfigurierbare Moderationsrichtlinien und Schwellenwerte von den zugrunde liegenden Modellen getrennt. Regeln konnten daher geändert werden, ohne das gesamte System neu zu trainieren oder Moderationsabläufe zu unterbrechen, wodurch die Einführung von Richtlinien von Tagen auf Stunden reduziert wurde.

Was wir beim Bau gelernt haben

  • Effektive Moderation erfordert Plattformkontext, nicht nur generische Klassifizierer

    Kulturelle und regionale Normen können die Interpretation von Inhalten verändern, wodurch konfigurierbare plattformspezifische Richtlinien für eine nuancierte Durchsetzung unerlässlich werden.

  • Automatisierung funktioniert am besten, wenn Vertrauen den Workflow bestimmt

    Eindeutige Verstöße automatisch beheben, während mehrdeutige Fälle eskaliert werden, bewahrt menschliches Urteilsvermögen dort, wo es den größten Nutzen stiftet.

  • Latenz ist Teil des Moderationsprodukts selbst

    Wenn eine Entscheidung vor der Veröffentlichung getroffen werden muss, ist die Modellgenauigkeit allein nicht ausreichend; die gesamte Verarbeitungspipeline muss auf die Reaktionszeit ausgelegt sein.

  • Die Moderationsrichtlinie sollte sich unabhängig von der Modellentwicklung weiterentwickeln.

    Die Trennung von Regeln und Schwellenwerten von den zugrunde liegenden Modellen ermöglicht es, Gemeinschaftsstandards zu ändern, ohne einen neuen Trainings- und Bereitstellungszyklus zu erfordern.

  • Transparenz ist entscheidend, wenn KI Durchsetzungsentscheidungen beeinflusst.

    Die Bereitstellung von Aktionsgründen, der Nachverfolgung von Außerkraftsetzungen und des Prüfverlaufs für Prüfer erleichtert die Überprüfung und Verwaltung der automatisierten Moderation.

Inhalte in Echtzeit moderieren, ohne Ihr Review-Team aufstocken zu müssen

Benötigen Sie eine schnellere Moderation von Texten, Bildern oder Videos, ohne die Kontrolle über plattformspezifische Richtlinien zu verlieren? Wir bewerten Ihren Moderations-Workflow und identifizieren, wo KI die manuelle Überprüfung sicher reduzieren kann.

Modern

Unsere Fälle

Bei Innovation geht es nicht nur um Ideen – es geht um die Umsetzung, darum, Visionen in die Realität umzusetzen und Lösungen zu schaffen, die wirklich etwas bewirken. Sehen Sie, was wir gebaut haben und wie es funktioniert:

  • Gesundheitswesen
  • Medien & Unterhaltung
  • E-Commerce
  • Amazon Web Services
  • Cloud-Kostenoptimierung
  • Serverlose Anwendung
  • Einzelhandel
  • Gesundheitswesen - Banner
    Telemedizin-Plattform für ärztliche Fernberatung
    • 100%HIPAA-konform
    • 99,99% BetriebszeitMaximale Zuverlässigkeit
  • Gesundheitswesen - Banner
    Mental Health App für Alzheimer-Pflegende
    • 10.000+Patientenunterstützung
    • Engagement 30 %+Anpassbare Benutzererfahrung