Die beiden Berichte des SZ-Magazins, 15.12.2016

von Hannes GRASSEGGER, Till KRAUSE

Im Netz des Bösen

Hass, Folter, Kinderpornografie: In Berlin löschen Hunderte Mitarbeiter der Bertelsmann-Firma Arvato unerwünschte Facebook-Inhalte. Einblicke in eine verschlossene Welt - und einen grauenvollen Job.

 

Im Sommer 2015 erscheint im Internet eine Stellenanzeige: "Service Center Mitarbeiter. Möchten Sie Teil eines internationalen Teams mit guten Karrieremöglichkeiten werden?" Verlangt wurden Fremdsprachenkenntnisse, Flexibilität und Zuverlässigkeit. Arbeitsort: Berlin.

Als ich die Anzeige gesehen habe, dachte ich: totaler Glücksfall. Ich hatte monatelang nach einer Stelle in Berlin gesucht, für die ich kein Deutsch können muss.

Die Person, die das sagt, will unerkannt bleiben. Den Job, auf den sie sich bewarb, gibt es seit so kurzer Zeit, dass er nicht einmal einen richtigen Namen hat. Die Stellenanzeige deutet eher auf ein Callcenter hin als auf das, was die Bewerber wirklich erwartet: Manche sagen "Content-Moderation" dazu, andere nennen es "digitale Müllabfuhr". Die Aufgabe dieser Menschen: die Internetseiten ihrer Auftraggeber sauber zu halten. Sie klicken sich durch all den Hass und all den Horror, den Nutzer im Netz verbreiten. Und müssen entscheiden: Löschen oder nicht? Es ist ein Job, von dem kaum etwas bekannt ist. Viele wissen nicht einmal, dass es ihn überhaupt gibt.

Lange ging man davon aus, dass solche Tätigkeiten vor allem von Dienstleisterfirmen in Schwellenländern erledigt werden, etwa in Indien oder auf den Philippinen. Einer der größten Auftraggeber dieser Firmen: Facebook . Das soziale Netzwerk mit 28 Millionen Nutzern in Deutschland und 1,8 Milliarden Nutzern weltweit gibt so gut wie nichts darüber bekannt, wie es gefährliche Inhalte löscht, die dort jeden Tag massenhaft hochgeladen werden.

Erst im Januar dieses Jahres wurde öffentlich, dass über den Dienstleister Arvato, eine Bertelsmann-Tochter, auch in Berlin mehr als hundert Menschen als "Content-Moderatoren" für Facebook arbeiten. Wie viel Facebook Arvato für diese Arbeit bezahlt oder nach welchen Kriterien die Mitarbeiter ausgewählt werden - dazu macht das Unternehmen grundsätzlich keine Angaben.

Über mehrere Monate hinweg hat das SZ-Magazin mit zahlreichen ehemaligen und derzeitigen Mitarbeiterinnen und Mitarbeitern von Arvato gesprochen. Mit Journalisten zu reden wurde ihnen von ihren Vorgesetzten verboten, aber sie wollen ihre Geschichte erzählen. Viele fühlen sich von ihrem Arbeitgeber schlecht behandelt, sie leiden unter den Bildern, die sie täglich sehen, klagen über Stress und Erschöpfung und finden, dass ihre Arbeitsbedingungen öffentlich gemacht werden sollten. Einige stehen in der Hierarchie unten, andere weiter oben, sie kommen aus verschiedenen Ländern und sprechen verschiedene Sprachen. Teilweise wollten sie sogar mit echtem Namen auftreten, weil sie schon gekündigt haben oder kurz davor stehen. Wir haben uns entschieden, alle Quellen zu anonymisieren. Denn alle Mitarbeiter haben Verträge unterschrieben, die Geheimhaltung verlangen. Wir geben ihre Aussagen in Kursivschrift wieder. Die Gespräche fanden persönlich in Berlin statt, via Skype oder über verschlüsselte Internetkommunikation.

Die meisten Bewerber sind junge Menschen, die irgendwie in Berlin gestrandet sind: Aus Liebe. Aus Abenteuerlust. Wegen des Studiums. Manche Bewerber sind Flüchtlinge aus Syrien. Für alle wirkt diese Aussicht sehr verlockend: ein Job bei einer großen deutschen Firma, in Festanstellung, meist nur befristet, aber immerhin. Das Vorstellungsgespräch ist oft schnell erledigt, gefragt wird nach Fremdsprachenkenntnissen und Erfahrung mit Computern. Nur eine Frage wundert die Bewerber: "Können Sie verstörende Bilder ertragen?"

An unserem ersten Tag bekamen wir ein Einführungstraining. Wir waren etwa dreißig Leute in einem Seminarraum, Leute aus allen möglichen Ländern: Türkei, Schweden, Italien, Puerto Rico, auch viele Syrer. Der Trainer kam mit strahlendem Lächeln in den Raum und sagte: Ihr habt das große Los gezogen. Ihr werdet für Facebook arbeiten! Alle haben gejubelt.

In der Einführung bekommen die Mitarbeiter die Regeln ihres Jobs bei Arvato erklärt. Zuerst: Niemand darf erfahren, für welchen Auftraggeber hier gearbeitet wird. Den Namen Facebook dürfen sie nicht in ihre Lebensläufe oder LinkedIn-Profile schreiben. Nicht einmal ihren Familien sollen sie sagen, was sie tun.

Ihre Aufgabe erklärt der Trainer den Arvato-Neulingen so: "Ihr reinigt Facebook von den Inhalten, die sonst auch Kinder sehen würden. Und indem ihr sie entfernt, entzieht ihr Terror und Hass die Plattform."

Ein ehemaliger Mitarbeiter der Firma nennt die Einführung dem SZ-Magazin gegenüber eine "Indoktrination": Die Leute sollten das Gefühl bekommen, dass diese, wie er es nennt, "stupide und stumpfe Arbeit" vor allem dem Schutz der Gesellschaft diene - und nicht hauptsächlich den Interessen des Milliardenkonzerns Facebook, der Menschen möglichst lange auf seiner Seite halten will und deshalb darauf angewiesen ist, dass man dort nicht allzu viel Verstörendes sieht.

Im Training kamen Bilder, die nicht so schlimm waren: Penisse in allen Größen und Formen. Wir haben gekichert. Schon komisch, sich so was bei der Arbeit anzuschauen. Na ja, das sollten wir ja auch löschen. Und entblößte Nippel. Einmal waren wir abends etwas trinken mit Leuten, die diesen Job schon länger machen. Nach ein paar Bieren sagte einer: Wenn ich euch einen Tipp geben darf, schmeißt den Job hin, so schnell ihr könnt, er wird euch fertigmachen.


Die Mitarbeiter erhalten zum Einstieg Unterlagen, die neben den Geheimhaltungsklauseln auch mögliche Gesundheitsrisiken auflisten: Rückenschmerzen, Beeinträchtigung der Augen durch zu langes Starren auf Monitore. Psychische Gefahren, die etwa durch dauerhaftes Betrachten brutaler Inhalte entstehen können, werden darin mit keinem Wort erwähnt. Außerdem bekommen die neuen Arvato-Mitarbeiter einen S-Bahnplan von Berlin, samt der Anmerkung "Have a good time in Berlin!"

Die Arbeitsräume am Wohlrabedamm in der Berliner Siemensstadt sind nüchtern gehalten. Ehemalige Werksgebäude, Backstein, innen schmale, weiße Einpersonenschreibtische in Reihen hintereinander, darauf schwarze Computer mit weißen Tastaturen. Ergonomische Bürostühle, grauer Büroteppich. Platz für einige Dutzend Leute. Handys sind laut Arbeitsvertrag bei der Arbeit streng verboten. Im Erdgeschoss steht ein Snackautomat und einer für Kaffee und heiße Schokolade. Es gibt einen großen Innenhof für die Raucher. Auch andere Firmen sind im Gebäude untergebracht.

Man loggt sich ein, steuert eine Warteschlange an, wo sich Tausende gemeldete Beiträge stapeln, man klickt sich ein, und los geht's.

Es gebe maschinelle Filter, die Inhalte automatisch aussortieren, sagt ein Ex-Mitarbeiter. Doch gerade bei Bildern oder Videos tun sich Computer schwer, etwa die Darstellung einer medizinischen Operation von der einer Hinrichtung zu unterscheiden. Daher kommt der Großteil aller Beiträge, die das Team in Berlin durchsehen muss, von Facebook-Nutzern, die diese Beiträge als anstößig gemeldet haben, und zwar über die Funktion: "Diesen Beitrag melden - er sollte meiner Meinung nach nicht auf Facebook sein."

Ich habe Sachen gesehen, die mich ernsthaft am Guten im Menschen zweifeln lassen. Folter und Sex mit Tieren.


Die gemeldeten Beiträge landen bei den Mitarbeitern auf der untersten Stufe der Hierarchie. Ihr Team heißt FNRP, das steht für "Fake Not Real Person". Sie sollen filtern: Welche der Textbeiträge, Bilder oder Videos, die Nutzer als problematisch gemeldet haben, verstoßen wirklich gegen die sogenannten Gemeinschaftsstandards von Facebook? Erster Schritt: Untersuchen, ob der Inhalt von einem authentischen Echtnamen-Profil kommt. Falls nicht - daher die Bezeichnung "Fake Not Real Person" -, wird an das erfundene Profil eine Löschungsdrohung geschickt. Wenn sich der Nutzer daraufhin nicht glaubhaft identifiziert, wird das ganze Konto entfernt. So wird gegen Profile vorgegangen, die angelegt wurden, um verbotene Inhalte zu verbreiten.

Die Wochenarbeitszeit im FNRP-Team liegt bei vierzig Stunden, gearbeitet wird in zwei Schichten von 8.30 Uhr bis 22 Uhr. Das Monatsgehalt beträgt rund 1500 Euro brutto, wenig höher als der Mindestlohn von 8,50 Euro pro Stunde.

Die "Content-Moderatoren", eine Hierarchiestufe höher, prüfen auch Videos. Besonders schwer zu entscheidende Fälle klären die "Subject Matter Experts". Darüber wiederum stehen die Gruppenleiter, deren Job als weniger belastend gilt: Sie sind kaum noch mit der Sichtung von verstörenden Beiträgen beschäftigt.

Arvato ist ein Riese. Eine Firma, die Aufgaben übernimmt, die andere Firmen auslagern: Das Unternehmen betreut so unterschiedliche Dinge wie Callcenter, Vielfliegerprogramme und Versandzentren. In mehr als vierzig Ländern beschäftigt der Outsourcing-Dienstleister rund 70 000 Menschen. Arvato ist eine der tragenden Säulen des Medien-Giganten Bertelsmann . Mehr als die Hälfte aller Bertelsmann-Mitarbeiter ist bei Arvato angestellt. Auf der Firmenwebsite steht das Motto: "Wie können wir Ihnen helfen?"

Einer der Gründe dafür, dass es jenes Facebook-Löschzentrum in Berlin gibt, ist wohl auch der zunehmende Druck der deutschen Behörden. Der Bundesjustizminister Heiko Maas forderte deutsche Ansprechpartner bei Facebook, die sich um Inhalte in deutscher Sprache kümmern und zweifelhafte Postings rasch entfernen. Momentan ermittelt die Staatsanwaltschaft München gegen Facebook wegen des Verdachts auf Beihilfe zur Volksverhetzung. Der Vorwurf: Die Firma lösche illegale Inhalte oft nicht zügig.

Im Frühsommer 2015 wurde eine kleine Gesandtschaft von Arvato in die Europa-Zentrale von Facebook eingeladen. Die beiden Unternehmen hatten sich auf eine Zusammenarbeit geeinigt: Das größte soziale Netzwerk der Welt benötigte Hilfe beim Saubermachen seiner Seite; die Arvato-Manager sollten lernen, wie man dafür ein Team aufbaut. Im Herbst 2015 begann die Arbeit, zunächst blieb der Betrieb geheim.

Wie lange ist die Vertragsdauer zwischen Facebook und Arvato angelegt? Wie werden die Mitarbeiter auf ihre Tätigkeit vorbereitet? Hat Arvato vor Beginn eine Gefährdungs-beurteilung in Bezug auf die psychische Belastung für "Content-Moderation" erstellt? Das SZ-Magazin hat Arvato einen schriftlichen Katalog mit 19 Fragen vorgelegt. Arvato erklärt dazu nur: "Unser Auftraggeber Facebook hat sich vorbehalten, alle Presseanfragen zu der Zusammenarbeit mit Arvato selbst zu bearbeiten."

Auch Facebook Deutschland antwortet auf mehrere schriftliche Anfragen des SZ-Magazins meist nur unkonkret oder mit dem Satz: "Dazu machen wir keine Angaben." In manchen Punkten unterscheidet sich die Darstellung von Facebook von den Aussagen der derzeitigen und ehemaligen Arvato-Mitarbeiter, mit denen wir gesprochen haben. So schreibt Facebook, dass jeder Mitarbeiter im Facebook-Team von Arvato vor Beginn seiner Tätigkeit zu einem "sechswöchigen Training sowie einem vierwöchigen Mentoring-Programm" verpflichtet sei. Die vom SZ-Magazin befragten Angestellten berichteten zumeist jedoch von einer deutlich kürzeren Vorbereitung: zwei Wochen.

Die Lösch-Teams bei Arvato sind nach Sprachen aufgeteilt. Auf dem Gang unterhält man sich auf Englisch, ansonsten in der Sprache der Teams: Arabisch. Spanisch. Französisch. Türkisch. Italienisch. Schwedisch. Und natürlich Deutsch. Die Teams sichten Inhalte, die aus ihrem jeweiligen Sprachraum kommen. Doch im Kern sind die Inhalte meist ähnlich.

Es ist eine zufällige Bildauswahl, was so aus der Warteschlange kommt. Tierquälerei, Hakenkreuz, Penisse.


In den Teams haben sich verschiedene Methoden etabliert, mit den schwer zu ertragenden Bildern umzugehen: Die Spanier tauschen sich laut untereinander aus, die Araber ziehen sich eher zurück. Die Franzosen sitzen oft nur still vor ihren Rechnern.

Am Anfang haben wir in den Mittagspausen noch Witze gemacht über die vielen Pornos. Aber irgendwann wurden wir alle bedrückter.


Immer wieder kommt es vor, dass Menschen aufspringen. Rausrennen. Heulen.

Löschen oder nicht löschen? Ist die Entscheidung getroffen, erscheint die nächste Aufgabe auf dem Bildschirm. Die Zahl der Fälle - Tickets genannt - kann man auf einer Anzeige auf dem Bildschirm verfolgen.

Die Bilder wurden immer schlimmer, viel krasser als im Training. Aber oft auch nichts anderes als das, was du in meinem Heimatland in der Zeitung sehen könntest. Gewalt, teils entstellte Leichen. Immer wieder kommt es vor, dass Menschen im Raum aufspringen. Rausrennen. Heulen.

Die Mitarbeiter haben dem SZ-Magazin Details erzählt, die zu grausam sind, um sie zu drucken. Schon die folgenden Darstellungen sind kaum zu ertragen.

Ein Hund war angebunden. Eine nackte Asiatin quälte das Tier mit einem heißen Eisen. Dann überschüttete sie es mit kochendem Wasser. Das war als Fetisch gemeint für Leute, die sich daran aufgeilen.


Kinderpornografie war das Schlimmste. Dieses kleine Mädchen, maximal sechs Jahre, das in einem Bett liegt, Oberkörper frei, und darauf sitzt ein fetter Mann und missbraucht sie. Es war eine Nahaufnahme.

Wer diese Inhalte zugeteilt bekommt, ist eine Mischung aus Türsteher und Fließbandarbeiter: Das darf auf Facebook bleiben. Klick. Das nicht. Klick. Anfangs sollte jeder der FNRPs pro Tag etwa tausend Tickets erledigen: tausend Entscheidungen, ob etwas gegen das komplizierte Regelwerk von Facebook verstößt, die sogenannten Gemeinschaftsstandards, die festlegen, was auf der Seite veröffentlicht werden darf und was gelöscht werden muss.

Irgendwann kamen Enthauptungen, Terror, ganz viel Nacktheit. Ein Schwanznach dem anderen. Unendlich viele Schwänze. Und immer wieder besonders Grauenhaftes. Schwer zu sagen, wie viel, das hängt davon ab. Ein bis zwei Fälle pro Stunde mit Sicherheit. Aber jeden Tag passiert dir etwas Schreckliches.Nach ein paar Tagen sah ich meine erste Leiche, viel Blut, ich bin erschrocken. Ich habe das Bild sofort gelöscht. Mein Vorgesetzter kam dann zu mir und sagte: Das war falsch, dieses Bild verstößt nicht gegen die Gemeinschaftsstandards von Facebook. Ich solle beim nächsten Mal genauer arbeiten.


Auch wenn das Wort "Gemeinschaftsstandards" so harmlos klingt wie der Putzplan einer Studenten-WG: Hinter diesem Regelwerk steckt ein wohlgehütetes Geheimnis von Social-Media-Firmen. Darin wird detailliert bestimmt, welche Inhalte hochgeladen und geteilt werden dürfen, was gelöscht werden muss. Es ist eine Art Parallelgesetz der Meinungsfreiheit, festgelegt von Konzernen, mit großem Einfluss darauf, was Milliarden von Menschen jeden Tag sehen - und was nicht. Dabei geht es um mehr als um die Frage, ob eine entblößte Brustwarze anstößig ist oder nicht. Facebook ist ein wichtiges Mittel der politischen Bildung und Einflussnahme. Welche Inhalte dort geteilt werden, prägt das Bild der Gesellschaft entscheidend mit. Wie Katastrophen, Revolutionen oder Demonstrationen wahrgenommen werden, hängt auch davon ab, welche Bilder davon in den Facebook-Timelines landen. Trotzdem sind die allermeisten Details dieser Regeln weder öffentlich, noch haben Gesetzgeber Einblick in die genauen Kriterien, nach denen Inhalte zensiert werden oder zirkulieren dürfen.

Social-Media-Unternehmen veröffentlichen meist nur einen kleinen Teil dieses Regelwerks, der oft vage formuliert ist. Bei Facebook stehen dort Sätze wie: "Wir dulden in keiner Weise Verhaltensmuster, die Personen einer Gefahr aussetzen." Wie genau dieses nichtgeduldete Verhalten aussieht, wird nicht genauer erklärt. Ein Ex-Mitarbeiter begründet die Geheimhaltung dieser Regeln damit, dass man Menschen keine Hinweise liefern möchte, wie sie durch geschickt formulierte Inhalte an den Löschregeln vorbeikommen könnten. Eine absurde Logik: Wie ein Staat, der sein Gesetzbuch unter Verschluss hält, aus Angst, Leute könnten dadurch ihre verbrecherischen Methoden verfeinern.

Obwohl Facebook sich als offenes Unternehmen präsentiert, das Menschen nur eine Plattform zum Teilen von Informationen zur Verfügung stellt, gibt sich die Firma verschlossen, wenn es um die eigene Geschäftspraxis geht. Gerd Billen, Staatssekretär im Bundesjustizministerium und Leiter der Taskforce zum "Umgang mit rechtswidrigen Hassbotschaften im Internet", sagt: "Leider sehe ich aktuell keine ausreichende Bereitschaft bei Facebook, transparent und nachvollziehbar darzulegen, wie mit strafbaren Inhalten verfahren wird." Selbst er als Vertreter des Bundesjustizministeriums durfte bis heute nicht bei Arvato vorbeischauen. "Ich habe mehrfach Transparenz über den Umgang mit verstörenden Inhalten eingefordert, etwa zu den genauen Regeln der Löschung oder zur Zahl und Qualifikation der Mitarbeiter in diesem Bereich. Doch blieb es bisher bei Lippenbekenntnissen", sagt Billen. Momentan prüft sein Ministerium Gesetzesvorhaben, die Facebook zu mehr Transparenz verpflichten würden.

Dem SZ-Magazin liegen große Teile der geheimen Regeln von Facebook vor. Es ist das erste Mal, dass sie in diesem Umfang öffentlich werden. Zuletzt war Anfang 2012 auf der US-Website Gawker ein 17-seitiger Leitfaden mit den Löschkriterien einer Firma aufgetaucht, die ebenfalls im Auftrag von Facebook tätig war.

Die internen Dokumente, die dem SZ-Magazin vorliegen, bestehen aus Hunderten kleinen Regeln, allesamt festgelegt von Facebook. Besonders interessant: die vielen Beispiele, welche Inhalte gelöscht werden müssen und welche nicht.

Gelöscht werden muss unter anderem: Ein Bild einer Frau, die sich in der Öffentlichkeit übergibt - dazu der Kommentar: "Oh Gott. Du bist erwachsen. Das ist ekelhaft" (Grund: Kommentar wird als Mobbing gewertet, und zwar durch die Äußerung von Ekel vor Körperfunktionen). Ein unkommentiertes Foto eines Mädchens neben dem Foto eines Schimpansen mit ähnlichem Gesichtsausdruck (Grund: Herabwürdigende Bildbearbeitung: eindeutiger Vergleich eines Menschen mit einem Tier). Ein Video, in dem ein Mensch gequält wird, aber nur wenn darunter ein Kommentar steht wie: "Mir gefällt es, zu sehen, wie viel Schmerz er da erleidet". Nicht gelöscht werden soll etwa: Das Video einer Abtreibung (es sei denn, es enthält Nacktaufnahmen). Das Bild eines Erhängten mit dem Kommentar "Hängt diesen Hurensohn" (Gilt als erlaubte Befürwortung der Todesstrafe; verboten wäre es nur, wenn spezifisch auf eine "Geschützte Personengruppe" eingegangen würde, also dort etwa stünde: "Hängt diesen Schwulen auf"). Bilder einer extrem magersüchtigen Frau ohne Kommentar (Das Zeigen von selbstverletzendem Verhalten ohne Kontext ist gestattet).

Der Umgang mit extremer Gewalt ist beispielsweise im Kapitel 15.2 geregelt, Bejubeln von Gewalt: "Wir erlauben nicht, wenn Menschen Bilder oder Videos teilen, in denen Menschen oder Tiere sterben oder schwer verletzt werden, wenn diese Form der Gewalt dabei zusätzlich bejubelt wird." Was auf dem Bild zu sehen ist, spielt demzufolge keine Rolle, sondern nur die Kombination von Bild und Text. Als Beispiel werden Kommentare aufgezählt, die als das Bejubeln von Gewalt angesehen werden. Wenn jemand unter ein Foto eines Sterbenden schreibt: "Seht euch das an - so cool" oder "Fuck yeah" - nur dann müssen solche Bilder nach dieser Bestimmung gelöscht werden.

Die Regeln waren kaum zu verstehen. Ich habe meinem Teamleiter gesagt: Das gibt's doch nicht, das Bild ist total blutig und brutal, das sollte kein Mensch sehen müssen. Aber er meinte nur: Das ist deine Meinung. Aber du musst versuchen, so zu denken, wie Facebook es will. Wir sollten denken wie Maschinen.

Aus der Facebook-Zentrale kommen ständig Neuerungen der Gemeinschaftsstandards. Bei Arvato gibt es jemanden, der die Änderungen im Blick behalten soll. Für Facebook ist das sehr wichtig. Schließlich geht es darum, was Nutzer von der Plattform vertreiben könnte - und das oberste Ziel von Facebook ist das Gegenteil: möglichst viele Menschen möglichst lange auf der Plattform zu halten, damit sie möglichst viel Werbung sehen und Facebook möglichst viel Geld verdient.

Es ist keine leichte Aufgabe, die Facebook zu lösen hat: den Hass und den Wahnsinn der Menschen im Zaum zu halten und gleichzeitig sicherzustellen, dass wichtige Ereignisse nicht einfach unsichtbar bleiben. Die Lösch-Entscheidungen können ähnlich weitreichende Konsequenzen haben wie Entscheidungen über journalistische Berichterstattung.

Für Hunderte Millionen Menschen auf der Welt ist Facebook die wichtigste Nachrichtenquelle. Trotzdem gilt die Firma nicht als Medienkonzern, da sie keine eigenen Inhalte produziert, muss sich aber mit medien-ethischen Fragen befassen: Wann ist die Darstellung von Gewalt gerechtfertigt, etwa in der Kriegsberichterstattung, da sie dann einem höheren Ziel dient? Darüber denken Wissenschaftler seit Jahrzehnten nach, in sozialen Medien müssen diese Fragen schnell entschieden werden. Vor mehr als sieben Jahren wurde das Video der sterbenden Neda Agha-Soltan, einer jungen Frau aus Teheran, die bei Protesten erschossen wurde, zu ei- ner ersten Bewährungsprobe für Facebooks Konkurrenten Youtube. Löschen oder nicht? Ein Youtube-Team entschied: Der Film ist ein politisches Dokument, er bleibt online, trotz seiner Brutalität. Längst versuchen Firmen, für solche komplexen Entscheidungen einfache Regeln aufzustellen. In den geheimen Facebook-Dokumenten steht: "Videos, die den Tod von Menschen zeigen, sind verstörend, können aber Bewusstsein schaffen für selbstverletztendes Verhalten, psychische Erkrankungen, Kriegsverbrechen oder andere wichtige Themen." Im Zweifel sollen die Mitarbeiter bei Arvato solche Videos an ihre Vorgesetzten abgeben, besonders komplexe Fälle werden angeblich in der Europa-Zentrale von Facebook in Dublin bearbeitet.

Besonders krass war es bei den Terroranschlägen in Paris letztes Jahr. Da wurden Sondersitzungen einberufen, was mit den Livebildern passieren soll. Da sind ja brutalste Sachen bei uns gelandet, quasi in Echtzeit. Am Ende wurde uns gesagt, wir sollten die meisten Inhalte einfach ans arabische oder französische Team weiterleiten. Was damit passiert ist, weiß ich nicht.Als die Anschläge in Paris losgingen, holten die Team-Leader uns Content-Moderatoren aus dem Wochenende. Ich bekam Anrufe und SMS von ihnen. Ich habe das ganze Wochenende durchgearbeitet.


Es gibt kaum gesicherte Zahlen, wie viele Menschen weltweit beruflich damit beschäftigt sind, Facebook-Inhalte zu löschen. Die Leiterin der internationalen Facebook-Abteilung "Policy", Monika Bickert, verriet im März auf einer Konferenz, dass weltweit pro Tag mehr als eine Million Facebook-Beiträge von Nutzern als unzulässig gemeldet werden. Wie viele Menschen für das Löschen dieser Beiträge zuständig sind, sagte sie nicht. Die Medienwissenschaftlerin Sarah Roberts von der University of California in Los Angeles erforscht seit Jahren diesen neuen Beruf. Sie schätzt, dass bis zu 100 000 Menschen weltweit in solchen Jobs arbeiten, fast alle bei Dienstleistern, und nicht nur für Facebook. Roberts hat viele Löscharbeiter in verschiedenen Ländern interviewt und beschreibt etliche als traumatisiert. Die psychische Gesundheit dieser Menschen habe einen großen Einfluss auf die Inhalte, die es in die Timelines schaffen. Denn viele seien nach monatelangem Sichten von Hass, Sex und Gewalt so zermürbt, dass sie fast jeden Inhalt durchgehen lassen. Dazu kommt: Um gründlich zu arbeiten, fehlt oftmals die Zeit.

Manche Videos muss man komplett durchschauen. Sie lassen uns das nicht durchskippen, auch wenn man allein die Screenshots anschauen könnte. Das Schlimme ist der Ton. Den muss man sich auch anhören, weil es eben sein kann, dass genau in der Tonspur etwas liegt, was nicht erlaubt ist. Hassreden beispielsweise oder Sadismus. Manche Videos sind ganze Filme, es kann über eine Stunde gehen.

Vielen "Content-Moderatoren" gehen die Bilder auch zu Hause nicht aus dem Kopf. Und dann kommen häufig auch noch Textnachrichten der Teamleiter. Dass man hinterherhinke. Ob man nicht eine Zusatzschicht einlegen könne. Das Arbeitspensum sei für die Mitarbeiter nicht zu bewältigen, sagt einer, der mittlerweile gekündigt hat.

Flexibel sein zu müssen ist man in Berlin gewohnt, vor allem wenn man aus dem Ausland kommt und kein Deutsch spricht. Denn längst ziehen nicht nur Bayern und Schwaben dorthin, sondern auch viele Menschen aus der globalen Mittelschicht: Inder, Mexikaner, Südafrikaner, junge, oft gut ausgebildetet Leute - die in Berlin erleben müssen, dass sie trotz ihrer Bildung kaum jemand einstellen will. Rund dreißig Prozent der in Berlin lebenden Ausländer gelten als armutsgefährdet. Ein ehemaliger Mitarbeiter sagt:

Man kann Arvato nur für den Geschäftssinn gratulieren, sich Berlin für diese Arbeit ausgesucht zu haben. Hier gibt es einen Schmelztiegel an Sprachen und Kulturen, wo sonst findet man Schweden, Norweger, Syrer, Türken, Franzosen, Spanier, die dringend Arbeit suchen?


Die meisten dieser Zugezogenen sind verzweifelt, sie wollen unbedingt in der Stadt leben und nehmen dafür einen Job in Kauf, für den sie weit überqualifiziert sind, der ihre Seelen verletzt und viele von ihnen immer weiter abstumpfen lässt.

So kommt es, dass unter den Arvato-Löscharbeitern auch Quantenphysiker sind oder waren, Leute mit Doktortitel, ein Professor, oft Flüchtlinge, deren berufliche Qualifikationen in Deutschland nicht anerkannt werden. Ein ehemaliger Mitarbeiter erzählt, es sei schwierig gewesen, Menschen zu so einer zermürbenden Arbeit zu motivieren. Oder sie zu befördern. Denn wer zum "Content-Moderator" aufsteigt, muss auch Videos prüfen.

Ein Video könnte reichen, um mein Leben zu zerstören. Das wusste ich. Ich wollte auf keinen Fall zum Content-Moderator befördert werden. Ich hatte Angst davor, was es meiner Psyche antun könnte. Content-Moderatoren sehen die schlimmsten Sachen, die man sich überhaupt vorstellen kann. In Bildern und in Videos.

"Content-Moderatoren" müssen noch schneller arbeiten als die FNRPs der untersten Hierarchiestufe. Pro Fall haben sie durchschnittlich acht Sekunden Zeit - obwohl sie immer wieder Filme komplett durchsehen sollen, die viel länger dauern. Sein Tagesziel seien mehr als 3000 Fälle gewesen, erzählt ein "Content-Moderator". Das deckt sich in etwa mit den Zahlen, die die US-Hörfunkgruppe NPR im November von "Content-Moderatoren" aus anderen Ländern zitiert hat - und die Facebook dem Sender gegenüber abstritt. Laut einem ehemaligen Mitarbeiter finden alle Arbeiten der Löschteams auf einer internen Facebook-Plattform statt, sodass die Firma seiner Meinung nach laufend über alle Zahlen unterrichtet sein müsste.

Gleichzeitig wäre es unmöglich, alle Videos wirklich durchzuschauen und zu prüfen. Sie sind so brutal, dass man einfach wegschalten will, obwohl man das nicht darf. Außerdem muss man ja auf viele Dinge achten - oft ist nicht eindeutig, gegen welche Regel da gerade verstoßen wird. Du musst dein Tagesziel erreichen, sonst gibt es Ärger mit den Vorgesetzten. Der Druck war immens.

Im Frühjahr 2016 schreibt das spanischsprachige Lösch-Team einen Brief an den Vorstand von Arvato, in dem es um Überlastung, hohen Druck und schlechte Arbeitsbedingungen geht. Das Schreiben macht schnell die Runde bei allen Mitarbeitern: "Aufgrund von Überarbeitung haben wir um fünfminütige Pausen gebeten (...) Diesem Wunsch ist man leider bisher nicht nachgekommen. Zusätzlich muss erwähnt werden, dass zu all den oben genannten Schwierigkeiten noch die psychische Anstrengung hinzukommt, die bei der Bearbeitung von Tickets mit teilweise schockierenden Inhalten hervorgerufen wird."

Geändert hat sich seitdem nichts, erzählen die Mitarbeiter. Viele berichten, mittlerweile würden statt tausend fast 2000 Tickets pro Tag von den FNRP-Mitarbeitern erwartet. Facebook macht auf Nachfrage des SZ-Magazins dazu keine Angaben.

Meine Teamleiterin meinte: Wenn dir der Job nicht passt, kannst du ja kündigen.

Mein Arzt sagte: Du musst raus aus diesem Job.


Heute sind bei Arvato in Berlin mehr als 600 Menschen mit dem Löschen von Facebook-Inhalten beschäftigt, berichtet ein Mitarbeiter. Ständig werden es mehr. Im März 2016 wurde zusätzlich ein zweites Gebäude bezogen, wenige Fußminuten entfernt. Die Mitarbeiter hängten sich im Büro ein riesiges Facebook-Banner auf.

Es ist so ein Gegensatz: Natürlich fanden wir es cool, für Facebook zu arbeiten, die Firma, die jeder kennt und liebt. Man versucht halt, das Schlimme auszublenden.

Obwohl die Arbeit furchtbar sei, würden erstaunlich wenige kündigen, sagt eine unserer Quellen. Vielleicht weil sie den Job bräuchten, vielleicht weil sie abgestumpft seien. Ein Mitarbeiter des arabischen Teams sagt:

Es ist schlimm, aber so kann ich wenigstens verhindern, dass schreckliche Gewaltvideos aus Syrien weiterverbreitet werden
.

Doch immer wieder kommen Videos, die Mitarbeiter zum Aufgeben zwingen.

Da war ein Mann mit einem Kind. Ein etwa dreijähriges Kind. Der Typ stellt die Kamera ein. Er nimmt das Kind. Und ein Schlachtermesser. Ich habe selbst ein Kind. Genau so eins. Es könnte dieses sein. Ich muss nicht mein Gehirn zerstören wegen dieses Scheißjobs. Ich habe alles ausgeschaltet und bin einfach rausgelaufen. Ich habe meine Tasche genommen und bin heulend bis zur Straßenbahn gelaufen.

Wissenschaftler verstehen unter einem seelischen Trauma ein belastendes Ereignis, das nicht ohne Weiteres bewältigt werden kann. Es ist oft das Resultat von körperlicher oder seelischer Gewalt und führt nicht selten zu posttraumatischen Belastungsstörungen. Harald Gündel, Professor für Psychosomatische Medizin am Universitätsklinikum Ulm und Präsidiumsmitglied der deutschen Traumastiftung, hat einige der Abschriften gelesen, die das SZ-Magazin von Interviews mit Arvato-Mitarbeitern angefertigt hat. Für Gündel zeigen deren Schilderungen möglicherweise klassische Merkmale von posttraumatischen Belastungsstörungen: belastende Bilder und Sequenzen aus den Videos, die auch außerhalb der Arbeit immer wieder vor dem inneren Auge auftauchen; wiederkehrende Albträume; übertrieben schreckhafte Reaktionen in Situationen, die entfernt etwas mit dem Inhalt der Videos zu tun haben; Schmerzen, die sich nicht körperlich erklären lassen; sozialer Rückzug; Erschöpfung und abgestumpfte Verhaltensweisen; Verlust des sexuellen Interesses.

Seit ich die Kinderpornovideos gesehen habe, könnte ich eigentlich Nonne werden - an Sex ist nicht mehr zu denken. Seit über einem Jahr kann ich mit meinem Partner nicht mehr intim werden. Sobald er mich berührt, fange ich an zu zittern.

Mir sind plötzlich büschelweise Haare ausgefallen, nach dem Duschen oder selbst bei der Arbeit. Mein Arzt sagte: Du musst raus aus diesem Job.


Immer wieder sind Leute vom Schreibtisch aufgesprungen, in die Küche gerannt und haben das Fenster aufgerissen, um nach einem Enthauptungsvideo ein bisschen frische Luft zu atmen.Viele haben gesoffen oder exzessiv gekifft, um damit klarzukommen.


Facebook erklärt auf Anfrage des SZ-Magazins : "Es wird jedem Mitarbeiter angeboten, psychologische Betreuung in Anspruch zu nehmen. Dies geschieht auf Wunsch der Mitarbeiter und kann zu jedem Zeitpunkt in Anspruch genommen werden." Die Mitarbeiter berichten jedoch übereinstimmend, sich mit ihren psychischen Problemen von Arvato alleingelassen zu fühlen. Ausreichende Betreuung habe es nicht gegeben, auch keine gezielte Vorbereitung auf die seelischen Belastungen der Arbeit mit schrecklichen Bildern und Videos.

Wir sollten unterschreiben, dass bei Arvato psychologische Hilfe angeboten wird, aber in Wahrheit war es unmöglich, Unterstützung zu bekommen. Sie haben nichts für uns getan.

Dass Arbeitnehmer auch vor Belastungen der Psyche geschützt werden müssen, ist seit 2013 im deutschen Arbeitsschutzgesetz, Paragraf 4 und 5, geregelt. "Es geht darum, nicht abzuwarten, bis gesundheitliche Schäden eintreten, sondern schon im Vorfeld die Risiken so weit es geht zu minimieren", sagt Raphaël Callsen, Anwalt für Arbeitsrecht bei der Kanzlei dka Berlin. Er vermutet Verstöße gegen das Arbeitsrecht bei "Content-Moderatoren", die nicht professionell medizinisch betreut werden: "Der Arbeitgeber muss wirksame Schutzmaßnahmen ergreifen. Beschäftigte sollten bei einem Video oder Bild, das sie verstört, die Arbeit unterbrechen dürfen und mit einem ständig zur Verfügung stehenden Ansprechpartner die Situation reflektieren können. Möglichst mit einem Arzt, der seiner ärztlichen Schweigepflicht unterliegt." Keiner der Arvato-Mitarbeiter wusste von einem solchen Arzt zu berichten. Die Quellen berichten von offenen Gruppenterminen, bei denen man ohne Voranmeldung über Probleme sprechen konnte. Gehalten von einer Sozialpädagogin, keiner Psychologin, das sagen alle übereinstimmend. Keiner der Angestellten, mit denen wir sprachen, hat diese Sitzung je besucht. Sie scheuten sich, vor fremden Arbeitskollegen über ihre intimsten Probleme zu sprechen.

Eine Mitarbeiterin hatte immer wieder versucht, einen Einzeltermin bei der Sozialpädagogin zu bekommen. Sie musste lange warten. Irgendwann gab sie schließlich auf. Auf Nachfrage des SZ-Magazins macht Facebook keine genaueren Angaben über die Qualifikation der psychologischen Betreuer - oder darüber, ob diese der Schweigepflicht unterliegen.

Da, wo ich herkomme, würde so eine Sozialarbeiterin alles, was ich dort erzähle, sofort an meinen Chef melden. Und der würde mich dann entlassen. Keiner in meinem Team hat irgendein Vertrauen in diese Firma - warum sollten wir dann denen unsere Sorgen anvertrauen?

Dabei gibt es durchaus Beispiele, wie man mit Menschen umgehen kann, die beruflich mit grausamen Medieninhalten konfrontiert sind. Die Bundesprüfstelle für jugendgefährdende Medien, bei der ebenfalls brutale Videos begutachtet werden, bietet neuen Mitarbeitern regelmäßig Schulungen zum Umgang mit belastenden Inhalten an. "Niemand muss sich solche Filme am Stück ansehen", sagt Martina Hannak-Meinke, die Vorsitzende der Bundesprüfstelle, "man kann jederzeit unterbrechen, etwas anderes tun und später weitermachen." Es gibt Einzeltermine bei Sozialarbeitern. Psychologen und Traumaexperten stehen jederzeit bereit. Auch andere Behörden, deren Mitarbeiter sehr belastendes Material untersuchen, haben strenge Regeln: Mal dürfen solche Filme maximal acht Stunden pro Woche beurteilt werden, mal nur in Zweierteams, damit die Wirkung direkt diskutiert werden kann. Manche stellen für solche Tätigkeiten ausschließlich speziell geschulte Juristen ein.

Ich war in meinem Heimatland beim Militär, Bilder von Krieg und Tod schockieren mich nicht. Was mich fertigmacht, ist die Unvorhersehbarkeit. Ein Video kriege ich nicht aus dem Kopf: Darin zertritt eine Frau mit hochhackigen Schuhen ein Katzenbaby als Teil eines Sex-Fetischvideos. Ich dachte nicht, dass Menschen zu so etwas fähig sind.

Das Katzenvideo musste gelöscht werden, es ist ein klarer Verstoß gegen Paragraph 15.1 der dem SZ-Magazin vorliegenden internen Dokumente: Sadismus. "Sexueller Sadismus ist der erotische Genuss von Schmerz eines Lebewesens" - also nicht erlaubt bei Facebook.

Die Umsetzung dieser Regeln überfordert viele Mitarbeiter. Manche berichten, dass sie in Schulungen nicht mitschreiben dürften, als Sicherheitsmaßnahme, dass die geheimen Vorschriften nicht an die Öffentlichkeit kommen.

Die Gemeinschaftsstandards haben sich auch ständig geändert. Früher war das Bild eines abgetrennten Kopfes in Ordnung, solange der Schnitt gerade verlief. Was ist das für eine sinnlose Regel? Und wer legt sie fest?


In den Gemeinschaftsstandards gibt es ein Kapitel über Hassbotschaften, in dem genau geregelt ist, welche Beleidigungen zulässig sind. Darin steht: "Ursprünglich hat Facebook keine Inhalte gelöscht, in denen Mig-ranten angegriffen wurden, da sie nicht zu einer geschützten Kategorie gehören, was eine negative Berichterstattung über die Facebook-Richtlinien zur Folge hatte und dazu führte, dass Deutschland damit drohte, den Betrieb von Facebook in Deutschland zu stoppen. Dies führte zu einer Aktualisierung der Gemeinschaftsstandards, laut der Migranten nun ebenfalls einen gewissen Schutz genießen." Einerseits verdeutlicht das: Politik und öffentlicher Druck haben durchaus Einfluss auf die Regeln, nach denen Facebook Inhalte verbietet und löscht. Andererseits zeigt sich darin exemplarisch ein Grundproblem von Unternehmen wie Facebook: Was oder wer in der Gesellschaft besonderen Schutz genießt, hat in Deutschland in erster Linie das Grundgesetz zu bestimmen - und nicht das Regelwerk einer Firma, das rasch angepasst werden kann, wenn ihr ein Imageschaden droht. Rein theoretisch: Was würde passieren, wenn der gesellschaftliche Konsens in den USA kippen und der Islam bei Facebook plötzlich weniger Schutz genießen würde? Wenn die Hetze gegen Muslime weniger streng verfolgt würde als gegen die laut geheimer Facebook-Dokumente unter anderem geschützten Christen, Juden oder Mormonen? Die Öffentlichkeit würde es womöglich nie erfahren. Selbst die kleinste Änderung der Gemeinschaftsstandards hat eine große Wirkung darauf, was Milliarden Menschen auf der Welt jeden Tag zu sehen bekommen.

Wir sehen so viel Leid - erfahren aber nie, was mit den Leuten passiert, die da abgebildet sind. Wie geht es den Kindern heute? Und werden die Täter verhaftet?

Die Inhalte, die von den Arvato-Mitarbeitern geprüft werden, verstoßen nicht nur gegen moralische Vorstellungen, sondern oft auch gegen deutsches Recht. Wie Facebook mit illegalen Einträgen umgehen müsste, ist kompliziert. Nach deutschem Recht muss ein Plattformbetreiber, sobald der Kenntnis von einer konkreten rechtswidrigen Handlung oder Information hat, diese unverzüglich löschen oder den Zugang zu ihr sperren, erklärt der Fachanwalt für Medien- und IT-Recht Bernhard Buchner. Ansonsten laufen Firmen wie Facebook Gefahr, selbst in die Haftung zu geraten. Und damit nicht genug: Aus Paragraf 138 Strafgesetzbuch geht eine Liste von Straftaten hervor, die jeden, der von ihrer ernsthaften Planung erfährt, in die Pflicht nimmt, das Vorhaben anzuzeigen. Ein Beitrag auf Facebook, in dem jemand glaubhaft ankündigt, seine Klassenkameraden zu erschießen, muss also nicht nur gelöscht, sondern auch gemeldet werden - entweder den Behörden oder den Bedrohten.

Bisher ist bekannt, dass Facebook Kinderpornos an das amerikanische National Center For Missing and Exploited Children (NCMEC) weiterleitet. Alle beim NCMEC eingehenden Hinweise werden dort gesichtet und an die für die weiteren Ermittlungen zuständigen Strafverfolgungsbehörden in den USA oder im Ausland weitergeleitet, erklärt das deutsche Bundeskriminalamt auf Anfrage des SZ-Magazins. "So weit die strafbare Handlung offensichtlich aus dem Bundesgebiet heraus erfolgt ist, werden die verfügbaren Fallinformationen dem Bundes-kriminalamt übersandt." Ob nicht nur Kinderpornografie, sondern auch andere Straftaten via Facebook bei deutschen Behörden landen? Details gibt Facebook nicht bekannt.

Es gibt bei Arvato durchaus Menschen, denen der Umgang mit den "Content-Moderatoren" Sorgen macht. Doch Facebook vertröstet sie mit einer Vision: Eines Tages würden Computer durch künstliche Intelligenz in der Lage sein, Inhalte zu erkennen, die gegen die Nutzungsbedingungen verstoßen. Facebook, Twitter, Google und Microsoft gaben erst vor wenigen Tagen bekannt, dass sie Terrorpropaganda von ihren Seiten künftig in einer gemeinsamen Datenbank speichern und mit einem digitalen Fingerabdruck versehen wollen - so kann ein Bild, das bei Twitter gelöscht wurde, auch automatisch von Facebook entfernt werden. Einerseits ist das ein Gedanke, der Hoffnung macht: Dann müssten sich Menschen nicht mehr diesem Horror aussetzen. Doch es ist auch eine erschreckende Vorstellung: Algorithmen entscheiden, welche Inhalte Milliarden Menschen bei Facebook zu sehen bekommen, ein Computer beurteilt, was brutal ist und was nicht, wo Satire endet und wo Terrorismus beginnt.

Ich weiß, dass jemand diesen Job machen muss. Aber es sollten Leute sein, die dafür trainiert werden, denen geholfen wird und die man nicht einfach vor die Hunde gehen lässt wie uns.Immer wieder habe ich diesen Traum: Menschen stürzen aus einem brennenden Haus. Sie zerschellen am Boden. Einer nach dem anderen landet in einer Lache aus Blut. Ich stehe unten und versuche, die Menschen zu fangen, aber es sind zu viele, und sie sind zu schwer, ich muss ausweichen, damit sie mich nicht erschlagen. Um mich herum stehen Leute, sehr viele, die nicht helfen. Sondern einfach mit ihren Handys filmen.

Im Zuge unserer Recherchen haben wir unsere Quellen immer wieder gefragt, wie es ihnen geht.

Einer hat seine Albträume überwunden, nur tagsüber kommen manchmal die Bilder wieder hoch. Als er kürzlich auf einer Leiter stand, um eine Glühbirne zu wechseln, blickte er nach unten - und sah plötzlich vor seinem inneren Auge den Boden, auf dem die angeblichen Homosexuellen aufschlagen, die IS-Schergen von einem Hausdach gestoßen haben. Eine hat das Land verlassen und lebt weit weg von Deutschland. Eine andere kämpft mit der Vorstellung, überall im Park Tierschänder zu sehen, am Strand Kinderschänder. Sie hat Arvato verlassen und nimmt nun psychologische Hilfe in einer Traumatherapie in Anspruch. Einer besucht einen Deutschkurs und will es mit seinem ursprünglich erlernten Beruf in Deutschland zu etwas bringen.

Keiner derjenigen, die noch bei Arvato arbeiten, hat vor, im Unternehmen zu bleiben.