Was ist passiert?
OpenAI hat ein internes Programm namens „Project Lily“ aufgesetzt, bei dem hunderte externe Freiberufler echte ChatGPT-Unterhaltungen lesen, bewerten und zusammenfassen – darunter auch höchst persönliche Gespräche über Gesundheit, Beziehungen und berufliche Probleme. Das Investigativmagazin 404 Media hat interne Dokumente veröffentlicht, die den dreistufigen Bewertungsprozess im Detail offenlegen. Bei über 900 Millionen wöchentlich aktiven Nutzern weltweit ist die Tragweite enorm: Wer ChatGPT als Lebenscoach, Hausaufgabenhilfe oder digitalen Berater nutzt, muss damit rechnen, dass fremde Menschen mitlesen. Und das Opt-out, das OpenAI anbietet, wirkt nicht einmal rückwirkend.
Hintergrund: Warum ChatGPT-Chats so persönlich geworden sind
ChatGPT hat sich längst über das reine Produktivitätstool hinaus entwickelt. Laut einer OpenAI-eigenen Studie handelten im Juni 2025 fast drei Viertel aller Konversationen von Themen außerhalb des Berufslebens. Rund 28 Prozent der Nutzer stellten Alltagsfragen oder suchten Hilfe bei Hausaufgaben. OpenAI-CEO Sam Altman selbst erklärte, dass vor allem Menschen zwischen 20 und 40 Jahren den Chatbot wie eine Art Lebenscoach nutzen würden.
Diese Entwicklung hat eine Dynamik geschaffen, die vielen Nutzern nicht bewusst ist: Die intime „1:1-Chat-Optik“ suggeriert eine vertrauliche Kommunikation – ähnlich einem Gespräch mit einem Therapeuten oder engen Freund. Doch hinter der Oberfläche arbeitet ein Unternehmen, das diese Daten zur Produktverbesserung nutzt. Und genau hier kommt Project Lily ins Spiel.
Die Details: So funktioniert Project Lily
Laut den internen Dokumenten, die 404 Media veröffentlicht hat, läuft der Bewertungsprozess in einem klar definierten Workflow ab:
- Schritt 1 – Prompt lesen: Die externen Reviewer lesen den vollständigen Nutzer-Prompt inklusive des vorangegangenen Gesprächskontexts.
- Schritt 2 – Zusammenfassung schreiben: Sie dokumentieren, was der Nutzer erreichen wollte und welche Absicht hinter der Anfrage steckt.
- Schritt 3 – Antworten bewerten: Bis zu vier verschiedene ChatGPT-Antworten werden auf einer Skala von 1 bis 7 nach Qualität, Hilfsbereitschaft und Tonalität beurteilt.
Das erklärte Ziel: ChatGPT soll weniger unterwürfig, weniger roboterhaft und natürlicher antworten. Die Reviewer sind dabei keine OpenAI-Angestellten, sondern werden über externe Dienstleister wie „Crossing Hurdles“ rekrutiert und über die Plattform „Mercor“ bezahlt – für teilweise über 50 US-Dollar pro Stunde.
Besonders brisant ist, was die Reviewer alles sehen können: Neben den vollständigen Konversationen haben sie Zugriff auf eine „User Memories Summary“ – eine Zusammenfassung dessen, was der Nutzer in vergangenen Gesprächen an Interessen, Themen und sogar ungefährem Wohnort preisgegeben hat. In manchen Fällen enthielten die geprüften Chats sogar explizite Bitten wie „Bitte behalte diese Konversation privat“ – die dann trotzdem von fremden Menschen gelesen wurden.
OpenAI betont zwar, dass Benutzernamen und direkte Kontodaten nicht angezeigt werden und ein automatischer „Privacy Filter“ personenbezogene Daten entfernen soll. Doch dieser Filter ist nachweislich fehlbar: Kontextabhängige persönliche Informationen, ungewöhnliche Identifikatoren und besonders Inhalte aus kürzeren Chats rutschen regelmäßig durch. Durch die Kombination aus Chat-Inhalten, Memory-Zusammenfassungen und grober Lokalisierung entsteht ein reales Wiedererkennungsrisiko – auch ohne Klarnamen.
Einordnung: Was das für dich im DACH-Raum bedeutet
Wenn du ChatGPT beruflich oder privat nutzt, solltest du jetzt genau hinschauen. Die Standardeinstellung für Free-, Plus- und Pro-Konten erlaubt die Verwendung deiner Chats zur Modellverbesserung – und damit potenziell auch die Einsicht durch Project-Lily-Reviewer. Nur bei Enterprise-, Business- und Education-Konten ist diese Option standardmäßig deaktiviert.
Du kannst in den Daten-Einstellungen von ChatGPT festlegen, dass deine Chatverläufe nicht mehr für Trainingszwecke herangezogen werden. Aber Vorsicht: Dieses Opt-out wirkt laut den Berichten nicht rückwirkend. Alles, was du vor der Änderung geschrieben hast, bleibt potenziell für Reviews verfügbar.
Für Solopreneure und Marketer im DACH-Raum hat das handfeste Konsequenzen. Wer Geschäftsgeheimnisse, Kundendaten oder strategische Überlegungen in ChatGPT eingibt, riskiert, dass diese Informationen von externen Freiberuflern – möglicherweise ohne ausreichende Sicherheitsüberprüfung – gelesen werden. Unter der DSGVO wirft das zusätzliche Fragen auf: Ist die Einwilligung, die Nutzer bei der Anmeldung geben, wirklich informiert genug, wenn die meisten Menschen nicht wissen, dass echte Personen ihre Chats lesen?
Meine persönliche Einschätzung: OpenAI bewegt sich hier auf einem schmalen Grat. Die Verbesserung von KI-Modellen durch menschliches Feedback ist ein etablierter und grundsätzlich sinnvoller Prozess. Aber die mangelnde Transparenz darüber, dass fremde Menschen komplette private Konversationen lesen, ist ein Vertrauensbruch. Die meisten Nutzer dürften schlicht nicht damit rechnen.
Was kommt als nächstes?
Project Lily zeigt ein grundsätzliches Dilemma der gesamten KI-Branche: Um Modelle besser zu machen, braucht man menschliches Feedback auf echte Nutzerdaten. Gleichzeitig wächst das Bewusstsein für Datenschutz – besonders in Europa. Es ist nur eine Frage der Zeit, bis europäische Datenschutzbehörden dieses Programm genauer unter die Lupe nehmen.
Bis dahin kannst du drei Dinge sofort tun:
- Prüfe deine ChatGPT-Einstellungen: Unter Settings → Data Controls → Improve the model for everyone kannst du die Datennutzung deaktivieren.
- Behandle ChatGPT wie eine öffentliche Plattform: Gib keine Informationen ein, die du nicht auch in einer öffentlich einsehbaren E-Mail schreiben würdest.
- Nutze Enterprise-Konten für geschäftskritische Anwendungen: Nur dort ist die Datennutzung zur Modellverbesserung standardmäßig ausgeschlossen.
Die Illusion der privaten KI-Konversation ist geplatzt. Und je früher du dein Verhalten daran anpasst, desto besser.