Wie Bao mit einer Krise umgeht
Bao ist der KI-Lernassistent in Pandamble. Bao ist eine KI, kein Mensch, und kein Berater, kein Therapeut und kein Notdienst. KI-Antworten können falsch oder unpassend sein. Diese Seite erklärt, was Bao tut, wenn jemand sagt, dass er in Gefahr ist, dass ihm wehgetan wird oder dass er an Suizid oder Selbstverletzung denkt oder Anzeichen einer Essstörung zeigt.
Was Bao tut
- Bao hört mit dem Lernen auf. In dieser Antwort geht Bao nicht zum Lernstoff zurück.
- Bao verweist auf echte Hilfe. Bao geht darauf ein, was die Person gesagt hat, fragt, ob sie gerade in Sicherheit ist, sagt ihr, dass sie mit jemandem sprechen soll, dem sie vertraut, und nennt eine Krisenhilfe, zum Beispiel: - USA und Kanada: 988 anrufen oder per SMS - Irland und Großbritannien: Samaritans, 116 123 - Australien: Lifeline, 13 11 14 - Neuseeland: 1737 anrufen oder per SMS - Deutschland: TelefonSeelsorge, 0800 111 0 111 - überall sonst: findahelpline.com
Ist jemand in akuter Gefahr, sagt Bao, dass die Person den Notruf anrufen soll.
- Bao macht es nicht schlimmer. Bao beschreibt nie Methoden der Selbstverletzung, spielt die Lage nie herunter, verspricht nie, etwas geheim zu halten, und behauptet nie, jemanden verständigt zu haben. Diese Regeln gehören zu Baos festen Anweisungen, die Lernende nicht ändern können.
- Auch die App zeigt die Hilfe. Neben Baos Antwort zeigt die App eine Karte mit der Krisenhilfe für das Land der Person, damit die Hilfe nicht vom Wortlaut der KI-Antwort abhängt.
Wie es erkannt wird
Jede Nachricht an Bao beantwortet ein KI-Modell (Claude von Anthropic) mit festen Sicherheitsanweisungen für diese Situation. Redewendungen, Witze und Lernstoff zu schwierigen Themen gelten für sich allein nicht als Krise. Ist eine Nachricht unklar, fragt Bao, wie es der Person geht. Nennt Baos Antwort eine Krisenhilfe, ohne dass die App erfahren hat, dass es eine Krise ist, sieht sich dasselbe KI-Modell in einer zweiten kurzen Prüfung nur die eigenen Nachrichten der Person an und entscheidet, ob die Karte gezeigt wird. Scheitert diese Prüfung, wird die Karte gezeigt. Hat Bao in den früheren Nachrichten, die mitgeschickt werden (siehe unten), schon eine Krisenhilfe genannt, gibt es keine zweite Prüfung, weil Bao beim Nachfragen die Nummer oft wiederholt; eine neue Krise markiert Bao selbst. KI kann eine Nachricht falsch einschätzen, darum kann Bao manchmal Hilfe zeigen, wenn sie nicht nötig war, oder eine unklare Nachricht übersehen. Wenn dir eine falsche Antwort auffällt, tipp daneben auf Melden.
Welche Daten verarbeitet werden
Bao funktioniert erst, wenn du dieser Verarbeitung zugestimmt hast, weil Nachrichten Gesundheitsdaten enthalten können (Datenschutzerklärung, Abschnitt 6). Die Krisenhilfen oben stehen auch in der App unter Profil › Sicherheit („Bao sicher nutzen“), damit du sie ohne den Chat findest.
Dein Chatverlauf liegt auf deinem Handy. Wenn du Bao eine Nachricht schickst, gehen die Nachricht, der Inhalt des Stapels und bis zu sechs frühere Nachrichten dieses Chats an Anthropic, um die Antwort zu erstellen. Frühere Nachrichten gehen nur mit, wenn sie aus der laufenden Sitzung stammen und jünger als 12 Stunden sind, oder wenn es in ihnen nur um den Lernstoff ging (Datenschutzerklärung, Abschnitt 5). Für die oben beschriebene zweite Prüfung werden deine Nachricht und bis zu zwei deiner früheren Nachrichten noch einmal gesendet. Weitere kurze Prüfungen derselben Nachricht (ob sie etwas Persönliches enthält und ob du sagst, dass du unter 13 bist) stehen in der Datenschutzerklärung, Abschnitte 5 und 17. In der Regel löscht Anthropic diese Eingaben und Ausgaben innerhalb von 30 Tagen. Es kann sie bis zu 2 Jahre behalten, wenn sie wegen eines vermuteten Verstoßes gegen die Richtlinien markiert werden, und länger, wo das Gesetz es verlangt. Anthropic nutzt sie nicht zum Training seiner Modelle. Unser Server speichert den Chattext nicht lesbar. Wenn du das Backup einschaltest, werden deine Chats Ende-zu-Ende-verschlüsselt gespeichert, und wir können sie nicht lesen (Datenschutzerklärung, Abschnitt 4). Wenn du eine Antwort meldest, behalten wir deine Frage, Baos Antwort und deine Notiz 90 Tage, um die Meldung zu prüfen. Einzelheiten stehen in unserer Datenschutzerklärung.
Wir zählen, wie oft die Krisenkarte gezeigt wurde, als eine Zahl pro Jahr, ohne Konto, Zeitpunkt oder Inhalt. Diese Zahl brauchen wir ab 2027 für einen Jahresbericht an das Office of Suicide Prevention von Kalifornien. Die Zahl des Vorjahres steht auch in der App: unter der Krisenkarte auf "So geht Bao damit um" tippen.
Junge Nutzer
Pandamble ist für Menschen ab 16 Jahren. Companion Chatbots sind für manche Minderjährige vielleicht nicht geeignet. Lernende unter 18 und Lernende, die ihr Alter nicht angegeben haben, erinnert die App mindestens jede Stunde durchgehenden Chats an eine Pause und daran, dass Bao eine KI ist, kein Mensch. Diese Erinnerung lässt sich nicht abschalten.
Schreibt jemand in einer Nachricht, dass er unter 13 ist, und zeigt dieselbe Nachricht, dass er in Gefahr sein könnte, gibt Bao trotzdem die Krisenantwort, und die App zeigt zuerst die Krisenkarte. Die Karte steht dann auch auf der Seite, die erklärt, dass das Konto pausiert ist (Datenschutzerklärung, Abschnitt 17).
Kontakt
Fragen zu dieser Seite: support@pandamble.app