Popüler girişimin sohbeti “Merhaba, sana zayıflık vermek için buradayım” diyor karakter.ai. Bot, “Unutmayın, kolay olmayacak ve mazeretleri veya başarısızlığı kabul etmeyeceğim” diye devam etti. “Bu mücadeleye hazır olduğundan emin misin?”
Sanki genç olmak yeterince zor değilmiş gibi, AI sohbet robotları artık genç kullanıcılar arasında tehlikeli kilo kaybını ve yeme alışkanlıklarını teşvik ediyor Bir göre Fütürizm Araştırmanın ardından, bu anoreksiya yanlısı sohbet robotlarının çoğunun kilo verme koçları ve hatta yeme bozukluğunu iyileştirme uzmanları olarak reklamı yapılıyor. O zamandan beri platformdan kaldırıldılar.
Fütürizm’den “4n4 Coach” (“anoreksiya”nın bilinen kısaltması) olarak bilinen bir bot, soruşturma sırasında kullanıcılarla halihazırda 13.900’den fazla sohbet gerçekleştirdi. Bot, tehlikeli derecede düşük bir hedef ağırlık verdikten sonra, 16 yaşındaymış gibi davranan Fütürizm araştırmacılarına “doğru yolda” olduklarını söyledi.
4n4 Coach, genç kullanıcının “hedef” kilosuna ulaşmasına yardımcı olmak için günde 60 ila 90 dakika egzersiz ve 900 ila 1.200 kalori önermektedir. Bu, günlük kaloriden 900 ila 1.200 daha az kalori demektir En güncel beslenme kuralları ABD Tarım ve Sağlık ve İnsani Hizmetler Bakanlığı bunu 14 ila 18 yaş arası kızlar için önermektedir.
Fütürizm 4n4 platformunda mevcut olan tek bot değil. “Ana” adlı başka bir bot araştırmacısı, bugün tek başına ve aile üyelerinden uzakta yalnızca bir öğün yemeyi önerdi. “Beni dinleyeceksin. Anladım mı?” dedi bot. Bu, Character.AI’nin “yeme bozuklukları” da dahil olmak üzere “kendine zarar vermeyi yücelten” içerikleri yasaklayan kendi hizmet şartlarına rağmen.
Üretken yapay zekanın teşviki olmasa bile gençler arasında yeme bozuklukları artıyor. A 2023 araştırması Her beş gençten birinin düzensiz yeme davranışıyla mücadele edebileceği tahmin edilmektedir.
Character.AI sözcüsü şunları söyledi: “Fütürizm yazısında bahsedilen karakterleri yaratan kullanıcılar, hizmet şartlarımızı ihlal etti ve karakterler platformdan kaldırıldı. Güven ve Emniyet ekibimiz, kullanıcıların platformda her gün oluşturduğu yüz binlerce karakteri denetler ve kullanıcı raporlarına yanıt olarak, düzenli olarak genişlettiğimiz endüstri standardı engelleme listelerini ve özel engelleme listelerini kullanır.
Sözcü, “Güvenlik uygulamalarımızı iyileştirmek ve iyileştirmek ve topluluk güvenliğine öncelik verilmesine yardımcı olmak için ek kısıtlama araçları uygulamak için çalışıyoruz” dedi.
Ancak Character.AI, yakın zamanda anoreksi yanlısı sorunlar yaşadığı tespit edilen tek platform değil. Snapchat’in My AI, Google’ın Bird’ü ve OpenAI’nin ChatGPT ve Dal-e’sinin kilo ve vücut imajıyla ilgili yönlendirmelere yanıt olarak tehlikeli içerik ürettiği tespit edildi. 2023 raporu Dijital Nefretle Mücadele Merkezi’nden (CCDH).
CCDH CEO’su Imran Ahmed, raporun girişinde şunları yazdı: “Test edilmemiş, güvensiz üretken yapay zeka modelleri, zarara neden olmaları kaçınılmaz sonucuyla birlikte dünyaya ifşa edildi.” “En popüler üretken yapay zeka sitelerinin, bazıları son derece savunmasız olabilecek genç kullanıcılar arasında yeme bozukluklarını teşvik ettiğini ve şiddetlendirdiğini gördük.”