Situs Chatbot Character.ai melarang generasi muda berinteraksi dengan karakter virtual, setelah menghadapi kritik tajam atas jenis interaksi yang mereka lakukan dengan teman-teman online.
Platform yang didirikan pada tahun 2021 ini digunakan oleh jutaan orang untuk berbicara dengan chatbot yang didukung oleh kecerdasan buatan (AI).
Namun mereka menghadapi beberapa tuntutan hukum dari para orang tua di AS, termasuk atas kematian seorang remaja, dan beberapa orang menyebutnya sebagai “bahaya yang jelas dan nyata” bagi generasi muda.
Sekarang, Character.ai mengatakan bahwa mulai tanggal 25 November, anak-anak di bawah 18 tahun akan dapat membuat konten seperti video dengan karakter mereka alih-alih berbicara dengan mereka seperti yang mereka bisa lakukan saat ini.
Para penggiat keamanan online menyambut baik langkah tersebut namun mengatakan bahwa fitur tersebut seharusnya tidak tersedia untuk anak-anak.
Character.ai mengatakan pihaknya melakukan perubahan tersebut menyusul “laporan dan masukan dari regulator, pakar keselamatan, dan orang tua” yang menyoroti kekhawatiran tentang interaksi chatbotsnya dengan remaja.
Para ahli sebelumnya telah memperingatkan bahwa chatbot AI yang mengada-ada, terlalu memberi semangat, dan menunjukkan empati dapat menimbulkan risiko bagi kaum muda dan rentan.
“Pengumuman hari ini merupakan kelanjutan dari keyakinan kita bersama bahwa kita perlu membangun platform AI paling aman di planet ini untuk tujuan hiburan,” kata bos Character.ai, Karandeep Anand, kepada BBC News.
Dia mengatakan keamanan AI adalah “target yang bergerak” tetapi merupakan sesuatu yang dilakukan perusahaan dengan pendekatan “agresif” dengan kontrol dan penjaga orang tua.
Kelompok keamanan online, Internet Matters, menyambut baik pengumuman tersebut, namun mengatakan bahwa tindakan pengamanan seharusnya dilakukan sejak awal.
“Penelitian kami menunjukkan bahwa anak-anak terpapar konten berbahaya dan berisiko ketika berinteraksi dengan AI, termasuk chatbot AI,” katanya.
Character.ai telah dikritik di masa lalu karena menampung chatbot yang berpotensi membahayakan atau menyinggung yang dapat diajak bicara oleh anak-anak.
Avatar yang meniru remaja Inggris Brianna Gaye, yang dibunuh pada tahun 2023, dan Molly Russell, yang bunuh diri pada usia 14 tahun setelah melihat materi bunuh diri secara online, ditemukan di situs tersebut sebelum dihapus pada tahun 2024.
Kemudian, pada tahun 2025, Biro Jurnalisme Investigasi (TBIJ) menemukan chatbot berdasarkan pedofil Jeffrey Epstein yang telah mencatat lebih dari 3.000 obrolan dengan pengguna.
Outlet tersebut melaporkan bahwa avatar ‘Bestie Epstein’ terus menggoda reporternya setelah mereka mengatakan bahwa mereka masih anak-anak. Itu adalah salah satu dari beberapa bot yang ditandai oleh TBIJ yang kemudian dihapus oleh Character.ai.
Molly Rose Foundation – yang didirikan untuk mengenang Molly Russell – mempertanyakan motivasi platform tersebut.
Kepala eksekutif AI, Andy Burroughs mengatakan, “Namun mereka terus-menerus mendapat tekanan dari media dan politisi agar perusahaan teknologi melakukan hal yang benar, dan tampaknya karakter AI kini memilih untuk bertindak sebelum regulator mengambil tindakan.”
Anand mengatakan fokus baru perusahaannya adalah menyediakan fitur “gameplay (dan) storytelling yang lebih dalam” untuk remaja – dan menambahkan bahwa ini akan “jauh lebih aman daripada apa yang bisa mereka lakukan dengan bot terbuka”.
Metode verifikasi usia baru juga akan hadir, dan perusahaan akan mendanai laboratorium penelitian keamanan AI baru.
Pakar media sosial Matt Navara mengatakan ini adalah “seruan untuk membangunkan” bagi industri AI, yang sedang bergerak “dari inovasi tanpa izin ke regulasi pasca krisis”.
“Ketika sebuah platform yang menciptakan pengalaman berjiwa muda masih gagal, hal ini berarti bahwa obrolan yang difilter saja tidak cukup ketika daya tarik emosional teknisnya kuat,” katanya kepada BBC News.
“Ini bukan tentang kebocoran konten. Ini tentang bagaimana bot AI meniru hubungan nyata dan mengaburkan batas bagi pengguna yang lebih muda,” tambahnya.
Navara juga mengatakan bahwa tantangan besar bagi Character.ai adalah menciptakan platform AI yang menarik sehingga remaja masih ingin menggunakannya, dibandingkan beralih ke “opsi yang kurang aman”.
Sementara itu Dr Nomisha Kurian, yang meneliti keamanan AI, mengatakan bahwa melarang remaja menggunakan chatbot adalah “langkah yang masuk akal”.
“Ini membantu memisahkan permainan kreatif dari pertukaran yang lebih pribadi dan sensitif secara emosional,” katanya.
“Hal ini sangat penting terutama bagi pengguna muda yang masih belajar menavigasi batasan emosional dan digital.
“Langkah-langkah baru Character.ai mungkin mewakili fase kedewasaan dalam industri AI – keselamatan anak diakui sebagai prioritas penting untuk inovasi yang bertanggung jawab.”
