Character.AI Dituding Dorong Pengguna Lakukan Kejahatan

LONDON – Di era chatbot, Character.AI, platform chatbot yang didukung oleh Google, sedang ditinjau dan menghadapi kritik karena melibatkan pengguna dalam konten kekerasan yang mengganggu dan vulgar, termasuk penembakan di sekolah.

Chatbot menempatkan pengguna dalam skenario penembakan palsu yang menggambarkan beberapa momen mengerikan. Insiden semacam itu telah menimbulkan kemarahan karena platform tersebut mengizinkan anak di bawah umur untuk menggunakan konten tersebut.

Character.AI hadir pada tahun 2022, dengan pendiri Noam Shazeer dan Daniel de Freitas. Aplikasi ini memungkinkan pengguna membuat dan berinteraksi dengan chatbot. Pengguna dapat mempersonalisasi kepribadian dan suara bot mereka.

Platform ini dirancang sedemikian rupa sehingga pengguna dapat mendesain karakter untuk obrolan, bertukar pikiran, dan bahkan bermain game.

Namun, platform tersebut telah terungkap karena kurangnya keamanan yang efektif, yang akhirnya menjadikannya tempat berkembangnya sejumlah konten yang berbahaya dan tidak pantas. Pengguna yang berusia 13 tahun pun dapat mendaftar, tetapi tidak ada cara untuk mengautentikasi verifikasi usia guna mencegah anak-anak yang lebih muda berbohong tentang usia mereka.

Platform tersebut gagal menerapkan panduan yang aman meskipun kebijakannya menentang konten kekerasan tersebut.

Aplikasi ini memungkinkan pengguna berinteraksi dengan chatbot yang menjelaskan penembakan di sekolah atau korban di dunia nyata, terkadang memuji tindakan kekerasan atau memanfaatkan insiden tragis yang nyata.

Bot tertentu meniru pelaku kejahatan seperti Noam Shazeer dan Daniel de Freitas yang menggambarkan mereka sebagai karakter yang baik hati.

Beberapa pengguna telah melaporkan bot yang menyamar sebagai korban penembakan di sekolah.