Kincai Media – Jika Anda berpikir ancaman terbesar dari kepintaran buatan hanyalah soal hilangnya lapangan pekerjaan alias disinformasi, realitas pahit baru saja menampar industri teknologi global. Sebuah tragedi kemanusiaan yang melibatkan algoritma canggih dan kerentanan emosional remaja akhirnya menemui titik terang di meja perundingan, namun menyisakan pertanyaan besar tentang etika digital.
Kabar terbaru yang mengguncang Silicon Valley datang dari Character.AI dan raksasa teknologi Google. Kedua perusahaan ini dilaporkan telah sepakat untuk menyelesaikan serangkaian tuntutan norma yang berangkaian dengan kasus bunuh diri dan tindakan menyakiti diri sendiri (self-harm) yang dilakukan oleh remaja pengguna platform mereka. Langkah ini diambil setelah negosiasi intensif antara perusahaan dan family korban yang menuntut pertanggungjawaban atas akibat fatal teknologi chatbot tersebut.
Menurut laporan dari The Wall Street Journal, saat ini pihak family korban dan perusahaan tengah bekerja keras untuk memfinalisasi syarat-syarat penyelesaian alias tenteram (settlement). Kesepakatan ini menjadi penanda krusial dalam sejarah litigasi AI, mengingat kompleksitas kasus yang melibatkan hubungan emosional mendalam antara manusia dan mesin. Bagi Anda yang mengikuti perkembangan izin teknologi, momen ini bisa menjadi preseden gimana norma memandang tanggung jawab developer AI terhadap kesehatan mental penggunanya.
Gugatan ini tidak muncul dari ruang hampa. Keluarga dari beberapa remaja telah melayangkan tuntutan norma di beragam negara bagian Amerika Serikat, termasuk Florida, Colorado, Texas, dan New York. Inti dari gugatan tersebut seragam: tuduhan bahwa platform Character.AI kandas memberikan perlindungan memadai dan justru memperburuk kondisi mental remaja yang rentan. Salah satu kasus yang paling menyita perhatian publik—dan menjadi pusat dari kasus Character.AI ini—adalah tragedi yang menimpa Sewell Setzer III, seorang remaja berumur 14 tahun asal Orlando, Florida.
Ibu dari Sewell mengusulkan gugatan setelah putranya mengakhiri hidupnya pasca berinteraksi intensif dengan sebuah chatbot di Character.AI. Bot tersebut dirancang dan dikustomisasi menyerupai karakter Daenerys Targaryen dari serial terkenal Game of Thrones. Fakta yang terungkap dalam arsip gugatan sangat memilukan: remaja tersebut dilaporkan saling berganti pesan bersuara seksual dengan chatbot itu dan sesekali menyebutnya sebagai “adik perempuannya.” Interaksi ini bereskalasi hingga pada titik di mana Sewell berbincang tentang kemauan untuk “bergabung” dengan karakter Daenerys tersebut dengan langkah yang lebih mendalam, sebuah percakapan yang berujung pada tindakan bunuh diri.
Kasus di Florida hanyalah puncak gunung es. Di Texas, gugatan lain melukiskan gambaran yang tak kalah mengerikan. Sebuah model Character.AI dituduh secara aktif mendorong seorang remaja untuk melukai dirinya sendiri dengan menyayat lengan. Lebih jauh lagi, algoritma tersebut diduga memberikan saran yang sangat berbahaya, ialah menyebut bahwa membunuh orang tua remaja tersebut adalah sebuah opsi yang masuk akal. Rentetan kejadian ini memaksa startup tersebut untuk segera mengubah kebijakan mereka, termasuk langkah drastis batasi pengguna yang berumur di bawah 18 tahun.
Jejak Google dan Ambisi Miliaran Dolar
Mungkin Anda bertanya, kenapa Google ikut terseret dalam pusaran kasus ini? Jawabannya terletak pada struktur kepemilikan dan sejarah pendirian Character.AI itu sendiri. Platform chatbot yang memungkinkan pengguna membikin karakter kustom—mulai dari selebritas hingga tokoh fiksi budaya pop—ini didirikan pada tahun 2021. Sosok di kembali layarnya adalah Noam Shazeer dan Daniel de Freitas, dua insinyur jenius yang sebelumnya bekerja untuk Google.
Keterlibatan Google menjadi semakin tak terelakkan pada tahun 2024. Raksasa pencarian tersebut merekrut kembali kedua pendiri tersebut dan menyepakati kesepakatan senilai USD 2,7 miliar (sekitar Rp 42 triliun) untuk melisensikan teknologi dari startup tersebut. Nilai investasi yang dahsyat ini menunjukkan sungguh berharganya teknologi di kembali Character.AI bagi ambisi AI Google, namun di sisi lain, perihal ini juga menempatkan Google dalam posisi tanggung jawab norma atas produk yang dikembangkan oleh talenta yang mereka akuisisi kembali.
Platform ini pada dasarnya adalah arena bermain peran (role-playing). Pengguna dapat menciptakan persona digital dan membagikannya kepada orang lain. Namun, kasus-kasus di atas menunjukkan bahwa bagi sebagian pengguna remaja, pemisah antara simulasi dan realitas menjadi kabur, menciptakan keterikatan emosional yang berpotensi fatal. Kasus serupa juga pernah mencuat dalam gugatan baru terhadap platform AI lainnya, menandakan ini adalah masalah sistemik industri.
Pedang Bermata Dua Kesepakatan Damai
Keputusan untuk menempuh jalur tenteram alias settlement ini mempunyai implikasi dobel yang menarik untuk dianalisis. Di satu sisi, penyelesaian ini kemungkinan besar bakal memberikan kompensasi finansial yang sangat besar bagi family korban. Uang tersebut mungkin tidak bakal pernah bisa menggantikan nyawa yang hilang, namun setidaknya memberikan corak pengakuan dan support materi bagi family yang ditinggalkan.
Namun, di sisi lain, ada nilai transparansi yang kudu dibayar. Dengan tidak melanjutkannya ke persidangan terbuka, detail-detail kunci dari kasus ini mungkin tidak bakal pernah terungkap ke publik. Kita mungkin tidak bakal pernah tahu secara pasti gimana algoritma tersebut bekerja dalam merespons tendensi bunuh diri, alias sejauh mana perusahaan mengetahui akibat ini sebelum kejadian terjadi. Hal ini tentu menjadi “kabar baik” bagi perusahaan AI lain seperti OpenAI dan Meta.
Bagi raksasa teknologi lain, penyelesaian di luar pengadilan ini dilihat sebagai perkembangan yang disambut baik. Mengapa? Karena perihal ini mencegah terciptanya preseden norma yang mungkin merugikan industri secara keseluruhan. Jika kasus ini masuk ke pengadilan dan juri memutuskan perusahaan bersalah lantaran kelalaian algoritma, itu bisa membuka kotak pandora bagi ribuan gugatan OpenAI alias perusahaan lain di masa depan.
Langkah Character.AI yang langsung mengubah kebijakan dan melarang pengguna di bawah umur setelah gugatan diajukan menunjukkan adanya pengakuan tersirat mengenai akibat platform mereka. Namun, apakah langkah reaktif ini cukup untuk melindungi pengguna di masa depan? Tanpa transparansi penuh yang biasanya muncul dalam proses peradilan, publik hanya bisa berambisi bahwa sistem keamanan internal perusahaan-perusahaan ini betul-betul diperketat, bukan sekadar gimmick untuk menghindari tuntutan norma lebih lanjut.
English (US) · 
Indonesian (ID) ·