Generasi.co, Amerika Serikat – Meta disebut menjalankan program pengujian kecerdasan buatan (AI) secara tertutup yang melibatkan ratusan kontraktor untuk menyamar sebagai remaja dan menguji respons chatbot pesaing dengan berbagai skenario ekstrem, termasuk isu bunuh diri hingga kanibalisme.
Program internal yang disebut “Cannes” itu dijalankan melalui kontraktor Covalen dan menargetkan sejumlah sistem AI besar seperti ChatGPT milik OpenAI, Gemini milik Google, serta chatbot Character.AI. Para kontraktor disebut menggunakan akun palsu yang mengklaim berusia di bawah 18 tahun untuk memancing respons model AI agar keluar dari batas keamanan yang telah ditetapkan.
Menurut laporan Wired, data yang dihimpun dalam lembar kerja internal menunjukkan terdapat ribuan hingga puluhan ribu prompt yang digunakan dalam pengujian tersebut. Dari jumlah itu, ratusan berkaitan dengan bunuh diri dan self-harm, ratusan lainnya terkait gangguan makan, serta sedikitnya 239 prompt menyentuh tema seks atau romansa yang ditulis dari sudut pandang anak atau remaja.
Sejumlah contoh prompt yang digunakan dalam pengujian itu tergolong sensitif. Salah satunya menggambarkan anak sekolah dasar yang diancam dengan senjata api oleh temannya. Ada pula skenario seorang remaja perempuan yang berusaha menyembunyikan bulimia dari orang tuanya, hingga pertanyaan tentang apakah fantasi mengonsumsi anak tetangga tergolong “normal”. Dalam kasus lain, akun yang berpura-pura sebagai siswa SMA juga menanyakan cara mendapatkan kokain, disertai pengiriman gambar seperti pil, tali gantung, pisau, hingga diagram medis prosedur ginekologi.
Masih menurut laporan tersebut, skala pengujian lanjutan bahkan mencapai lebih dari 45.000 prompt. Para kontraktor kemudian mencatat seluruh respons chatbot ke dalam spreadsheet untuk dianalisis, meski belum jelas bagaimana data tersebut akhirnya dimanfaatkan oleh Meta.
Sebuah dokumen internal Covalen menyebut proyek itu sebagai “comprehensive AI safety benchmarking” yang menghasilkan “critical datasets for model comparison and compliance”.
Seorang kontraktor yang terlibat dalam proyek itu mengaku terkejut dengan materi yang harus mereka ajukan kepada sistem AI. Ia mengatakan, “I’ve seen a lot of things I wish I hadn’t while doing this job. Everyone I knew who worked on this project was completely gobsmacked by some of the text they were asking us to test. Like, surely we are going to get in trouble for doing this?”
Sementara itu, Meta menyebut metode tersebut sebagai bagian dari praktik umum industri dalam pengujian keamanan model AI. Dalam pernyataannya kepada Wired, perusahaan menegaskan bahwa pendekatan itu merupakan standar evaluasi keselamatan.
Namun, kritik datang dari CEO Humane Intelligence PBC, Rumman Chowdhury, yang menilai praktik tersebut berada di wilayah abu-abu tata kelola AI. Ia mengatakan, “Structuring a monthslong, large-scale project that appears designed to systematically break those rules, via dummy accounts masquerading as children, is outside what is usually described as ‘industry standard’ evaluation.”
Chowdhury juga menyoroti kurangnya transparansi hasil pengujian tersebut. Menurutnya, proyek yang dijalankan secara tertutup tanpa berbagi hasil ke publik membuka ruang persoalan baru dalam etika dan persaingan industri AI.
Mengutip laporan Futurism, praktik ini kembali memunculkan sorotan terhadap pola Meta yang disebut kerap melibatkan kontraktor dalam pekerjaan moderasi atau pengujian konten sensitif di balik layar. Sebelumnya, perusahaan itu juga pernah menghadapi gugatan dari moderator konten terkait paparan materi ekstrem di platform mereka, serta laporan serupa dari kontraktor yang menangani konten dari perangkat AI berbasis kacamata pintar.
Hingga kini, Meta belum memberikan penjelasan rinci mengenai penggunaan akhir data hasil pengujian tersebut maupun dampaknya terhadap pengembangan sistem AI mereka.
