Layanan kesehatan mental gratis yang menawarkan komunitas online jaringan dukungan obrolan peer-to-peer sedang menghadapi pengawasan setelah salah satu pendirinya mengungkapkan bahwa perusahaan tersebut secara singkat bereksperimen dengan menggunakan AI chatbot untuk menghasilkan tanggapan — tanpa memberi tahu penerima. Meskipun sejak saat itu mereka berusaha untuk mengecilkan proyek dan menyoroti kekurangan program, kritikus dan pengguna sama-sama mengungkapkan keprihatinan mendalam tentang etika medis, privasi, dan dunia perangkat lunak chatbot AI yang ramai dan kontroversial.
Seperti yang disorot pada hari Selasa oleh Ilmuwan Baru, Koko didirikan kira-kira tujuh tahun lalu oleh lulusan MIT Rob Morris, yang situs web resminya menyebut layanan tersebut sebagai pendekatan baru untuk membuat dukungan kesehatan mental online “dapat diakses oleh semua orang”. Salah satu layanan utamanya memungkinkan klien seperti platform jejaring sosial untuk menginstal perangkat lunak penandaan kata kunci yang kemudian dapat menghubungkan pengguna ke sumber daya psikologi, termasuk portal obrolan manusia. Koko disebut-sebut sangat berguna bagi pengguna media sosial yang lebih muda.
[Related: OpenAI’s new chatbot offers solid conversations and fewer hot takes.]
Namun Jumat lalu, tweet Morris bahwa sekitar 4.000 pengguna “diberikan dukungan kesehatan mental… menggunakan GPT-3,” yang merupakan program chatbot AI populer yang dikembangkan oleh OpenAI. Meskipun pengguna tidak mengobrol langsung dengan GPT-3, sistem “co-pilot” dirancang agar pekerja pendukung manusia meninjau tanggapan yang disarankan AI, dan menggunakannya jika dianggap relevan. Sebagai Ilmuwan Baru juga mencatat, tampaknya pengguna Koko tidak menerima segala bentuk peringatan di muka yang memberi tahu mereka bahwa dukungan kesehatan mental mereka berpotensi dihasilkan, setidaknya sebagian, oleh chatbot.
Dalam utas Twitter-nya, Morris menjelaskan bahwa, sementara pemirsa menilai tanggapan yang ditulis bersama oleh AI “secara signifikan lebih tinggi” daripada jawaban yang hanya dibuat oleh manusia, mereka memutuskan untuk segera menarik program tersebut, dengan menyatakan bahwa begitu orang mengetahui asal-usul buatan pesan tersebut, ” itu tidak berhasil.”
“Simulasi empati terasa aneh, hampa,” tulis Morris. Tetap saja, dia menyatakan optimisme pada peran potensial AI dalam perawatan kesehatan mental, mengutip proyek sebelumnya seperti Woebot, yang mengingatkan pengguna sejak awal bahwa mereka akan berkomunikasi dengan chatbot.
[Related: Seattle schools sue social media companies over students’ worsening mental health.]
Kejatuhan berikutnya dari deskripsi Morris tentang upaya Koko memicu reaksi online yang hampir seketika, menyebabkan Morris mengeluarkan banyak klarifikasi mengenai “kesalahpahaman” seputar eksperimen tersebut. “Kami tidak memasangkan orang untuk mengobrol dengan GPT-3, tanpa sepengetahuan mereka. (kalau dipikir-pikir, saya bisa mengatakan tweet pertama saya untuk mencerminkan ini dengan lebih baik),” dia tulis Sabtu lalumenambahkan bahwa fitur tersebut adalah “keikutsertaan” saat tersedia.
“Jelas bahwa pembuatan konten AI tidak akan hilang, tetapi sekarang ini bergerak sangat cepat sehingga orang tidak berpikir kritis tentang cara terbaik untuk menggunakannya,” Caitlin Seeley, direktur kampanye untuk kelompok advokasi hak digital, Fight for Masa Depan, tulis PopSci dalam email. “Transparansi harus menjadi bagian dari penggunaan AI—orang harus tahu apakah yang mereka baca atau lihat dibuat oleh manusia atau komputer, dan kita harus memiliki lebih banyak wawasan tentang bagaimana program AI dilatih.”
[Related: Apple introduces AI audiobook narrators, but the literary world is not too pleased.]
Seeley menambahkan bahwa layanan seperti Koko perlu “bijaksana” tentang layanan yang ingin mereka berikan, serta tetap kritis tentang peran AI dalam layanan tersebut. “Masih banyak pertanyaan tentang bagaimana AI dapat digunakan secara etis, tetapi perusahaan mana pun yang mempertimbangkannya harus mengajukan pertanyaan ini sebelum mereka mulai menggunakan AI.”
Morris tampaknya telah mendengar kritik, meskipun masih belum jelas apa yang akan terjadi selanjutnya untuk perusahaan dan rencana masa depan apa pun dengan AI obrolan. “Kami berbagi minat untuk memastikan bahwa setiap penggunaan AI ditangani dengan hati-hati, dengan perhatian mendalam terhadap privasi, transparansi, dan mitigasi risiko,” tulis Morris di blog Koko pada akhir pekan, menambahkan bahwa dewan penasehat klinis perusahaan bertemu untuk membahas pedoman untuk eksperimen di masa mendatang, “khususnya mengenai persetujuan IRB.”