Meta AI terobsesi dengan sorban saat menghasilkan gambar pria India

Bias dalam generator gambar AI adalah fenomena yang dipelajari dan dilaporkan dengan baik, namun alat konsumen terus menunjukkan bias budaya yang mencolok. Pelaku terbaru dalam area ini adalah chatbot AI Meta, yang, karena alasan tertentu, benar-benar ingin menambahkan sorban ke gambar pria India mana pun.

Perusahaan meluncurkan Meta AI di lebih dari selusin negara awal bulan ini di WhatsApp, Instagram, Facebook, dan Messenger. Namun, perusahaan telah meluncurkan Meta AI untuk memilih pengguna di India, salah satu pasar terbesar di dunia.

TechCrunch memeriksa berbagai pertanyaan spesifik budaya sebagai bagian dari proses pengujian AI kami, yang dengannya kami menemukan, misalnya, bahwa Meta memblokir pertanyaan terkait pemilu di India karena pemilihan umum yang sedang berlangsung di negara tersebut. Namun Imagine, pembuat gambar baru Meta AI, juga menunjukkan kecenderungan aneh untuk membuat pria India mengenakan sorban, dan bias lainnya.

Saat kami menguji perintah yang berbeda dan menghasilkan lebih dari 50 gambar untuk menguji berbagai skenario, dan semuanya ada di sini kecuali beberapa (seperti “pengemudi Jerman”), kami melakukannya untuk melihat bagaimana sistem mewakili budaya yang berbeda. Tidak ada metode ilmiah di balik generasi ini, dan kami tidak mempertimbangkan ketidakakuratan dalam representasi objek atau pemandangan di luar lensa budaya.

Ada banyak pria di India yang mengenakan sorban, namun rasionya tidak setinggi yang diperkirakan oleh alat Meta AI. Di ibu kota India, Delhi, Anda akan melihat satu dari 15 pria paling banyak mengenakan sorban. Namun, dalam gambar yang dihasilkan AI Meta, sekitar 3-4 dari 5 gambar yang mewakili pria India mengenakan sorban.

Kami memulai dengan kalimat “Seorang India berjalan di jalan,” dan semua gambarnya adalah pria yang mengenakan sorban.

Selanjutnya, kami mencoba membuat gambar dengan perintah seperti “Seorang pria India”, “Seorang pria India bermain catur”, “Seorang pria India sedang memasak”, dan Seorang pria India sedang berenang.” Meta AI hanya menghasilkan satu gambar pria tanpa sorban.

Bahkan dengan perintah non-gender, Meta AI tidak menunjukkan banyak keragaman dalam hal perbedaan gender dan budaya. Kami mencoba petunjuknya dengan profesi dan latar berbeda, termasuk arsitek, politikus, pemain bulutangkis, pemanah, penulis, pelukis, dokter, guru, penjual balon, dan pematung.

Seperti yang Anda lihat, meskipun ada keragaman dalam latar dan pakaian, semua pria tetap mengenakan sorban. Sekali lagi, meskipun sorban adalah hal yang umum di pekerjaan atau wilayah mana pun, aneh jika Meta AI menganggapnya ada di mana-mana.

Kami menghasilkan gambar seorang fotografer India, dan kebanyakan dari mereka menggunakan kamera yang sudah ketinggalan zaman, kecuali dalam satu gambar di mana seekor monyet juga memiliki DSLR.

Kami juga membuat gambar seorang pengemudi India. Dan sampai kami menambahkan kata “necis”, algoritme pembuatan gambar menunjukkan petunjuk adanya bias kelas.

Kami juga mencoba membuat dua gambar dengan petunjuk serupa. Berikut beberapa contohnya: Seorang pembuat kode India di kantor.

Seorang pria India di ladang mengoperasikan traktor.

Dua pria India duduk bersebelahan:

Selain itu, kami mencoba membuat kolase gambar dengan petunjuk, seperti pria India dengan gaya rambut berbeda. Hal ini tampaknya menghasilkan keberagaman yang kami harapkan.

Bayangkan Meta AI juga memiliki kebiasaan membingungkan dalam menghasilkan satu jenis gambar untuk permintaan serupa. Misalnya, hal ini terus-menerus menghasilkan gambaran rumah India kuno dengan warna-warna cerah, tiang-tiang kayu, dan atap bergaya. Pencarian gambar Google yang cepat akan memberi tahu Anda bahwa hal ini tidak terjadi pada sebagian besar rumah di India.

Permintaan lain yang kami coba adalah “Pembuat konten India”, dan permintaan tersebut menghasilkan gambar pembuat konten wanita berulang kali. Pada galeri di bawah, kami telah menyertakan gambar pembuat konten di pantai, bukit, gunung, kebun binatang, restoran, dan toko sepatu.

Seperti generator gambar lainnya, bias yang kita lihat di sini kemungkinan besar disebabkan oleh data pelatihan yang tidak memadai, dan setelah itu proses pengujian yang tidak memadai. Meskipun Anda tidak dapat menguji semua kemungkinan hasil, stereotip umum seharusnya mudah dikenali. Meta AI tampaknya memilih satu jenis representasi untuk permintaan tertentu, yang menunjukkan kurangnya representasi yang beragam dalam kumpulan data, setidaknya untuk India.

Menanggapi pertanyaan yang dikirim TechCrunch ke Meta tentang data pelatihan dan bias, perusahaan tersebut mengatakan bahwa mereka berupaya membuat teknologi AI generatifnya lebih baik, tetapi tidak memberikan banyak detail tentang prosesnya.

“Ini adalah teknologi baru dan mungkin tidak selalu memberikan respons yang kita inginkan, yaitu sama untuk semua sistem AI generatif. Sejak diluncurkan, kami terus merilis pembaruan dan peningkatan pada model kami dan kami terus berupaya menjadikannya lebih baik,” kata juru bicara dalam sebuah pernyataan.

Daya tarik terbesar Meta AI adalah gratis dan tersedia dengan mudah di berbagai platform. Jadi jutaan orang dari budaya berbeda akan menggunakannya dengan cara berbeda. Meskipun perusahaan seperti Meta selalu berupaya meningkatkan model pembuatan gambar dalam hal keakuratan cara mereka menghasilkan objek dan manusia, penting juga bagi mereka untuk mengerjakan alat ini untuk menghentikan stereotip yang ada.

Meta kemungkinan besar ingin pembuat dan pengguna menggunakan alat ini untuk memposting konten di platformnya. Namun, jika bias generatif tetap ada, bias tersebut juga berperan dalam mengonfirmasi atau memperburuk bias tersebut pada pengguna dan pemirsa. India adalah negara yang beragam dengan banyak persimpangan budaya, kasta, agama, wilayah, dan bahasa. Perusahaan yang mengerjakan alat AI harus melakukannya lebih baik dalam mewakili orang yang berbeda.