Institut Standar dan Teknologi Nasional (NIST), lembaga Departemen Perdagangan AS yang mengembangkan dan menguji teknologi untuk pemerintah AS, perusahaan, dan masyarakat luas, hari ini mengumumkan peluncuran NIST GenAI, sebuah program baru yang dipelopori oleh NIST untuk menilai AI generatif teknologi, termasuk AI yang menghasilkan teks dan gambar.
Sebuah platform yang dirancang untuk mengevaluasi berbagai bentuk teknologi AI generatif, NIST GenAI akan merilis tolok ukur, membantu menciptakan sistem deteksi “keaslian konten” (yaitu pemeriksaan deepfake) dan mendorong pengembangan perangkat lunak untuk menemukan sumber informasi palsu atau menyesatkan, jelas NIST pada itu situs NIST GenAI yang baru diluncurkan dan di a jumpa pers.
“Program NIST GenAI akan mengeluarkan serangkaian tantangan yang dirancang untuk mengevaluasi dan mengukur kemampuan dan keterbatasan teknologi AI generatif,” demikian bunyi siaran persnya. “Evaluasi ini akan digunakan untuk mengidentifikasi strategi untuk meningkatkan integritas informasi dan memandu penggunaan konten digital yang aman dan bertanggung jawab.”
Proyek pertama NIST GenAI adalah studi percontohan untuk membangun sistem yang dapat secara andal membedakan antara media yang dibuat oleh manusia dan media yang dibuat oleh AI, dimulai dengan teks. (Meskipun banyak layanan yang dimaksudkan untuk mendeteksi deepfake, penelitian — dan pengujian kami sendiri — menunjukkan bahwa layanan tersebut tidak dapat diandalkan, terutama jika menyangkut teks.) NIST GenAI mengundang tim dari akademisi, industri, dan laboratorium penelitian untuk mengirimkan salah satu “generator” — Sistem AI untuk menghasilkan konten – atau “diskriminator” – sistem yang mencoba mengidentifikasi konten yang dihasilkan AI.
Generator dalam penelitian harus menghasilkan ringkasan berdasarkan topik dan sekumpulan dokumen, sedangkan diskriminator harus mendeteksi apakah ringkasan tertentu ditulis oleh AI atau tidak. Untuk memastikan keadilan, NIST GenAI akan menyediakan data yang diperlukan untuk melatih generator dan diskriminator; sistem yang dilatih berdasarkan data yang tersedia untuk umum tidak akan diterima, termasuk namun tidak terbatas pada model terbuka seperti Meta’s Llama 3.
Pendaftaran uji coba akan dimulai pada 1 Mei, dan hasilnya dijadwalkan akan dipublikasikan pada Februari 2025.
Peluncuran NIST GenAI – dan studi yang berfokus pada deepfake – terjadi ketika deepfake tumbuh secara eksponensial.
Menurut data dari Clarity, sebuah perusahaan pendeteksi deepfake, 900% lebih banyak deepfake yang dibuat tahun ini dibandingkan jangka waktu yang sama tahun lalu. Dapat dimengerti bahwa hal ini menimbulkan kekhawatiran. A terkini pemilihan dari YouGov menemukan bahwa 85% warga Amerika mengatakan mereka khawatir dengan penyebaran deepfake yang menyesatkan secara online.
Peluncuran NIST GenAI merupakan bagian dari tanggapan NIST terhadap perintah eksekutif Presiden Joe Biden mengenai AI, yang menetapkan peraturan yang memerlukan transparansi lebih besar dari perusahaan AI tentang cara kerja model mereka dan menetapkan serangkaian standar baru, termasuk untuk memberi label pada konten yang dihasilkan oleh AI. .
Ini juga merupakan pengumuman pertama terkait AI dari NIST setelah penunjukan Paul Christiano, mantan peneliti OpenAI, ke AI Safety Institute milik NIST.
Christiano adalah pilihan yang kontroversial karena pandangannya yang “merusak”; dia sekali diprediksi bahwa “ada kemungkinan 50% pengembangan AI akan berakhir [humanity’s destruction]” Kritikus – termasuk para ilmuwan di NIST, dilaporkan – khawatir Cristiano akan mendorong AI Safety Institute untuk fokus pada “skenario fantasi” daripada risiko AI yang realistis dan lebih mendesak.
NIST mengatakan bahwa NIST GenAI akan menginformasikan pekerjaan AI Safety Institute.