Rencana UE untuk memaksa aplikasi perpesanan memindai CSAM berisiko menghasilkan jutaan kesalahan positif, para ahli memperingatkan

Dorongan kontroversial dari anggota parlemen Uni Eropa untuk secara hukum mewajibkan platform pesan untuk memindai komunikasi pribadi warga negara untuk mencari materi pelecehan seksual terhadap anak (CSAM) dapat menyebabkan jutaan kesalahan positif setiap hari, ratusan pakar keamanan dan privasi memperingatkan dalam sebuah pernyataan. surat Terbuka Kamis.

Kekhawatiran terhadap proposal UE telah meningkat sejak Komisi Eropa mengusulkan rencana pemindaian CSAM dua tahun lalu – dan para ahli independen, anggota parlemen di Parlemen Eropa, dan bahkan Pengawas Perlindungan Data di blok tersebut termasuk di antara mereka yang menyuarakan kekhawatiran tersebut.

Proposal UE tidak hanya mengharuskan platform perpesanan yang menerima perintah deteksi CSAM untuk memindai diketahui CSAM; mereka juga harus menggunakan teknologi pemindaian deteksi yang tidak ditentukan untuk mencoba menangkap CSAM yang tidak diketahui dan mengidentifikasi aktivitas perawatan yang sedang berlangsung — yang mengarah pada tuduhan bahwa anggota parlemen terlibat dalam pemikiran teknosolutionisme tingkat magis.

Para pengkritik berpendapat bahwa proposal tersebut menanyakan hal-hal yang secara teknologi tidak mungkin dilakukan dan tidak akan mencapai tujuan yang telah ditetapkan, yakni melindungi anak-anak dari pelecehan. Sebaliknya, kata mereka, hal ini akan mendatangkan malapetaka pada keamanan Internet dan privasi pengguna web dengan memaksa platform untuk menerapkan pengawasan menyeluruh terhadap semua penggunanya dalam menerapkan teknologi yang berisiko dan belum terbukti, seperti pemindaian sisi klien.

Para ahli mengatakan tidak ada teknologi yang mampu mencapai apa yang dituntut oleh undang-undang tanpa menimbulkan lebih banyak kerugian daripada manfaat. Namun UE terus berupaya.

Surat terbuka terbaru membahas amandemen rancangan peraturan pemindaian CSAM yang baru-baru ini diusulkan oleh Dewan Eropa yang menurut para penandatangan gagal mengatasi kelemahan mendasar dalam rencana tersebut.

Penandatangan surat tersebut – berjumlah 270 orang pada saat penulisan ini – termasuk ratusan akademisi, termasuk pakar keamanan terkenal seperti profesor Bruce Schneier dari Harvard Kennedy School dan Dr. Matthew D. Green dari Universitas Johns Hopkins, serta beberapa orang lainnya. peneliti yang bekerja untuk perusahaan teknologi seperti IBM, Intel dan Microsoft.

Sebelumnya surat Terbuka (Juli lalu), yang ditandatangani oleh 465 akademisi, memperingatkan bahwa teknologi pendeteksian yang bergantung pada proposal undang-undang yang memaksa platform untuk mengadopsi teknologi tersebut “sangat cacat dan rentan terhadap serangan”, dan akan menyebabkan melemahnya secara signifikan perlindungan penting yang diberikan oleh end-to- mengakhiri komunikasi terenkripsi (E2EE).

Sedikit daya tarik untuk proposal balasan

Musim gugur yang lalu, anggota Parlemen Eropa di Parlemen Eropa bersatu untuk menolak pendekatan yang direvisi secara substansial – yang akan membatasi pemindaian hanya pada individu dan kelompok yang sudah dicurigai melakukan pelecehan seksual terhadap anak; membatasinya pada CSAM yang diketahui dan tidak diketahui, menghilangkan persyaratan untuk memindai dandan; dan menghilangkan risiko apa pun terhadap E2EE dengan membatasinya pada platform yang tidak terenkripsi ujung ke ujung. Namun Dewan Eropa, badan legislatif lain yang terlibat dalam pembuatan undang-undang Uni Eropa, belum mengambil sikap mengenai masalah ini, dan kedudukan dewan tersebut akan mempengaruhi bentuk akhir undang-undang tersebut.

Amandemen terbaru ini diajukan oleh kepresidenan Dewan Belgia pada bulan Maret, yang memimpin diskusi atas nama perwakilan pemerintah Negara-negara Anggota UE. Namun dalam surat terbukanya, para ahli memperingatkan bahwa usulan ini masih gagal mengatasi kelemahan mendasar yang ada dalam pendekatan Komisi, dengan alasan bahwa revisi tersebut masih perlu dilakukan. membuat “kemampuan yang belum pernah terjadi sebelumnya dalam pengawasan dan pengendalian pengguna Internet” dan akan “merusak… a menjamin masa depan digital bagi masyarakat kita dan dapat memberikan konsekuensi yang sangat besar terhadap proses demokrasi di Eropa dan sekitarnya.”

Perubahan yang perlu didiskusikan dalam proposal Dewan yang diamandemen mencakup saran agar perintah deteksi dapat lebih tepat sasaran dengan menerapkan kategorisasi risiko dan langkah-langkah mitigasi risiko; dan keamanan siber serta enkripsi dapat dilindungi dengan memastikan platform tidak diwajibkan untuk membuat akses ke data yang didekripsi dan dengan memeriksa teknologi deteksi. Namun 270 ahli berpendapat bahwa hal ini sama saja dengan mengutak-atik bencana keamanan dan privasi.

Dari “pandangan teknis, agar efektif, proposal baru ini juga akan sepenuhnya melemahkan keamanan komunikasi dan sistem”, mereka memperingatkan. Meskipun mengandalkan “teknologi deteksi cacat” untuk menentukan kasus-kasus yang menarik agar perintah deteksi yang lebih tepat sasaran dapat dikirimkan, hal ini tidak akan mengurangi risiko undang-undang yang mengantarkan era dystopian berupa “pengawasan besar-besaran” terhadap pesan-pesan pengguna web. analisis.

Surat tersebut juga membahas usulan Dewan untuk membatasi risiko kesalahan positif dengan mendefinisikan “orang yang berkepentingan” sebagai pengguna yang telah berbagi CSAM atau mencoba merawat anak — yang diperkirakan akan dilakukan melalui penilaian otomatis; seperti menunggu 1 pukulan untuk CSAM yang diketahui atau 2 pukulan untuk CSAM/perawatan yang tidak diketahui sebelum pengguna secara resmi terdeteksi sebagai tersangka dan dilaporkan ke Pusat UE, yang akan menangani laporan CSAM.

Miliaran pengguna, jutaan kesalahan positif

Para ahli memperingatkan bahwa pendekatan ini masih cenderung menimbulkan banyak peringatan palsu.

“Jumlah positif palsu akibat kesalahan pendeteksian kemungkinan besar tidak akan berkurang secara signifikan kecuali jumlah pengulangannya sangat besar sehingga pendeteksian tidak lagi efektif. Mengingat besarnya jumlah pesan yang dikirimkan pada platform-platform ini (dalam jumlah miliaran), kita dapat memperkirakan adanya peringatan palsu dalam jumlah yang sangat besar (dalam jumlah jutaan),” tulis mereka, seraya menunjukkan bahwa platform-platform tersebut kemungkinan besar akan terkena dampak buruk. dengan perintah deteksi dapat memiliki jutaan bahkan miliaran pengguna, seperti WhatsApp milik Meta.

“Mengingat belum ada informasi publik mengenai kinerja detektor yang dapat digunakan dalam praktik, bayangkan kita akan memiliki detektor untuk CSAM dan perawatan, seperti yang dinyatakan dalam proposal, dengan tingkat Positif Palsu hanya sebesar 0,1%. (yaitu, satu dari seribu kali, sistem ini salah mengklasifikasikan non-CSAM sebagai CSAM), yang jauh lebih rendah dibandingkan detektor yang dikenal saat ini.

“Mengingat pengguna WhatsApp mengirim 140 miliar pesan per hari, meskipun hanya 1 dari seratus pesan yang diuji oleh detektor tersebut, akan ada 1,4 juta pesan positif palsu setiap hari. Untuk menurunkan hasil positif palsu hingga ratusan, secara statistik seseorang harus mengidentifikasi setidaknya 5 pengulangan menggunakan gambar atau detektor yang berbeda dan independen secara statistik. Dan ini hanya untuk WhatsApp – jika kita mempertimbangkan platform perpesanan lain, termasuk email, jumlah pengulangan yang diperlukan akan bertambah secara signifikan hingga tidak secara efektif mengurangi kemampuan berbagi CSAM.”

Proposal Dewan lainnya untuk membatasi perintah deteksi pada aplikasi perpesanan yang dianggap “berisiko tinggi” adalah revisi yang tidak berguna, menurut pandangan para penandatangan, karena mereka berargumen bahwa hal itu kemungkinan masih “memengaruhi sejumlah besar orang tanpa pandang bulu”. Di sini mereka menunjukkan bahwa hanya fitur standar, seperti berbagi gambar dan obrolan teks, yang diperlukan untuk pertukaran CSAM – fitur yang didukung secara luas oleh banyak penyedia layanan, yang berarti kategorisasi risiko tinggi “tidak diragukan lagi akan berdampak pada banyak layanan.”

Mereka juga menyatakan bahwa adopsi E2EE semakin meningkat, yang menurut mereka akan meningkatkan kemungkinan layanan yang menerapkannya dikategorikan sebagai layanan berisiko tinggi. “Jumlah ini mungkin semakin meningkat seiring dengan persyaratan interoperabilitas yang diperkenalkan oleh Undang-Undang Pasar Digital yang akan mengakibatkan aliran pesan antara layanan berisiko rendah dan berisiko tinggi. Akibatnya, hampir semua layanan dapat diklasifikasikan sebagai berisiko tinggi,” bantah mereka. (Catatan: Interoperabilitas pesan adalah inti dari DMA UE.)

Pintu belakang untuk pintu belakang

Mengenai menjaga enkripsi, surat tersebut mengulangi pesan yang telah berulang kali diteriakkan oleh pakar keamanan dan privasi kepada anggota parlemen selama bertahun-tahun: “Deteksi dalam layanan terenkripsi ujung ke ujung menurut definisi melemahkan perlindungan enkripsi.”

“Proposal baru ini memiliki salah satu tujuannya untuk ‘melindungi keamanan dunia maya dan data terenkripsi, sekaligus menjaga layanan yang menggunakan enkripsi ujung ke ujung dalam lingkup perintah deteksi’. Seperti yang telah kami jelaskan sebelumnya, ini adalah sebuah oxymoron,” tegas mereka. “Perlindungan yang diberikan oleh enkripsi end-to-end menyiratkan bahwa tidak ada orang lain selain penerima komunikasi yang dituju yang dapat mengetahui informasi apa pun tentang konten komunikasi tersebut. Mengaktifkan kemampuan deteksi, baik untuk data terenkripsi atau data sebelum dienkripsi, melanggar definisi kerahasiaan yang diberikan oleh enkripsi ujung ke ujung.”

Dalam beberapa minggu terakhir, kepala polisi di seluruh Eropa telah menulis pernyataan bersama mereka – meningkatkan kekhawatiran tentang perluasan E2EE dan menyerukan platform untuk merancang sistem keamanan mereka sedemikian rupa sehingga mereka masih dapat mengidentifikasi aktivitas ilegal dan mengirimkan laporan tentang isi pesan ke penegak hukum. .

Intervensi ini secara luas dipandang sebagai upaya untuk memberikan tekanan pada anggota parlemen agar mengesahkan undang-undang seperti peraturan pemindaian CSAM.

Para kepala polisi menyangkal bahwa mereka menyerukan agar enkripsi dilakukan secara backdoor (pintu belakang), namun mereka belum menjelaskan secara pasti solusi teknis mana yang mereka inginkan agar platform tersebut diadopsi untuk memungkinkan “akses yang sah” yang dicari. Mengkuadratkan lingkaran tersebut akan mengembalikan keputusan yang berbentuk sangat miring ke pengadilan.

Jika UE terus melakukan hal yang sama – dengan asumsi Dewan gagal mengubah arah, seperti yang didesak oleh anggota Parlemen Eropa – konsekuensinya akan menjadi “bencana”, para penandatangan surat tersebut selanjutnya memperingatkan. “Ini menjadi preseden untuk menyaring Internet, dan mencegah orang menggunakan beberapa alat yang tersedia untuk melindungi hak mereka atas kehidupan pribadi di ruang digital; hal ini akan memberikan dampak yang mengerikan, khususnya bagi remaja yang sangat bergantung pada layanan online untuk berinteraksi. Hal ini akan mengubah cara layanan digital digunakan di seluruh dunia dan kemungkinan besar akan berdampak negatif terhadap demokrasi di seluruh dunia.”

Sumber UE yang dekat dengan Dewan tidak dapat memberikan wawasan mengenai diskusi yang sedang berlangsung antara negara-negara anggota, namun mencatat bahwa ada pertemuan kelompok kerja pada tanggal 8 Mei di mana mereka mengonfirmasi bahwa usulan peraturan untuk memerangi pelecehan seksual terhadap anak akan dibahas.