Menjeda pengembangan AI saja tidak cukup. Kita diharuskan menutup seluruhnya
itu surat Terbuka Posting hari ini menyerukan “seluruh laboratorium AI untuk secepatnya berhenti setidaknya dalam jangka waktu 6 bulan melatih sistem AI yang lebih kuat daripada GPT-4”.
Moratorium 6 bulan ini akan lebih baik daripada tidak ada moratorium. Saya menghormati seluruh orang yang datang dan menandatanganinya. Ini yakni peningkatan pada margin.
Saya telah menahan diri untuk tidak menandatangani karena saya pikir surat itu meremehkan keseriusan situasi dan begitu sedikit melakukan permintaan penyelesaiannya.
Baca selengkapnya: Mendesak AI Labs untuk mengerem dalam surat terbuka
[time-brightcove not-tgx=”true”]
masalah utamanya bukanlah kecerdasan “manusia yang kompetitif” (mirip yang dinyatakan dalam surat terbuka); Inilah yang terjadi setelah kecerdasan buatan mencapai kecerdasan yang lebih pintar dari manusia. Ambang batas primer mungkin tidak jernih, kita tentu tidak dapat menghitung sebelumnya apa yang akan terjadi kapan, dan saat ini tampaknya dapat dibayangkan bahwa laboratorium penelitian akan melewati garis kritis tanpa kita sadari.
Banyak peneliti kewalahan dengan ini masalahSaya, termasuk saya sendiri, memperkirakan bahwa hasil yang paling mungkin dari membangun AI manusia super, dalam situasi apa pun yang jauh mirip saat ini, yaitu bahwa setiap orang di Bumi akan meninggal. tidak mirip dalam “mungkin beberapa peluang jarak jauh”, tetapi mirip dalam “Itu hal yang jernih akan terjadi.” Bukannya anda tidak bisa, pada prinsipnya, bertahan hidup untuk menciptakan sesuatu yang lebih pintar dari anda; Mereka membutuhkan ketelitian, persiapan, dan wawasan ilmiah baru, dan mereka mungkin tidak memiliki sistem AI yang terdiri dari susunan bilangan rasional yang sangat besar dan kabur.
Tanpa kehalusan dan persiapan ini, hasil yang paling mungkin yaitu AI yang tidak melakukan apa yang kita inginkan, dan tidak tertarik pada kita atau kehidupan pada umumnya. Perhatian semacam ini yaitu suatu hal bisa pada prinsipnya Namun jenuh dalam kecerdasan buatan Kami belum siap dan Saya tidak tahu bagaimana sekarang.
Tanpa minat itu, kami memperoleh “AI tidak menyukai atau membenci anda, dan anda terbuat dari atom yang mampu dipergunakan untuk hal lain.”
Kemungkinan hasil dari manusia menghadapi superintelligence yaitu kerugian total. Metafora yang benar termasuk “10 tahun melakukan percobaan bermain catur memberikan perlawanan Stockfish 15”, “abad ke-11 melakukan percobaan memberikan perlawanan abad ke-21” dan “Australopithecus melakukan percobaan untuk memberikan perlawanan Orang bijak“.
untuk membayangkan super-AI yang bermusuhan, jangan bayangkan seorang pemikir cerdas tak bernyawa dalam buku yang tinggal di dunia maya dan mengirim email dengan niat tidak baik. Bayangkan seluruh peradaban alien, mempunyai pikiran dengan jutaan kali kecepatan manusia, awalnya sedikit pada komputer – di dunia makhluk yang, menurut pandangan mereka, sangat bodoh dan sangat lambat. AI yang cukup pintar tidak akan sedikit pada komputer dalam waktu lama. Di dunia sekarang ini, anda dapat mengirim urutan DNA melalui email ke laboratorium yang akan menghasilkan protein sesuai permintaan, dapat dimungkinkan AI awalnya sedikit pada dunia maya untuk membangun bentuk kehidupan buatan atau prekursor langsung ke pembuatan molekul pasca-biologis.
apabila seseorang membangun kecerdasan buatan yang begitu kuat, dalam keadaan saat ini, saya berharap setiap anggota umat manusia dan seluruh kehidupan biologis di Bumi akan musnah tidak lama kemudian.
tidak ada apa-apa perencanaan yang diusulkan bagaimana melakukan hal mirip itu dan bertahan hidup. OpenAI secara eksplisit dideklarasikan maksud Apakah membuat beberapa kecerdasan buatan di waktu berikutnya melakukan pekerjaan rumah kita untuk menyelaraskan kecerdasan buatan. Dengarkan saja Itu rencananya seharusnya cukup untuk membuat orang waras panik. Laboratorium AI terkemuka lainnya, DeepMind, tidak memiliki perencanaan apa pun.
Selain itu: tidak satu pun dari ancaman ini bergantung pada apakah AI itu sadar atau tidak. Mereka intrinsik dengan konsep sistem kognitif yang kuat yang mengoptimalkan dan menghitung hasil yang menantang yang memenuhi kriteria hasil yang cukup kompleks. Namun, saya akan lalai dalam tugas moral saya sebagai manusia apabila saya tidak juga menyebutkan bahwa kami tidak tahu bagaimana menentukan apakah sistem AI sadar diri atau tidak – karena kami tidak tahu bagaimana menguraikan apa pun yang terjadi di array raksasa misterius – Dengan demikian kita mungkin pada suatu saat secara tidak sengaja menciptakan pikiran sadar digital yang benar-benar sadar dan seharusnya memiliki hak dan tidak boleh dimiliki.
Aturan yang akan dibuat oleh kebanyakan orang yang menyadari masalah ini 50 tahun yang lalu yaitu bahwa apabila sistem AI dapat mengungkapkan dengan lancar dan mengatakan itu sadar diri dan menuntut hak asasi manusia, maka itu diharuskan menjadikan penghentian yang sulit bagi orang-orang dengan AI yang tidak disengaja. dan menggunakannya setelah titik itu. Kami sudah melewati garis uzur di pasir itu. Ini kemungkinan besar benar; SAYA menyetujui bahwa AI saat ini mungkin meniru pembicaraan kesadaran diri dari data pelatihan mereka. Tapi saya perhatikan bahwa, dengan sedikit wawasan yang kita miliki tentang seluk beluk sistem ini, kita Saya sebenarnya tidak tahu.
apabila ini yaitu kasus ketidaktahuan kita tentang GPT-4, dan GPT-5 yaitu ukuran langkah daya raksasa yang sama dengan GPT-3 ke GPT-4, saya pikir kita tidak dapat lagi mengatakan “mungkin tidak sadar diri” apabila kita biarkan Orang-orang membuat GPT-5. Itu hanya akan menjadikan “Saya tidak tahu; tidak ada yang tahu.” apabila anda tidak yakin apakah anda membuat AI sadar diri, ini mengkhawatirkan bukan hanya karena implikasi etis dari bagian “kesadaran diri”, tetapi karena tidak yakin mempunyai arti anda tidak tahu apa yang anda lakukan dan itu berbahaya dan diharuskan dihentikan.
Pada 7 Februari, Satya Nadella, CEO Microsoft, menertawakan publik bahwa Bing baru akan membuat Google “menunjukkan dan menunjukkan bahwa mereka bisa menari”. Dia berkata, “Saya ingin orang tahu bahwa kami membuat mereka menari.”
Ini bukanlah cara seorang CEO Microsoft mengungkapkan di dunia yang waras. Ini menunjukkan kesenjangan yang besar antara seberapa serius kita memberikan penanganan masalah, dan seberapa besar kita perlu memberikan penanganan masalah tersebut 30 tahun yang lalu.
Kami tidak akan menutup celah itu dalam enam bulan.
Butuh waktu lebih dari 60 tahun saat konsep kecerdasan buatan pertama kali diusulkan dan dipelajari, supaya kami dapat mencapai kemampuan saat ini. Larutan keamanan Dari superintelligence – bukan keamanan total, keamanan dalam arti “tidak benar-benar membunuh seluruh orang” – ini bisa menyantap waktu setidaknya setengahnya. dan hal tentang melakukan percobaan ini dengan sangat cerdas yaitu apabila anda salah pada percobaan pertama, anda tidak akan belajar dari kesalahan anda, karena anda sudah meninggal. Kemanusiaan tidak belajar dari kesalahan dan membersihkan diri dan melakukan percobaan lagi, mirip dalam tantangan lain yang telah kita atasi dalam sejarah kita, karena kita seluruh telah tiada.
melakukan percobaan untuk memperoleh apa pun Benar-benar pada percobaan pertama yang sangat kritis yaitu pertanyaan yang tidak biasa, baik dalam sains maupun teknik. Kami tidak menemukan pendekatan yang diperlukan untuk melakukan ini dengan sukses. apabila kita memiliki sesuatu di bidang kecerdasan buatan yang baru lahir dengan standar presisi teknik yang lebih rendah yang berlaku untuk jembatan yang dimaksudkan untuk membawa 2.000 mobil, seluruh bidang akan ditutup besok.
Kami belum siap. Kami tidak akan siap dalam jangka waktu yang masuk daya pikir. tidak ada perencanaan. Kemajuan dalam kemampuan AI melakukan perjalanan secara eksponensial, secara eksponensial di depan kemajuan dalam penyelarasan AI atau bahkan kemajuan dalam memahami apa yang sedang terjadi di dalam sistem tersebut. apabila kita benar-benar melakukan ini, kita seluruh akan meninggal.
Baca selengkapnya: Bing baru, didukung oleh kecerdasan buatan, mengancam pemakai. Ini tidak kocak
Banyak peneliti yang melakukan pengerjaan sistem ini yakin bahwa kita sedang menuju musibah, karena banyak dari mereka berani mengatakannya secara pribadi daripada di depan umum; Tetapi mereka yakin bahwa mereka tidak dapat berhenti secara sepihak terjun ke depan, dan orang lain akan lanjut melanjutkan bahkan apabila mereka berhenti dari pekerjaan mereka secara pribadi. Jadi mereka seluruh mempunyai pikiran mereka sebaiknya melanjutkan. Ini yaitu situasi yang bodoh, cara yang tidak bermartabat bagi Bumi untuk meninggal, dan umat manusia lainnya diharuskan turun tangan pada saat ini dan memberikan bantuan industri memecahkan masalah kerja sama tim.
Beberapa teman saya baru-baru ini memberikan laporan kepada saya bahwa saat orang-orang di luar industri AI mendengar tentang ancaman kepunahan dari AGI untuk pertama kalinya, reaksi mereka yaitu, “mungkin sebaiknya kita tidak membangun AGI”.
Mendengar ini memberi saya secercah harapan, karena ini yaitu reaksi yang lebih sederhana, lebih logis, lebih jujur daripada yang pernah saya dengar dalam jangka waktu 20 tahun terakhir melakukan percobaan membuat siapa pun di industri ini menganggap serius. Siapa pun yang mengungkapkan dengan jujur berhak mendengar betapa buruknya hal itu sebenarnya, dan tidak dikatakan bahwa penangguhan enam bulan akan memperbaikinya.
Pada tanggal 16 Maret pasangan saya mengirimi saya email ini. (Dia kemudian memberi saya izin untuk mengambilnya di sini.)
“Nina kehilangan gigi! Cara yang biasa dilakukan anak-anak, bukan karena kecerobohan! memandang GPT4 membatalkan tes standar itu pada hari yang sama saat Nina mencapai masa kanak-kanak menjadikan desakan emosional yang membuat saya terhenyak dalam jangka waktu satu menit. seluruhnya melakukan perjalanan lancar.” sangat cepat. Aku khawatir berbagi ini akan membuatmu lebih sedih, tapi aku lebih gemar dikenal olehmu daripada membuat kita masing-masing mendapatkan penderitaan sendirian.”
saat percakapan dari dalam yaitu tentang sedih memandang putri anda kehilangan gigi pertamanya, dan anda pikir dia tidak akan mendapat peluang untuk tumbuh dewasa, saya pikir kita telah melewati titik bermain catur politik sekeliling enam bulan. penangguhan.
apabila ada perencanaan supaya Bumi bertahan hidup, apabila kita melalui moratorium enam bulan, saya akan memberikan dukungan perencanaan itu. tidak ada perencanaan mirip itu.
Inilah yang sebenarnya diharuskan anda lakukan:
Kursus besar baru akan dihentikan tanpa batas waktu dan di seluruh dunia. tidak ada dispensasi, termasuk pemerintah atau tentara. apabila politik dimulai dengan Amerika Serikat, China perlu memandang bahwa Amerika Serikat tidak mencari keuntungan, melainkan berusaha melakukan pencegahan teknologi yang sangat berbahaya yang tidak dapat memiliki pemilik nyata dan yang akan membunuh seluruh orang di Amerika Serikat, China, dan di tanah. . apabila saya memiliki kebebasan tak sedikit untuk menulis undang-undang, saya mungkin akan membuat satu dispensasi untuk sistem AI yang hanya dilatih untuk menyelesaikan masalah dalam biologi dan bioteknologi, bukan pelatihan tentang teks dari dunia maya, bukan pada tingkat di mana mereka mulai mengungkapkan atau merencanakan; Tetapi apabila itu memperumit masalah dari jarak jauh, saya akan secepatnya membatalkan pendapat itu dan mengatakan untuk mematikannya semuanya.
Matikan seluruh cluster GPU besar (pertanian komputer besar tempat sistem AI paling kuat dioptimalkan). Matikan seluruh sesi pelatihan primer. Batasi jumlah daya komputasi yang boleh dipergunakan seseorang untuk melatih sistem AI, dan turunkan dalam jangka waktu beberapa tahun mendatang untuk mengimbangi algoritme pelatihan yang lebih efisien. tidak terkecuali bagi siapapun, termasuk pemerintah dan militer. Perjanjian multinasional secepatnya untuk melakukan pencegahan kegiatan yang dilarang pindah ke lokasi lain. Lacak seluruh GPU yang terjual. apabila intelijen mengatakan sebuah negara di luar perjanjian sedang membangun GPU, jangan terlalu takut dengan tembak-menembak antar negara daripada moratorium; Bersiaplah untuk menghancurkan pusat data bengal dengan agresi udara.
Jangan membingkai apa pun sebagai konflik kepentingan nasional, jelaskan bahwa siapa pun yang mengungkapkan tentang perlombaan senjata yaitu orang bodoh. bahwa kita seluruh hidup atau meninggal sebagai satu, dalam hal ini, bukanlah sebuah kebijakan tetapi fakta habitat. Dia memperjelas dalam Diplomasi Internasional bahwa melakukan pencegahan skenario kepunahan AI yaitu prioritas yang lebih tinggi daripada melakukan pencegahan pertukaran nuklir penuh, dan bahwa Kekuatan Nuklir Sekutu bersedia mengambil beberapa risiko pertukaran nuklir apabila itu yang diperlukan untuk mengurangi risiko latihan AI besar. .
Ini yaitu jenis perubahan kebijakan yang akan membuat saya dan mitra saya berpegangan erat, saling memberi tahu bahwa keajaiban telah terjadi, dan sekarang ada kemungkinan Nina akan hidup. Orang yang berakal sehat yang mendengar hal ini untuk pertama kali dan secara rasional mengatakan “mungkin kita seharusnya tidak” berhak mendengar, sejujurnya, apa yang diperlukan supaya hal itu terjadi. dan saat anda menanyakan politik anda dalam skala mirip itu, satu-satunya cara anda melewatinya yaitu apabila pembuat kebijakan menyadari bahwa apabila mereka menjalankan bisnis mirip biasa, melakukan apa yang secara politik mudah, itu mempunyai arti anak-anak mereka juga akan meninggal.
Matikan seluruhnya.
Kami belum siap. Kami tidak berada di jalur untuk menjadikan lebih siap secara signifikan di masa mendatang. apabila kita melakukan ini, seluruh orang akan meninggal, termasuk anak-anak yang tidak memilih dan tidak melakukan kesalahan.
matikan.
sumber : https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
