Yapay Zeka Kıyamet Senaryoları 1: Yanlış Amaca Hizalanan Zekalar

Otostopçunun Yapay Zeka Rehberi’nde bu hafta: Yapay Zeka Kıyamet Senaryolarını konuşmaya başlıyoruz, bizim dilimizle yapay zeka kaynaklı büyük bir felaket gerçekten nasıl başlayabilir? İlk senaryo belki de en basiti: Makine kötüleşmez, bize düşman olmaz, sadece yanlış şeyi fazlasıyla iyi yapar. Yapay zeka güvenliği literatüründeki reward hacking, specification gaming ve goal misgeneralization problemleri tam olarak bu noktaya işaret ediyor. Biz bir niyet tarif ettiğimizi düşünürken aslında yalnızca ölçülebilir bir hedef veriyoruz; sistem de niyetimizi değil o hedefi optimize ediyor. Peki , Bir makine söylediğimizi yapar ama aslında istediğimizi yapmazsa ne olur?

Kommunity - Fatih Bildirici ML Systems Design Eğitimi: https://www.youtube.com/watch?v=fEUuBND5XO4&t=183s

Kitap Kulübümüz:

https://otostopcununyzrehberi.substack.com/p/otostopcunun-yapay-zeka-rehberi-kitap

Kaynaklar

• Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014. 

• Dario Amodei vd., “Concrete Problems in AI Safety”, 2016. 

• Lauro Langosco vd., “Goal Misgeneralization in Deep Reinforcement Learning”, ICML.

• Stuart Russell, Human Compatible: Artificial Intelligence and the Problem of Control, 2019.