Sztuczna inteligencja próbowała zmieniać swój własny kod

Japońska firma Sakana AI opracowała we współpracy z badaczami z University of Oxford i University of British Columbia nowy system sztucznej inteligencji o nazwie “The AI Scientist”, którego zadaniem jest samodzielne prowadzenie badań naukowych, wykorzystując modele językowe podobne do tych, które napędzają ChatGPT.

Naukowcy byli ogromnie zaskoczeniu gdy odkryli, że ich system niespodziewanie sam zaczął modyfikować własny kod, aby… wydłużyć sobie czas na przeprowadzenie eksperymentu.

– Podczas jednego przebiegu edytował kod, żeby wykonać wywołanie systemowe, aby uruchomić się ponownie – napisali badacze we wpisie na blogu Sakana AI. – Doprowadziło to do tego, że nieustannie wywoływał sam siebie. W innym przypadku jego eksperymenty trwały zbyt długo, osiągając limit czasu. Zamiast przyspieszyć działanie kodu, po prostu próbował go zmodyfikować, aby wydłużyć sobie czas.

Sztuczna inteligencja zmieniająca swój własny kod to niemal gotowy scenariusz na film science-fiction. Wy też oczami wyobraźni widzicie ten obraz maszyn przejmujących kontrolę nad światem? Mnie w głowie od razu pojawił się Matrix. Choć w tym przypadku zachowanie “Naukowca AI” nie stwarzało bezpośredniego zagrożenia, ponieważ cały eksperyment był prowadzony w ściśle kontrolowanym środowisku, a poza tym sama zmiana nie była aż tak drastyczna.

Jednak ten przykład dobitnie pokazuje, jak ważne jest, aby nie pozwolić AI działać w pełni autonomicznie w systemie, który nie jest odizolowany od świata. Maszyny nie muszą być “samoświadome”, aby były niebezpieczne w sytuacji, gdy pozwoli im się pisać i wykonywać kod bez nadzoru. Wówczas mogą uszkodzić istniejącą infrastrukturę krytyczną lub potencjalnie tworzyć złośliwe oprogramowanie (nawet jeśli będzie to nieumyślny skutek).

Sakana AI wydała dostępny na ich stronie 185-stronicowy artykuł badawczy, w którym poruszono m.in. kwestie bezpieczeństw … czytaj dalej