Компанията зад ChatGPT – OpenAI заяви, че е създала отдел за оценка и изследване на моделите на изкуствен интелект за защита срещу така наречените „катастрофални рискове от ИИ“.
Екипът, наречен „Preparedness – Готовност“ се оглавява от Александър Мадри, директор на Центъра за внедряване на машинно обучение в Масачузетския технологичен институт. Задачата на звеното е да проследява, прогнозира и защитава от опасностите, които крият обещаващите системи с изкуствен интелект – от дарбата им да убеждават (както в случая с фишинг имейлите) до генерирането на зловреден код. Някои от категориите заплахи за щастие все още не са се появили в реалния свят: химически, биологически, радиационни и ядрени.
Главният изпълнителен директор на OpenAI Сам Алтман неведнъж е изразявал опасения, че ИИ може да „доведе до изчезване на човечеството“ и създаването на този отдел в компанията за пореден път отразява тази позиция. Компанията е отворена и за проучване на „по-малко очевидни“ области на риск, свързан с ИИ. Всеки може да се свърже с компанията, за да изложи опасенията си – авторите на десетте най-добри предложения ще получат парична награда от 25 000 долара или работа в OpenAI.
На екип „Готовност“ ще бъде възложено да формулира „политика за разработване на модели, съобразени със заплахите“ – документ, в който подробно ще се описва подходът на OpenAI към изграждането на инструменти за оценка и наблюдение на моделите с изкуствен интелект, действия за намаляване на заплахите и структура за управление, която да наблюдава процеса на разработване на езикови модели модели. Експертният опит на екипа ще допълни други аспекти от работата на OpenAI в областта на безопасния изкуствен интелект, като се съсредоточи върху фазите преди и след внедряването на модела.
Алтман и Иля Суцкевер, главен учен и съосновател на OpenAI, са убедени, че през следващите 10 години може да се появи ИИ с ниво на съзнание, по-високо от човешкото и не е сигурно, че този ИИ ще бъде добронамерен, затова компанията смята, че е необходимо да се проучат възможностите за неговото ограничаване още сега.
Източник: Kaldata
Leave a Reply