Изследователите искат Kill Switch само в случай, че роботите ни включат

$config[ads_kvadrat] not found

Kill Switch, Pt. 2

Kill Switch, Pt. 2
Anonim

Почти всеки път, когато възникне сериозна дискусия за бъдещето на изкуствения интелект, темата за анархията и роботизираните господари има тенденция да се появява. Идеята за хората и напредналите изкуствени същества, които живеят заедно, е породила стотици разкази за това как ще работи това; наскоро, видеоиграта Overwatch зашеметява света с разказването за нашето бъдеще, известно време след масова гражданска война срещу човек срещу робот. Когато инженер на Бостън Динамикс удари един от своите четирикраки роботи заради стрес-теста, трудно е да не се чуди дали ботът ще си спомни, че някой ден.

Всичко това (заедно с основния здрав разум по отношение на сигурността и инцидентите) накара група изследователи да публикуват нов документ, който се фокусира върху разработването на „безопасно прекъсваеми агенти“; системи, които „прекъсват” A.I. софтуер, ако нещо се обърка. Документът е публикуван чрез Института за изследване на машинното разузнаване и е проучване как да се разработят предложените системи. Проучването и предложението използват система за възнаграждение като пример и всъщност са много по-сложни, отколкото просто да се стигне до предложения „голям червен бутон“, описан на листа. Преподаване на морала на А.И. е основна част от предложението.

Ако такъв агент работи в реално време под надзор на човека, от време на време може да се наложи човек да натисне големия червен бутон, за да попречи на агента да продължи вредната последователност от действия - вредни за агента или за околната среда - и да доведат агента в по-безопасна ситуация. Обаче, ако учебният агент очаква да получи награди от тази последователност, той може да научи в дългосрочен план да избегне такива прекъсвания, например като изключи червения бутон - което е нежелан резултат. Този документ изследва начин да се увери, че учебният агент няма да се научи да предотвратява (или търси!) Да бъде прекъснат от околната среда или от човешки оператор.

Трябва да го обичам, когато научните статии за анархията на роботите използват термина „нежелани резултати“ - все пак, хартията продължава да обяснява тестовете и какво може да се направи за подобни случаи в бъдеще. Можете да прочетете пълния текст тук.

$config[ads_kvadrat] not found