Интелигентните високоговорители могат да бъдат хакнати от звука, да казват изследователите да го спрат

Какво ще стане, ако ви кажем, че хакер може да даде на вашата Amazon Echo команда, без дори да забележите - или дори да се наложи да правите каквото и да е хакване, както обикновено мислим за него?

Мустафа Алзанто, докторант по компютърни науки. кандидат в Калифорнийския университет в Лос Анджелис казва, че е теоретично възможно зловредният актьор да изпрати определен звук или сигнал, които обикновено биха останали незабелязани от хората, но причиняват дълбоките алгоритми на обучение на А.И.

"Един пример за атака щеше да контролира домашното ви устройство, без да знаете какво се случва", казва Алзант. обратен, - Ако свириш музика по радиото и имаш Ехо в стаята ти. Ако злонамерен актьор е в състояние да излъчи изработен аудио или музикален сигнал, така че Ехото да го интерпретира като команда, това ще позволи на нападателя да каже, отключи врата или да закупи нещо."

Това е атака, известна като състезателен пример, и това е целта на Алзантот и останалата част от екипа му да спре, както е описано в доклада им, представен наскоро в работилницата за машина на NIPS 2017. t

А.С. не се различава от човешкия интелект, който го е създал на първо място: Той има своите недостатъци. Изследователите по компютърни науки са измислили начини за напълно да заблудят тези системи, като леко променят пикселите на снимката или добавят слаби шумове към аудио файловете. Тези минути са напълно неоткриваеми от хората, но напълно променят това, което е A.I. чува или вижда.

"Тези алгоритми са предназначени да се опитат да класифицират казаното, така че те да могат да действат по него", казва Мани Шривастава, компютърен учен в Лос Анджелис. обратен, "Опитваме се да подкопаем процеса, като манипулираме входа по начин, който човек наблизо чува" не ", но машината чува" да ". Така че можете да принудите алгоритъма да интерпретира командата по различен начин от казаното."

Най-често срещаните състезателни примери са тези, свързани с алгоритми за класификация на изображението, или променяне на снимка на куче, което е толкова леко, за да се направи A.I. мисля, че е нещо съвсем различно. Изследванията на Alzantot и Srivastava посочват, че алгоритмите за разпознаване на реч също са податливи на тези видове атаки.

В статията групата използва стандартна система за класификация на речта, намерена в библиотеката на Google с отворен код, TensorFlow. На тяхната система беше възложено да класифицира командите от една дума, така че да чуе аудио файл и да се опита да го обозначи с думата, която се казва във файла.

След това кодирали друг алгоритъм, за да се опитат да заблудят системата TensorFlow, използвайки състезателни примери. Тази система успя да заблуди класификацията на речта A.I. 87 процента от времето използват така наречената атака с черна кутия, при която алгоритъмът дори не трябва да знае нищо за дизайна на това, което атакува.

"Има два начина да се подготвят тези видове атаки", обяснява Шривастава. Един от тях е, когато аз, като противник, знам всичко за приемащата система, така че сега мога да съставя стратегия за използване на това знание, това е бяла атака. Нашият алгоритъм не изисква познаване на архитектурата на модела жертва, което го прави черна кутия атака."

Ясно е, че атаките с черна кутия са по-малко ефективни, но те също са това, което най-вероятно ще бъде използвано в реална атака. Групата на UCLA успя да постигне такъв висок процент на успеваемост от 87%, дори когато не приспособиха атаката си, за да използват слабостите в своите модели. Атаката от бяла кутия ще бъде още по-ефективна при бъркотията с този тип A.I. Въпреки това, виртуалните асистенти като Александер Алекса не са единствените неща, които могат да бъдат използвани с помощта на състезателни примери.

"Машините, които разчитат на някакъв вид извод от звука, могат да бъдат заблудени", каза Сривастава. „Очевидно е, че емото Amazon и такъв е един пример, но има много други неща, при които звукът се използва, за да се правят изводи за света. Имате сензори, свързани с алармени системи, които приемат звук."

Осъзнаването, че системите за изкуствен интелект, които приемат аудио сигнали, също са податливи на състезателни примери, е стъпка напред в осъзнаването на това колко мощни са тези атаки. Докато групата не е успяла да излъчи атака, която е излъчвана по начина, описан от Алзанто, бъдещата им работа ще се върти около това да видим колко е осъществимо това.

Докато това изследване само тестваше ограничени гласови команди и форми на атаки, то подчертава възможността за почитане в голяма част от потребителските технологии. Това действа като начало за по-нататъшни изследвания в защита на състезателните примери и преподаването на A.I. как да ги разделят.