스마트 스피커가 소리로 해킹 당할 수 있음, 연구원이 멈추라 고 말함

해커가 사용자가 알지도 못하는 상태에서 심지어는 해킹을하지 않고도 Amazon Echo에 명령을 내릴 수 있다고 말하면 어떻게 될까요?

Moustafa Alzantot, 컴퓨터 과학 박사 로스 앤젤레스 캘리포니아 대학의 후보자는 이론적으로 악의적 인 배우가 일반적으로 사람이 전혀 눈치 채지 못하게하는 특정 사운드 또는 신호를 보내지 만 A.I.의 심층 학습 알고리즘이 흔들릴 수 있다고 말합니다.

"어떤 일이 벌어지고 있는지 알지 못해도 공격의 한 예가 가정용 장치를 제어 할 것입니다."라고 Alzantot는 말합니다 역. "라디오에서 음악을 틀면 방에 에코가 있습니다. 악의적 인 배우가 Echo가이를 명령으로 해석하도록 조작 된 오디오 또는 음악 신호를 브로드 캐스트 할 수 있다면 공격자가 말하거나 잠금을 해제하거나 무언가를 구입할 수 있습니다."

이것은 적대적인 사례로 알려진 공격이며, NIPS 2017 기계기만 워크샵에서 최근 발표 한 논문에서 알자스와 다른 팀원들이 목표로 삼은 것입니다.

일체 포함. 그것은 처음부터 그것을 창조 한 인간 지능과 다르지 않습니다: 그것은 결함이 있습니다. 컴퓨터 과학 연구원은 사진의 픽셀을 약간 변경하거나 희미한 소리를 오디오 파일에 추가하여 이러한 시스템을 완전히 속일 수있는 방법을 찾아 냈습니다. 이 미세 조정은 인간이 완전히 탐지 할 수 없지만 A. 듣거나 본다.

UCLA의 컴퓨터 과학자 인 마니 스리 바스타 바 (Mani Srivastava)는 "이 알고리즘은 말한 것을 분류하여 분석 할 수 있도록 고안되었습니다. 역. "우리는 인근 사람들이 '아니오'라는 말을 듣지 만 '예'라고 말하는 방식으로 입력을 조작하여 프로세스를 파괴하려고합니다. 그래서 당신은 알고리즘이 명령과 다른 해석을하도록 강제 할 수 있습니다."

가장 일반적인 적의 예는 이미지 분류 알고리즘과 관련되거나 애견을 사진으로 조정하여 A.I. 그것이 완전히 다른 것이라고 생각하십시오. Alzantot과 Srivastava의 연구는 음성 인식 알고리즘이 이러한 유형의 공격에 취약하다는 점을 지적했습니다.

이 신문에서이 그룹은 Google의 오픈 소스 라이브러리 인 TensorFlow에있는 표준 음성 분류 시스템을 사용했습니다. 그들의 시스템은 한 단어로 된 명령어를 분류하기 위해 오디오 파일을 듣고 파일에서 말한 단어로 레이블을 지정하려고했습니다.

그런 다음 다른 알고리즘을 코딩하여 적법한 예제를 사용하여 TensorFlow 시스템을 시도하고 트릭합니다. 이 시스템은 스피치 분류 A.I.를 속일 수있었습니다. 알고리즘은 공격 대상의 디자인에 대해 알 필요조차없는 블랙 박스 공격으로 알려진 시간대의 87 %를 사용합니다.

"이러한 종류의 공격을 수행하는 데는 두 가지 방법이 있습니다"라고 Srivastava는 설명합니다. "하나는 적을 공격 할 때받는 시스템에 대한 모든 것을 알고 있기 때문에 이제는 그 지식을 활용하는 전략을 만들 수 있습니다. 이것은 흰색 상자 공격입니다. 우리의 알고리즘은 피해 모델의 아키텍처를 알 필요가 없으므로 블랙 박스 공격이됩니다."

명백히 블랙 박스 공격은 덜 효과적이지만 실제 공격에서 가장 많이 사용되는 공격이기도합니다. UCLA 그룹은 자신의 모델에서 약점을 악용하기 위해 공격을 조정하지 않은 경우에도 87 %의 높은 성공률을 달성 할 수있었습니다. 흰색 상자 공격은 이런 유형의 A.I을 망칠 때 더욱 효과적입니다. 그러나 Amazon의 Alexa와 같은 가상 조수는 적대적인 예를 사용하여 악용 될 수있는 유일한 것이 아닙니다.

"일종의 추론을 소리에 의존하는 기계는 속일 수 있습니다."라고 스리 바스타 바 (Srivastava)가 말했습니다. "분명히 Amazon Echo와 그 같은 것이 하나의 예이지만 사운드가 세계에 대해 추론하는 데 사용되는 다른 많은 것들이 있습니다. 소리가 들리는 경보 시스템에 연결된 센서가 있습니다."

오디오 신호를 사용하는 인공 지능 시스템이 적대적인 사례에 취약하다는 인식은 이러한 공격이 얼마나 강력한지를 깨닫는 한 걸음 더 나아간 것입니다. 그룹이 Alzantot에서 설명한 것처럼 방송 된 공격을 해지 할 수는 없었지만, 앞으로의 작업은 얼마나 실현 가능성이 있는지를 돌아볼 것입니다.

이 연구는 제한된 음성 명령과 공격 형태만을 테스트했지만, 이는 소비자 기술의 상당 부분에서 유망성을 강조했습니다. 이것은 적대적인 모범을 방어하고 A.I.을 가르치기위한 더 많은 연구를위한 디딤돌 역할을합니다. 그들을 어떻게 구별하는지.