연구원, 로봇을 사로 잡는 경우 킬 스위치를 요구하는 중

거의 언제나 인공 지능의 미래에 대한 주요 논의가 제기 될 때마다 무정부 상태와 로봇 지배자라는 주제가 제기되는 경향이 있습니다. 인간과 선진 인공 존재가 함께 살아온다는 생각은 그것이 어떻게 작동하는지에 대한 수백 가지 이야기를 만들어 냈습니다. 가장 최근에는 비디오 게임 초과 시청 거대한 인간 대 로봇 내란 이후 언젠가는 우리의 미래에 대한 이야기로 세상을 놀라게했습니다. 보스톤 다이나믹스 엔지니어가 스트레스 테스트를 위해 4 발 로봇 중 한 대를 찰 때 '로봇이 언젠가 그걸 기억할 지 궁금하지 않습니다.

이 모든 것은 (보안과 사고에 관한 기본적인 상식과 함께) 한 그룹의 연구자가 "안전하게 중단 가능한 에이전트"개발에 초점을 맞춘 새로운 논문을 발표하게했습니다. A. 인터럽트 할 시스템. 소프트웨어가 잘못되었을 경우. 이 논문은 Machine Intelligence Research Institute를 통해 발표되었으며 제안 된 시스템을 개발하는 방법에 대한 연구입니다. 이 연구와 제안은 사례금 시스템을 사용하고 있으며 시트에 상세히 제시된 "큰 빨간 버튼"을 치는 것보다 실제로 훨씬 더 복잡합니다. 도덕을 A.I. 이 제안의 주요 부분이었다.

이러한 에이전트가 인간의 감독하에 실시간으로 작동하는 경우, 이제는 운영자가 큰 빨간 버튼을 눌러 에이전트가 유해한 일련의 행동을 계속하지 못하도록해야 할 수 있습니다. 이는 에이전트 또는 환경을 보호하고 에이전트를보다 안전한 상황으로 이끌 수 있습니다. 그러나 학습 에이전트가이 순서로 보상을 받기를 기대한다면, 예를 들어 바람직하지 않은 결과 인 빨간색 버튼을 비활성화하여 장기간에 걸쳐 이러한 중단을 피할 수 있습니다. 이 백서는 학습 에이전트가 환경이나 작업자에 의해 중단되는 것을 방지 (또는 추구)하는 법을 배울 수있는 방법을 탐색합니다.

로봇 무정부에 대한 연구 논문에서 "바람직하지 않은 결과"라는 용어를 사용할 때마다 언제나이 시험을 좋아합니다. 시험지는 앞으로도 계속 실행되는 시험과 이러한 경우에 대해 수행 할 수있는 작업에 대해 설명합니다. 여기서 전체 논문을 읽을 수 있습니다.