음악에 맞서기 : "눈의 지휘자"가 마비 학자들이 망할 것을 어떻게 도왔는지

암스테르담에 거주하고있는 인터랙티브 디자이너이자 크리에이티브 코더 인 Andreas Refsgaard는 신체 장애가있는 사람들이 음악을 만들 수있는 음악 인터페이스를 설계했습니다. Eye Conductor는 안구 추적 소프트웨어와 컴퓨터의 웹캠을 사용하여 얼굴 움직임을 다양한 음악 구성 요소로 변환합니다. 사용자는 자신의 얼굴을 가지고 스스로를 훈련 할 수 있습니다. 마비 된 사람들 - 더 이상 악기를 연주 할 수없는 사람들 -은 아름다운 (또는 큰 소리로) 소리를내는 두 번째 기회를 가질 수 있습니다. 오른쪽 시선은 글자 그대로 Refsgaard의 발명품을 사용합니다. 올바른 표현은 그 자체를 크게 표현합니다.

Refsgaard와 (과)의 이야기 역 그의 프로젝트 뒤에있는 동기, 그가 길을 따라 달아난 투쟁, 그리고 그가 음악을 다시 만드는 기회를 놓친 사람들에게 준 것을 배운 것.

음악에 대한 배경은 무엇입니까?

나는 재미만을 위해 연주하기 때문에 나 자신을 음악가라고 부르지 않을 것이지만 나는 기타와베이스를 연주한다. Ableton은 Logic이나 Protools 또는 Garage Band와 같은 레코딩 소프트웨어와 유사한 디지털 워크 스테이션 인 음악 프로그램입니다. 나는 그것에 대한 과정을 밟았으며 나는 음악으로 그다지 훌륭하게 만들지 못했지만 나는 내가 본 가능성에 매료되었다. 그런 다음 우리는 공동 작업을 시작했으며 소리를 디자인 할 예술 설치 유형의 물건을 만들었습니다. 예를 들어 깊이 카메라와 같이 센서를 연결하여 사람들이 과거를 걸을 때 프로젝트의 일부 측면을 제어하게되었습니다.

따라서 상호 작용 디자이너이자 독창적 인 코더입니다. 그 제목이 무엇을 의미하는지 설명해 주시겠습니까?

내가 디자인 한 모든 것들은 쌍방향입니다. 그래서 내가 어떤 종류의 가구를 만들면 뭔가 반응 할 수있는 기능을 갖게 될 것입니다. 저는 또한 창조적 인 코더입니다. 다른 많은 사람들과 비교할 때 - 예를 들어 코펜하겐 인스티튜트 디자인 연구소 (Copenhagen Institute of Copenhagen)에서 여러 다른 배경을 가진 사람들이 많이 모였습니다. 코딩 측면에서 조금 더 나아졌습니다. 나는 또한 적절한 코더가 아니기 때문에 나 자신을 "창조적 인 코더"라고 부른다. 나는 그다지 잘하지 못한다. 그러나 나는 물건을 정말 빨리 할 수 ​​있고, 나는 물건을 연결할 수있다. 나는 참신한 아이디어를 생각해 낸다.

신체 장애가있는 사람들이 음악을 만들 수 있도록 도와 준 것은 무엇 이었습니까?

고등학교 졸업 후 2 ~ 3 개월 동안 저는 근이영양증이있는 사람의 관리인이었습니다. 그와 함께하는 것은 내가 그를 도울 수없는 것들을 깨닫게했다. 그들 중 한 명은 창의적인 방식으로 자신을 표현하고있었습니다. 그 때 나는 어렸을 때 전문 기술이 없었기 때문에 "좋아, 해결해야 할 문제가있어."라고 나는 생각하지 않았습니다. 그러나 그것은 나와 붙어 있었다.

기술적 인 영감은 어떨까요?

약 1 년 전에 본 Eyewriter라는 프로젝트는 낙서 예술가였던 남성 이었지만 마비 된 사람을 위해 고안된 그림 프로그램입니다. 그의 친구들 중 일부는 코더 였고 그를 추적 할 수있게 해주는 눈 추적 장치를 사용하여 도구를 만들었습니다. 그리고 저는 음악 소프트웨어에서 센서와 물건으로 놀고 있었기 때문에 연결을 만들었습니다. 나는 학교에서의 최종 프로젝트로 그것을했다.

음악은 어떻게 당신이 탐험하고 싶었던 창조적 인 분야였습니까?

아마 음악을 많이 즐기기 때문에 나 자신이 프로젝트를 위해 가진 시간면에서 생각하기에 좋을 것 같습니다. 음악이 내가 원했던 것이 분명 해졌다. 그렇다면 저는 그래픽을 만드는 관점에서 아이 라이타에 매우 영감을 받았습니다.

보편적이기 때문에 음악은 훌륭한 선택처럼 보입니다. 나는 음악을 좋아하지 않는 사람을 생각할 수 없다.

처음에는 실제로 디자인 할 그룹의 음악이 얼마나 중요한지 테스트하려고했습니다. 초기 단계는 신체적 장애가 다른 사람들이 음악과 어떻게 상호 작용 하는지를 관찰하는 것이 었습니다. 내가 방문한 한 집에는 음악 목요일이 있었다. 일부는 키보드를 약간 가리 키거나 약간 연주 할 수 있으며, 어떤 것은 전혀 할 수 없지만 실제로는 목요일 음악에 나타납니다.

장치를 관찰하고 만든 다음에 얼마나 오래 걸리나요?

종종 디자인 과정에서 두 가지가 분리되어 있지만 나는 그런 접근 방식을 좋아하지 않습니다. 나는 처음부터 건물을 짓고 나서 내가 만든 것을 대화 할 때가 좋습니다. 그런 다음 수정하거나 수정합니다.

사람들이 처음으로 그것을 사용하는 것을 보는 것이 어떻습니까?

네, 아주 좋았어요. 사람들 중 일부는 말을 할 수 없기 때문에 연결이 어려울 수 있습니다. 그런데 그들이 내 눈의 지휘자를 사용했을 때, 우리는 실제로 연결되었습니다. 그들은 나를보고 미소 지으며 정말 행복하게 행동했습니다. 아니면 단지 데모했을 때 정말 집중적이었습니다. 그것은 음악이 사람들이 상호 작용하고 감정을 표현하도록 도울 수있는 방법의 아름다운 예였습니다.

너무 기술적이지 않고, 당신이 Eye Conductor를 디자인 할 때 가장 큰 문제는 무엇 이었습니까?

시스템이 작동하려면 우리 앞에 앉아있는 것처럼 똑같은 포즈를 취해야합니다. 왜냐하면 당신이 지금보고있는 이미지가 곧바로 나와 내 얼굴과 눈을 추적하기 때문입니다. 그러나 휠체어에 앉아서 자세 나 허리 나 목을 제어 할 수없는 사람과 함께 있으면 가끔씩 옆쪽에 앉아서 시스템이 얼굴 움직임을 추적 할 수 없게됩니다. 그리고 때로는 제게 "좋아,이게 당신이 좀 더 똑바로 앉아야 해."라고 말하면 불편할 것입니다. 그런 다음 비언어적인데, 어떻게 대화 할 수 있습니까?

누군가의 머리가 그렇게 기울어지면, 이론적으로 얼굴의 몸짓을하는 방식으로 랩톱을 잡을 수 있습니까?

네. 그래서 나는 그 문제를 해결하지는 못했지만 많은 사람들이 컴퓨터를 휠체어에 장착하고 컴퓨터가 기둥에 장착되어 있고 그 기둥에 장착 장치가 있으며 올바른 방향으로 기울여서 사람의 얼굴. 옳고 그른 위치는 없습니다. 바로 웹캠과 안구 추적기 인 센서를 머리에 대고 바로 잡는 것입니다. 그것은 약간 도전적이었습니다. 그렇지 않으면 구조를 만들려고 노력해야했기 때문에 하드웨어가 더 좋았습니다. 나는 그렇게 잘하지 않습니다.

혼자서 모든 일을 했습니까? 아니면 다른 사람들 만 해결할 수있는 기술적 인 문제에 부딪 혔습니까?

나는 혼자서했지만 사운드 디자인 측면에서 나는 내가 말한 그 교수의 도움을 얻었다. 근본적으로 그냥 사운드 디자인 물건. 또한 맥스라는 프로그래밍 언어 측면에서 조언을 해준 고문이 있었는데, 그는 정말 훌륭했습니다. 그는 단지 특정 프로그래밍 세부 사항에 더 익숙해 지도록 도왔습니다. 물론 그 중 많은 부분은 새로운 것이지만 이전의 경험에서 이미 알고있는 기본 내용입니다. 나는 8 주 만에 Eye Conductor를 만들었고 사람들은 "오, 그게 8 주 만에 어떻게 만들 수 있을까?"라고 말했지만, 센서와 음악 소프트웨어 작업에있어서 ​​진보 된 다른 것들을 만들었습니다. 나는 그것을하는 방법을 몰랐다. 이제는이 프로젝트가 더 복잡해졌지만 어렵지 않다는 것을 알았습니다. 또한 그것이 완전히 작동하는 프로토 타입이라고 지적하는 것이 중요하지만 이는 제품이 아닙니다. 그래서 사람들은 나가서 그것을 사서 내 컴퓨터에 설치할 수 없습니다.

네가 그걸 팔 계획이 있는지 물어볼거야?

나는 실제로 그것을 팔고 싶지 않다. 나는 그것을 버리고 싶다. 나는 그것을 오픈 소스로 만들고 싶지만 지금은 아무 것도 약속 할 수 없다. 나는 아직 자금을 지원받지 못하고 있으며,해야 할 일과 다른 일이 있습니다. 예를 들어 프로듀서였던 ALS가있는 미시간 주에 사는 사람으로부터 메시지를 받았습니다. 어떻게 든이 모든 사람들에게 이용할 수있게해야합니다. 어떤 점에서 저에게 매우 중요합니다. 사람들이 모든 것을 한 가지로 다운로드 할 수 있고 대부분의 컴퓨터에서 실행하거나 실제로 시도해 볼 수 있도록 패키지를 만들 때 약속 할 수는 없습니다. 브라우저에서. 브라우저를 만드는 것의이면에있는 아이디어는 온라인 액세스 권한이있는 컴퓨터를 갖고 컴퓨터에있을 수있는 마우스를 대체해야한다는 것입니다. 공개 소스로 만들면 기본 데모를 제공 할 수 있고 사람들은 자신의 단서를 추가하여 자체적으로 만들 수 있습니다.

사람들을 돕고 싶기 때문에 당신이하고 있다는 말을 듣고 기쁘게 생각합니다. 부자가되거나 그런 것을 갖기를 원하기 때문에가 아닙니다.

필자가 구축 한 도구 (적어도 작동하는 프로토 타입)는 오픈 소스입니다. 왜 나는 신용을 얻을 것인가? 예를 들어 사람들이 눈썹을 올리거나 입을 벌려서 사운드를 만들 수있는 프로토 타입에 사용하는 얼굴 추적 시스템은 Kyle McDonald라는 사람이 만든 FaceOSC라고하는 것으로 오픈 소스 시스템입니다. 나는 내가 그 소프트웨어 없이는 내가 얻었을 것이라고 생각하지 않는다.