Princeton Undergrad가 Google Deep Dream에서 영감을 얻은 Deepjazz A를 만듭니다. 음악 제작자

김지성은 4 월 첫째 주 이른 아침 시간에 카페인과 컴퓨터로 코드를 작성하여 깊은 학습 음악 생성기 인 딥 재즈 (deepjazz)를 개발했다. 20 세의 프린스턴 컴퓨터 과학 2 학년생은 대학에서 4 월 1 일과 3 일에 개최 된 첫 번째 해킹 중 HackPrinceton 동안 deepjazz를 완성하기 위해 36 시간 밖에 걸리지 않았다. 코딩 마라톤을 마친 후 그는 deepjazz 용 웹 사이트를 만들고 GitHub에 소스 코드를 게시했습니다.

그러나 김 위원장의 놀란 점은 프로그램이 중단되었다는 점이다. Deepjazz는 Python과 GitHub에서 꾸준히 인기를 끌고 있습니다. 전반적으로 GitHub에서 7 번째로 높은 프로그램에 도달했습니다. HackerNews의 첫 페이지에도 소개되었으며 여전히 활발한 토론을하고 있습니다.

"나는 처음 측면 프로젝트가 폭발적인 인기를 얻는 것을 기대하지 못했다." 역. "꽤 재미 있고 재미있었습니다."

deepjazz - Keras & Theano를 사용한 심층 학습을 통한 재즈 생성! http://t.co/G5wscglzO7 #python

- Python 동향 (@pythontrding) 2016 년 4 월 11 일

먹고 자고 다른 교과 과정을 마치는 사이, 김은 deepjazz를위한 소스 코드를 개발하는 데 약 12 ​​시간이 걸렸다 고 생각했다. 그러나, 그는 HackPrinceton 훨씬 전에 인공 지능 음악 생성기에 대한 아이디어를 내놓았다. 시카고 대학의 여름 인턴쉽 과정에서 그는 이미지의 패턴을 해석하고이를 알고있는 다른 객체로 변환하는 사진 생성기 인 Google의 Deep Dream을 발견했습니다. 그 결과 야생의 꿈에서 나온듯한 이미지가 고조되었습니다.

"미술을 해석 할 때 심오한 학습을 ​​사용한다는 생각은 정말 재미있었습니다. "Google이 발표하고 발표 한 이런 종류의 Deep Dream 프레임 워크는 기존 작품에서 새로운 작품을 제작하기 때문에 정말 매력적이었습니다."

Deepjazz는 기계 학습을 통해 재즈 음악을 생성합니다. "A. SoundCloud 프로필 상태로 재즈를 만들기 위해 제작되었습니다. 뮤직 이론 수업을 듣지 않았지만 7 년 동안 클라리넷을 연주 한 김 위원장은 자유로운 멜로디 때문에 재즈 음악을 선택했다. A.I. 시스템 음악은 "이상한 결과를 낼 수 있기 때문에 재즈는 특히 음악을 즉각적으로 만들어내는 아이디어에 적합하다고 생각합니다."

그는 그의 친구 인 Evan Chow가 개발 한 재즈 음악에 최적화 된 기존의 음악 생성기를 관련 코드를 사용하여 두 개의 심층 학습 라이브러리 인 Keras 및 Theano와 호환되는 이진 매트릭스로 변환하여 재사용했습니다.

Deepjazz 프레임 워크 자체는 일종의 인공 신경망 아키텍처 인 2 계층 LSTM이라고 Kim은 설명합니다. 뮤지컬 노트의 초기베이스 라인 시드 시퀀스 (Kim은 Pat Metheny의 "And Then I Knew"부분을 사용)를 학습 한 후에 노트에 확률을 할당하고 그 확률을 기반으로 다음 노트를 생성합니다. 예를 들어, A, B, C 음계 프로그램에 피드를 보내면 다음 음표 deepjazz가 생성 될 확률이 D가 될 가능성이 높다고 Kim은 설명합니다.

역사적으로 비평가들은 인공 지능 음악 생성기가 인간이 만든 음악에서 들리는 색이 부족하여 너무 로봇적이고 멸균 된 소리를내는 데 어려움을 겪고 있다고 전했다. 1993 년 뮤지컬 리듬을 재현 한 컴퓨터에 관한 논문을 쓴 MIT의 전 제자 인 Jeffrey Bilmes는 다음과 같이 말했습니다. 역 11 월:

"음악을 연주하고 재즈를 연주하는 법을 배우면 인간이 만드는 음악에 대해 직관적으로 이해하는 것은 유용합니다"라고 Bilmes는 말했습니다. "인간은 직관적 인 존재이며, 인간은 종종 그들이 인간의 일을 할 수있는 방법을 설명 할 수 없습니다. 나는 당시 컴퓨터 프로그램을 위해 이런 것들을 정의 할 때 신성한 맹세를 위반하고 있었다고 느꼈다."

Kim이 딥 재즈 (deepjazz)에 대한 연구를하고있을 때 그는 로봇으로 들리는 음악을 생성하는 많은 시스템을 발견했습니다.

"음악과 예술은 우리가 인간으로 깊이 생각하는 것"이라고 Kim은 말합니다. "더 인간적이고 더 생생한 사운드를 만들기 위해서는 분류하기가 정말 어렵습니다."김씨는 발전기가 원래 트랙과 비슷한 사운드를 내지 않도록 프로그래밍함으로써 더 인간적인 소리를 낼 수 있다고 제안했습니다.

다른 개발자들은 김씨에게 연락하여 더 많은 사람들이 대화 할 수 있도록 딥 재즈를 확장하는 데 관심이 있습니다. 김은 언젠가 인스 트루 바이션 파트너로 진화하는 심재 (deepjazz)를 볼 수 있습니다. 앞으로 더 나아가서, 그는 좋아하는 트랙과 새롭고 유사한 사운드를 생성하거나 뮤지션을위한 새로운 코드와 진행을 제안 할 수있는 애플리케이션을 볼 수 있습니다.

김 씨는 아직까지는 심층 학습의 전문가는 아니지만 인턴십과 프린스턴에서의 심재 (deepjazz) 및 교육 과정 개발 경험은 그에게이 분야에 대한 중요한 통찰력을주었습니다.

"일체 포함. 더 이상 공상 과학의 꿈이 아닙니다. 매우 현실적인 것이고 매우 빠른 속도로 접근하고있는 것 "이라고 Kim은 말합니다. "고등학생조차도 아직 모자라는이 대학생이 하 카톤 (hackathon)에서 뭔가를 만들 수 있었기를 바라는 것이 컴퓨터 과학에 뛰어 드는 데 어려움을 겪고있는 다른 학생들에게 고무되기를 바랍니다."