[국대들의 연구실] 음악으로 감정 표현하는 인공지능 로봇…KIST

■ 임세혁 / KIST 지능로봇연구단 책임연구원

[앵커]
국가가 지원하는 우리나라 대표 출연 연구기관들과 함께 다양한 연구 분야에 대해 깊은 이야기를 나눠보는 코너, '국대들의 연구실' 시간입니다. 오늘은 한국과학기술연구원, KIST를 방문해보겠습니다. 최근 인공지능 로봇이 우리 생활에도 많이 이용되고 있는데요,흔히 로봇 하면 일상 속에서 필요한 일을 도와주거나 생산적인 역할을 하는 경우가 많습니다. 그런데 이 로봇을 이용해 음악을 연주하고 감정을 표현하는 기술을 개발하는 곳이 있다고 하는데요, 임세혁 책임연구원 모시고 자세한 이야기 들어 보겠습니다. 어서 오십시오.

먼저 현재 박사님이 계신 곳이 지능로봇연구단인데요, 정확히 어떤 연구를 하는 곳인가요?

[인터뷰]
저희 연구단은 미래사회에 로봇과 인공지능이 인간의 삶을 어떻게 하면 더 편리하고 풍요롭게 할 수 있을지를 고민하고, 그에 대한 실험적인 원천기술에서부터 시스템 레벨에서의 현장 실증까지 폭넓은 연구를 진행하고 있습니다. 주로 공공기술의 성격을 가지면서도 국가전략산업으로 발전할 수 있는 기술들을 연구하고 있습니다.

[앵커]
박사님은 특이하게 음악 로봇을 연구하고 계세요. 특별한 이유가 있을까요?

[인터뷰]
처음 음악 로봇에 관심을 가진 계기는 제가 음악을 좋아했기 때문이고요. 그 이후에는 음악로봇이 미래기술이 될 수 있는지에 대한 전략적 판단이 있었습니다. 흔히 미래기술이라고 하면 기존에는 없던 새로운 분야가 나타나는 것이라고 생각하게 되는데요. 저는 오히려 과거와 현재를 쭉 보았을 때 인류와 한 번도 떨어지지 않았던 분야가 무엇인지 분석해보았습니다.

그러다 보니 음악이라는 키워드에 집중하게 되었고요. 흥미로웠던 점은 음악이라는 본질은 변하지 않지만, 음악을 생산하는 기술과 향유하는 기술에 있어서 그 형태만 계속 바뀌고 있다는 거예요. 그래서 저희는 미래에 인간이 음악을 향유하는 여러 가지 방법 중에 로봇이 중요한 역할을 할 수 있을 것이라고 예측하고 그 길목에서 중요한 기술을 먼저 연구하면 어떨까 하는 생각을 하게 되었습니다.

[앵커]
설명을 들어보니깐 점점 더 궁금해지는데요, 지금 연구하고 계시는 로봇이 드럼을 연주하는 '휴머노이드 로봇'인데요, 먼저 화면으로 한번 만나보겠습니다. 사람이 치는 것과 자세까지 비슷한데요, 어떤 로봇인지 직접 소개해주실까요?

[인터뷰]
음악 인공지능은 기능과 형태에 따라 여러 가지가 있는데요. 그중에 하나가 바로 청음지능입니다. 쉽게 한 예를 들자면, 어떤 소리가 들렸을 때 그것이 어떤 악기인지, 무슨 음정인지를 예측하는 지능이라고 보시면 됩니다. 저희는 어떤 음악이 들렸을 때 거기서 무슨 드럼 악기가 어떻게 사용되었는지를 분석해서 악보를 재구성하고, 그 악보를 기반으로 실제 사람 연주자들이 하는 음악적 기교를 구현하면서 악기를 연주하는 로봇을 연구하고 있습니다.

[앵커]
볼수록 귀엽기도 하고 신기하기도 한데요, 화면을 보니깐 뒤에서 컴퓨터를 조작하시는 분이 있더라고요, 음악은 입력된 곡만 가능한가요, 아니면 즉흥적인 연주도 가능한가요?

[인터뷰]
현재는 입력된 곡만 가능한 상황이고, 악보생성을 하는 인공지능이나 인간 연주자들과 상호작용하는 지능 부분을 통합해서 즉흥적인 연주도 가능하도록 연구 중입니다.

[앵커]
나중에는 재즈 음악도 연구가 가능하기를 기대해보겠습니다. 그렇다면 로봇에게 슬픈 음악, 발랄한 음악, 잔잔한 음악 등을 주문하면 선택해서 연주하는 것도 가능한가요?

[인터뷰]
어떻게 구현하는지에 따라 다른데요. 분위기별로 노래 리스트를 미리 만들어놓고 소비자가 선택하면 연주해주는 것은 지금도 가능하고요. 더 높은 수준의 기술로 구현하자면, 일종의 음악 표현지능이 들어가야 합니다. 동일한 음악이라도 그 분위기를 슬프게, 발랄하게, 혹은 잔잔하게 만드는 것은 일종의 편곡이라고 할 수 있고요. 그 부분은 제가 직접 하지는 않고 음악 지능을 전문적으로 연구하시는 국내 석학분들이 좋은 결과를 가지고 있으면 저희와 협업하는 형태로 진행하고 있습니다.

[앵커]
연주 스타일까지 생겨날 수 있다는 말씀이신데요, 그런데 많은 악기 중에서 왜 하필 드럼으로 선택하셨는지 궁금합니다, 혹시 관악기나 현악기도 도전해보셨는지 들려주실까요?

[인터뷰]
처음에 드럼이라는 악기를 선택한 이유는 동작이 가장 크기 때문입니다. 음악 연주 로봇이라고 하면 관객들에게 보여주는 것이 주된 목적이기 때문에 굉장히 다이내믹하고 현란한 동작이 나와야 한다고 생각했어요. 둘째는 음악에서 드럼이라고 하는 악기가 가지는 의미인데요. 사실상 노래 전체의 지휘자라고 생각하시면 됩니다. 보컬이나 기타연주가 호흡이 빨라지고 앞서 나가다가 이 드럼 소리를 듣고 제자리를 찾아간다는 거죠.

그리고 관악기나 현악기 로봇에 대해서는 최근에 기회가 있어서 기타에 대해서도 공부를 한 적이 있는데요. 손가락 동작이나 힘이 약간만 달라져도 실제로 악기가 만들어내는 음과 그 느낌이 너무 다른 거예요. 그래서 단순히 기계적으로 기타 줄을 튕기는 로봇은 개발할 수 있지만, 우리가 원하는 느낌의 소리를 만들어내기 위해서는 많은 준비를 해야 된다고 생각하였습니다.

[앵커]
바로 그 지점에서 지금 이 로봇이 감성을 담는 로봇이잖아요. 개발하시면서 어려운 점도 많았을 것 같은데 어떤가요?

[인터뷰]
첫 번째로는 기술적으로 어려운 점인데요. 전문가들이 드럼을 연주하는 장면을 보면 인간신체가 가지는 민첩성, 유연성, 폭발적인 근력에 대해서 감탄하게 되고요, 또, 노래를 해석한 다음에 그에 맞게 완급을 조절해서 악기를 연주하는 신체적인 지능에 대해서 감탄하게 됩니다. 지금 로봇기술이 많이 발전했지만, 이러한 고도의 물리적인 지능을 어떻게 구현하는 것은 굉장히 도전적인 목표입니다.

둘째는 이러한 연구가 가지는 성격의 문제인데. 한마디로 끝이 없는 연구라는 겁니다. 보통 로봇 분야에서 물체조작이나 보행과 같은 전통적인 주제를 연구하는 경우에는 '성공' 아니면 '실패'예요. 컵을 잡으면 되는 거지 잘 잡는다와 못 잡는 것을 크게 의미 없습니다. 근데, 음악로봇은 일종의 표현성 중심의 로봇인데 같은 드럼을 친다고 하더라도 어떻게 치는지가 더 중요해요. 더 사람답게, 더 깨끗한 악기 음이 만들어지게. 이런 요소들이 더 중요하죠.

[앵커]
그렇다면 이런 음악 로봇을 왜 개발했는지에 관련된 질문인 것 같은데 이 음악 로봇이 사회적으로 가지는 의미는 무엇일까요?

[인터뷰]
저희가 이 음악로봇을 연구하는 최종목표는 '문화재생'입니다. 과거에 문화를 기록하는 기술이 빈약했던 시절에는 유무형의 문화재를 보존 하는데 초점이 맞추어져 있었어요. 그래야지 후세에 전달할 수 있으니까요, 그런데 현재와 같이 문화콘텐츠가 디지털 방식으로 생산되고 유통이 되는 시대에는 자연스럽게 데이터로 남겨지게 됩니다. 그러면 이러한 데이터화 된 문화를 어떻게 재생할 수 있을지에 대해서 더 관심을 가져야 해요. 그런 의미에서 저희는, 지금 시대의 전설적인 아티스트들의 노래와 공연을 우리 다음 세대가 그대로 눈앞에서 재현해서 즐기기 위한 기술을 연구하고 있다고 생각하시면 됩니다.

[앵커]
드럼 로봇에 대해서 설명을 들어봤는데 이것 말고도 노래하는 로봇도 있다고 들었습니다. 이 로봇도 화면으로 만나보고 이야기 이어가겠습니다. 이 친구는 어떤 녀석인지 소개해주실까요?

[인터뷰]
저희가 연구하고 있는 소프트 로봇이고 이름은 '레이'입니다. 레이는 기존과는 전혀 다른 개념을 가지고 디자인한 애니메트로닉스 로봇이예요. 보통 애니메트로닉스라고 하면 사람의 눈, 코, 입, 피부를 굉장히 정교하게 묘사하는데요. 영화촬영이나 테마파크에서 많이들 보실 수 있죠.

그런데 저희는 오히려 사람 얼굴을 굉장히 단순화시키고 말하는 음성과 얼굴을 조화롭게 움직이는 것에 초점을 맞추었어요. 눈, 코, 입을 과감하게 없애고 오히려 관찰자들이 그것을 상상하게 만드는 전략을 취했습니다. 거기에 덧붙여서 인간이라는 동물이 빛이 나는 물체에 대해 가지는 관심과 호감도를 심미적으로 이용했습니다. 최근에는 사람의 음성에 기반해서 고개 동작과 입 동작을 생성하는 지능을 개발했고요, 음성인식이나 ChatGPT와 연동해서 소셜 로봇으로 활용하는 방안도 연구하고 있습니다.

[앵커]
흥미로운 분야에 대해서 오늘 설명을 들었는데, 앞으로의 연구 계획도 들려주시죠.

[인터뷰]
저는 저희 연구가 같은 시대를 살아가는 사람들에게, 우리가 살면서 잃어버린 감성들, 저는 낭만이라고 표현하는데요, 힘든 삶에 대한 위로 혹은 과거에 자신이 무엇인가를 이루었을 때 느꼈던 자신감 이러한 감성들을 로봇을 통해서 다시 불러일으키고 싶습니다. 그리고 그 과정에서 중요한 도구로서 음악을 활용하는 것이고요.

그래서 최근에는 국내 음악 지능 전문가들과 함께 AI 오케스트리온이라는 프로젝트를 기획해서, 아티스트들과 음악 인공지능을 가진 다양한 인간형 로봇들이 서로 합을 맞추어가면서 음악공연을 하는 연구를 계획하고 있습니다.

[앵커]
오늘 말씀 들어보니 이미 데이터화된 문화를 재생하고 보존하는 데 로봇의 역할이 중요하다는 생각이 듭니다. 키스트 지능로봇연구단 임세혁 책임연구원과 함께 했습니다. 고맙습니다.

YTN 사이언스 김기봉 (kgb@ytn.co.kr)