Music Anima-torMatlab 과 Unity 를 활용한

목차• 구현 목표 및 기능• 데이터 분석 • 추가 사항 및 변경• 내용구성• 개선 및 활용 방안• 시연• Q&A

▪구현 목표 및 기능

Music Animator

구현 목표 및 기능

현재의 플레이어는 음악 재생 시 단순한 시각화

효과를 제공하고 있음 .

구현 목표 및 기능음악 재생 시 주파수에 따라 다양한 시각화 기능을 제공하여 사용자에게 심미성을 제공하도록 하고자 함 .

▪데이터 분석

데이터 분석• 사용하려는 파일 형식 - wav 파일• 데이터의 구조 – 2ch- 스테레오 구조 (Matrix)• 퓨리에변환을 이용한 wav 데이터의 선형변환

퓨리에 변환

데이터 처리 방법• Matrix, 수학계산을 위한 도구로써 Matlab 이용 .• Visualization 을 위해 unity3D 이용 .

▪추가 사항 및 변경

Music Animator

추가 사항 및 변경Unity3D 를 이용하여 visual 효과를주파수에 따른 동물 , 식물이 나온다 .

▪내용 구성

Music Animator

wav 음원 분석• wav 파일을 매트랩의 stft 를 이용하여서 시간에 따른 퓨리에 분석을 한다 .

음원의 변환 과정contour stem

Matlab 의 Hz 함수 (1)• Output( 주파수정보 , 시간 )• Wav 파일의 정보를 저장한 후 . Vocal 부분을 평균내서 stereo mono 변환• 100 만 단위로 stft 한다 .

Matlab 의 Hz 함수 (2)• Output( 주파수정보 , 시간 )• Wav 파일의 정보를 저장한 후 . Vocal 부분을 평균 내어 stereo mono 변환• 100 만 단위로 stft 한다 .

Filter• Adaptfilt.lms 를 이요하면 사람의 목소리 부분을 특히 강조할 수 있다 .

Filter 사용의 문제점• Adaptive filter lms : 목소리 부분이 강조되긴 하지만 , 사용시 약

15 분 정도 걸려서 사용하지 않았다 .• 다른 방법 : mr 의 파형을 반대로 입력하여 간섭 현상을 일으키는 것이 있는데 , 사용법을 찾지 못하였다 .

어차피 사람의 목소리가 나오는 부분은 주파수가 더 강조될 것이 므로 , 원 데이터를 활용하기로 했다 .

음정 (scale)

• 7 음계 기준에 따라서 19 부분으로 나누어서 각 부분마다 이미지를 할당한다 .

주파수에 따른 이미지

C# 과 연동하기• Matlab 을 export 하면 DDL파일이 나온다 .• C# library 를 활용하여서 데이터를 배열 형태로 읽어온다 .

C# 주요 변수 목록• Matlab 함수를 사용하기 위해 쓰는 c1

• 가져온 값을 저장할 mw1, • m1= scale 정보• m2= time 정보

생성자

Animation 부분// 지구 불러오기

▪개선 및 활용 방안

Music Animator

개선이 필요한 부분

1. 다양한 그림 , 움직이면 더 좋겠다 .2. 원하는 음악을 바로 이미지화 .3. 필터 사용 부분 .4. 음의 세기도 반영되면 좋겠다 .

활용 가능할 것 같은 곳

1. 어린이용 노래방기기 ( 뿡뿡이 , 뽀로로 , 로보카 폴리 … )2. …

▪시연

Music Animator

동영상 시연

Q&A