스마트폰에서 보청기로의 음향 무선 통신

Acoustic Wireless Communication from Smart Phone to Hearing Aid장순석†(Soon Suck Jarng†)

조선대학교 전자공학과

(Received January 14, 2015; accepted February 12, 2015)

초 록: 본 논문은 스마트폰으로부터 디지털 보청기로 가청음 주파수 대역의 무선 통신을 수행한 내용을 다루었다. 반송주파수를 1 kHz 단일 채널을 사용하는 진폭편이방식에 의해 이진 데이터를 변조한 후, 정상적인 송수신 결과를

확인하였다. 전체적인 시스템 구현 과정을 상세히 설명하면서 실험 결과로 증빙해보였다. 스마트폰을 사용한 디지털

보청기 원격 제어가 가능한 실용화 제품을 실현하고 자 한다.

핵심용어: 보청기, 스마트폰, 무선통신, 진폭편이방식, 데이터 송수신

ABSTRACT: In this paper, wireless communication from a smart phone to a hearing aid using audible frequency band sound was considered. 1kHz single channel carrier frequency was applied for amplitude shift keying (ASK) binary data modulation, and the result of the transmission and reception was tested. The overall system process was precisely explained and experimentally evaluated. The result will be applied for realizing a digital hearing aid with remote control feature by a smart phone.

Keywords: Hearing aid, Smart phone, Wireless communication, Amplitude shift keying, Data transmission and reception

PACS numbers: 43.20.Ye, 43.60.Dh, 43.60.Rw

†Corresponding author: Soon Suck Jarng (ssjarng@chosun.ac.kr)

Department of Electronics Engineering, Chosun University, Seoseok-Dong, 309 Pilmoon-Daero, Dong-Ku, Gwang-Ju 501-759,Republic of Korea(Tel: 82-62-230-7107, Fax: 82-62-226-3211)

한국음향학회지 제34권 제2호 pp. 91～97 (2015)The Journal of the Acoustical Society of Korea Vol.34, No.2 (2015)

http://dx.doi.org/10.7776/ASK.2015.34.2.091

pISSN : 1225-4428eISSN : 2287-3775

I. 서 론

보청기의 무선 원격 제어는 디지털 보청기의 출현

과 함께 보청기 시장의 당면한 요구 사항이었다. 즉,

보청기 사용자들은 무선으로 자신의 귓속에 삽입된

보청기를 원격 제어하고 싶어졌다. 1.4 Vdc 초소형

아연 건전지를 사용하는 보청기에 동일 건전지를 사

용하는 RF(Radio Frequency, 전자주파수) 전자기파

모뎀 칩을 부착하는 일이 기술적으로 간단치 않았기

에, 고막형 보청기보다는 귀걸이형 보청기처럼 외형

사이즈가 상대적으로 큰 보청기에만 RF 무선 통신

모듈이 선택적으로 고가에 탑재, 적용되어 왔다. 그

러면서 스마트폰이 모든 연령층에 광범위하게 확산,

보급되자, 스마트폰을 사용한 보청기 무선 원격 제

어가 자연스레 요구되었다. 스마트폰이 원래 갖고

있던 블루투스 칩을 보청기에도 활용하려는 보청기

제조기술 변화는 보청기와 음성증폭기간의 경계를

허물게 되었고, 이제는 블루투스 칩만으로도 보청기

를 구현할 수 있게 되었다. 디지털 신호 처리가 비교

적 간단한 음성증폭기와 달리 보청기는 난청인의 저

하된 청력 역동 범위를 주파수별로 세세하게 보정해

야 하기 때문에, 블루투스 칩만으로 무선 원격 제어

가 가능한 보청기를 구현하려기보다는, 기존의 보청

기 칩에 블루투스 모듈을 추가하려는 시도가 더 설

득력을 갖게 되면서 보청기 칩 기술은 1.4 Vdc를 사

용하는 저전력 저전압 블루투스 모듈과의 통합된 패

키징으로 발전하고 있다.[1] 그런데 기술적 측면이 아

닌 헬스케어 측면에서, 스마트폰과 연동되는 블루투

스 이어폰이 제품 출시 후, 오디오 시장에서 실패한

주된 원인으로 2.4 GHz의 전자기파에 의한 인체 유

해성 보고가 꼽히는 것에 주목해야 한다.[2] 더구나

91

장순석

한국음향학회지 제34권 제2호 (2015)

92

블루투스 모듈이 패키징된 고막형 보청기는 외이도

내벽 피부에 근접하게 접촉되기 때문에 스마트폰에

의한 무선 원격 제어의 편의성 못지않게, 초고주파

RF 전자기파에 의한 인체 유해성이 더 부각될 수 있다.

물론 블루투스 모듈이 내장된 보청기 사용자들이

블루투스 무선 통신을 매개체로 휴대폰 통화를 항상

사용하는 것은 아니지만, 블루투스 모듈 자체에 의

한 쓸모없는 전력 소모는 보청기용 초소형 아연 건

전지 용량에 제한을 둘 수 있다. 대부분의 보청기 사

용자들은 남의 눈에 띄지 않는 초고막형을 원하기

때문에, 스마트폰에 의한 무선 원격 제어 기능이, 같

은 용량의 보청기 건전지를 사용하면서 보청기 사용

시간에 제약을 준다면, 스마트폰 연동 기능의 효용

성에 의문을 가질 수 있다.

보청기의 원래 주된 기능은 주파수 채널별로 세밀

한 비선형 압축 보정으로 요약된다. 그리고 지금처

럼 블루투스 모듈이 보청기 칩에 패키징 되기 전에

는 초소형 토글 버튼으로 보청기 동작 기능에 변화

를 줌으로써 여러 다른 주변 환경에 따른 보청기 동

작 모드를 다르게 바꿔 상황별로 적용해 왔다. 이는

스마트폰에 의한 보청기 원격무선제어기능을 보청

기 주기능 이상으로 지나치게 강조할 필요가 없음을

시사한다. 즉, 스마트폰으로 제어하려는 보청기 휘

팅이 의외로 간단한 휘팅 파라미터 송수신만으로도

충분하다는 의미이다. 그러므로 초고막형을 지향하

는 사용자의 원함과 전력 소모가 많은 블루투스 모

듈이 아닌 다른 방편에 의해 스마트폰으로 보청기를

무선 원격 제어, 휘팅할 수 있는 방법이 요구되었는

데, 본 논문에서는 2.4 GHz 전자기파가 아닌 가청주

파수 대역의 음파에 의한 실용적인 무선 원격제어

방법을 제안, 실현해 보였다.

개별적인 난청인에게는 각자의 특유한 청력 검사

결과가 있는데, 먼저 조용한 환경에서 본인에게 가

장 최적한 보청기 휘팅을 하여 그 조용한 환경에서

의 어음 변별력 향상을 위한 보청기 적응 노력을 기

울이게 된다. 이것을 1차 상황 모드라 정의하면, 2차,

3차 상황모드는 주변 환경이 조용하지 않고 시끄럽

거나, TV 청취 혹은 음악 감상 등 색다른 환경에 최적

한 보청기 모드로써 달리 구분할 수 있다. 예를 들어

2차 상황모드는 TV 청취 모드, 3차 상황모드는 약간

시끄러운 카페에서의 대화모드, 4차 상황모드는 번

잡한 야외나 사람 많은 식당에서의 대화모드 등 여

러 다른 모드들로 구분되는데, 보청기에는 이러한

모드들 각각에서 가장 최적한 신호처리가 수행되도

록 사전에 상황별 모드에 따른 동작 파라미터들을

메모리에 별도로 저장해 놓고 있다. 그러므로 보청

기와 연동되는 스마트폰의 역할은 볼륨을 조절하는

GUI(Graphic User Interface, 사용자 화상 인터페이스)

다이얼 버튼을 조작하거나, 주변 환경에 따른 상황

모드를 변화시키는 모드 변동용 GUI 선택 버튼을 눌

러주는 것 외에 달리 특별한 다른 기능은 필요 없다

고 하겠다.

II. ASK 음파 송수신

스마트폰에서 앱 프로그램[3]에 의한 GUI 방식에

따라 특정 버튼을 누르면, 그에 대응하여 간단한 디

지털 데이터(볼륨 조절용 혹은 상황모드변경용)들

이 생성되도록 하고, 이들을 보청기로 무선 원격 송

신하면, 보청기에서는 수신된 데이터 내용에 따라

동작 모드를 자동 변화하도록 펌웨어를 만들어 놓으

면 된다. 본 논문에서는 무선 원격 송신 매개체로 기

존의 블루투스 전자기파가 아닌 가청주파수 대역의

음파를 사용하려고 한다. ‘0’ 아니면 ‘1’의 디지털 데

이터는 ASK(Amplitude Shift Keying, 진폭편이법)[4]

방식에 의해 진폭 변조되는데 전송 주파수를 4 kHz

단일 채널로 하였다. 블루투스 모듈과 달리 별도의 안

테나가 필요 없고, 보청기에서 원래 사용하는 마이

크로폰을 사용함으로써 추가적인 부품 소요의 필요

성을 절감시켰다.

동일한 마이크로폰으로 입력되는 음파는 주변 소

음을 포함한 음성 신호와 스마트폰에서 송신한 ASK

음향 신호로 나눠지는데, 이는 보청기 칩 내부에서

동일한 입력 신호를 두 개의 다른 과정을 통해서 처

리함으로써 구분된다. 첫 번째 과정은 음성을 강조

하는 보청기의 주 기능을 처리하는 과정이어서 본

논문에서는 설명을 생략하였다. 두 번째 과정은 음

성과 섞여 들어온 ASK 음향 펄스 신호를 4 kHz 중심

주파수를 가지는 디지털 밴드패스필터(2차 Biquad

Filter, 바이쿼드 필터[5])들을 6회 반복적으로 통과시

스마트폰에서 보청기로의 음향 무선 통신

The Journal of the Acoustical Society of Korea Vol.34, No.2 (2015)

93

Fig. 1. ASK modulated signal waveform of binary

pulses {1 0 1 1}.

Fig. 2. From ASK modulated binary pulse signals {1

0 1 1} (a), the first binary pulse {1} has been six

times repeatedly expanded (b).

키도록 한 뒤, 필터링된 최종 신호의 세기를 사전에

세팅한 임계치와 비교하여 ‘0’ 혹은 ‘1’로 구분, 복호

하는 과정이다. 이렇게 복호된 이진 데이터는 다시 8

비트씩 묶어서 1바이트로 임시 저장하였다가, 1바이

트 단위로 해독하여 보청기 내부 휘팅 파라미터들을

수정시키거나 상황 모드를 변화하는데 사용한다. 또

한 볼륨 조절 데이터는 볼륨의 레벨을 결정하는데

사용한다.

본 연구에서는 보청기 칩으로 입력된 마이크로폰

출력 아날로그 신호를 우선 12 dB의 전치 증폭시킨

후, 20비트 분해도, 16 kHz 샘플링 주파수 A/D 변환기

를 거쳐 양자화한 뒤, Decimation Filter(보간필터)를

거쳐 디지털 신호 보간을 하였다. ASK 음향 신호는 4

kHz 중심주파수를 가지면서 16 kHz로 샘플링된 64

개의 디지털 데이터가 1 개의 디지털 펄스를 ASK 변

조하도록 하였다. 이는 1 개의 디지털 펄스 길이가 4

ms (=64/16 kHz)이므로, 결과적으로 1개의 디지털 펄

스는 16개(=4 ms*4 kHz)의 정현파로 구성되며, 각각

의 디지털 펄스 신호(1:64)에 Hanning창(1:64)을 곱한

후 스마트폰에서 출력시켰다. Fig. 1은 디지털 펄스

산호 {1 0 1 1}에 대응하는ASK 변조 신호 파형을 일

례로 보여준다. 스마트폰 스피커로부터 출력되는

ASK 디지털 펄스 신호 파형은 외부 소음 및 음성 신

호에 의해 파형이 일부 왜곡되지만 4 kHz 반송 주파

수의 특성은 스마트폰과 보청기 사이의 거리가 30 ~

40 cm 정도의 실제적인 사용 거리에서는 크게 달라

지지는 않는다.

Hanning창이 곱해진 ASK 디지털 변조된 펄스 신

호에 대해서 보청기 칩에서 2차 Biquad 필터를 반복

적으로 6번 통과시키도록 필터링을 수행함으로써

소음 마진을 최대화 하였다(Fig. 2). 즉, 1개의 2차

Biquad 필터에 Fig. 2 (a)의 첫 번째 이진 펄스 {1}에 대

한 64개 샘플링된 데이터를 통과시킨 후, 다시 동일

한 첫 번째 이진 펄스 {1}에 대한 64개 샘플링된 데이

터를 통과시키기를 6회 반복하도록 하였다(Fig. 3).

실재 사용되는 2차 Biquad 필터는 1개이지만, 64개

샘플링된 입력 신호를 6차례 반복적으로 통과시켜

주면, 2차 Biquad 필터의 상태 변수는 마치 일련의

384(=64*6)개의 연속적인 {1 1 1 1 1 1} ASK 변조 파형

을 통과시키는 것과 유사한 효과로 인해 4 kHz 중심

주파수 이외의 다른 소음을 충분히 필터링하면서,

장순석

한국음향학회지 제34권 제2호 (2015)

94

Fig. 3. The same ASK modulated binary pulse signal

{1} or {0} is six times repeatedly filtered by one same

2nd order Biquad filter. The first five (T1~T5) filtered

results are ignored while the last (T6) filtered result

is used for detecting the signal level.

Fig. 4. After ASK binary pulse signal {1} is initially 40

times transmitted, then a command data {0 0 1 0}

is transmitted for synchronization.

Fig. 5. After 40 times repeatedly transmitted all one

{1} ASK binary pulses for synchronization, the next

incoming ASK pulses give binary data information.

동시에 스마트폰에서 출력된 원 이진 신호 {1}에 대

한 신호 레벨을 안정적으로 유지할 수 있게 해준다.

마찬가지로 {0}에 대해서도 6회씩 반복 필터링함으

로써 {1}과 {0}사이의 경계를 분명히 해준다.

이러한 방법으로 시간 영역에서 최종 6번째로 필

터링된 64개씩의 출력 신호 레벨을 검출하여, 이 레

벨이 임계치 이하인지 혹은 이상인지에 따라 ‘0’ 혹

은 ‘1’ 로 이진화시켰다. 1개의 마이크로폰으로 원격

제어용 음파와 음성 신호를 모두 수집해야 하기 때

문에, 임계치를 결정할 때에는 잡음에 따른 왜곡이

발생하지 않도록 충분히 큰 소음 마진을 고려해야

한다.

스마트폰에서 임의로 일련의 이진 데이터들이

ASK 변조에 의해 출력되도록 하였고, 디지털 보청

기 마이크로폰으로 입력된 음파 신호를 실시간으로

처리하여 이진 데이터들을 eeprom에 저장한 후, 다

시 eeprom 내용을 읽어봄으로써 무선 이진 데이어 송

수신에서 오류가 발생하지 않음을 확인하였다. 스마

트폰에서는 안드로이드 자바 언어에 의해 보청기 휘

팅을 위한 GUI App. 프로그램을 작성하였고, GUI 버

튼에 의해 필요한 이진 데이터들이 생성되도록 한

뒤, ASK 변조 방식으로 보청기에 음향 송신되었다.

III. 동기화 처리

스마트폰으로부터 발생하는 ASK 디지털 변조 펄

스 신호는 사용자에 의해 임의의 시간에 발생하기

때문에 원격으로 떨어져 있는 보청기와는 동기화가

안 되어 있다. 그러므로 언제 발생할지 모를 ASK 음

향 신호를 수신하고, 다시 이로부터 원격의 디지털

제어 신호를 검출하기 위해서는 동기화를 위한 방법

이 요구된다.

본 연구에서는 ASK 디지털 변조 펄스 신호 데이터

는 먼저 40개의 all one {1 1 ... 1} ASK 펄스 신호를 송

출한 후에, 곧 이어서 실재로 송출하고자 하는 디지

털 펄스 신호들을 발생하는 방식을 적용하였다. 40개

의 ASK all one 펄스 신호의 시간은 160 ms (=40*4 ms)

이며, 이어서 4비트의 명령어 데이터가 송출되고, 계

속해서 명령어에 부속되는 변수 데이터들을 송출하

도록 자체적인 프로토콜을 규정하였다.

스마트폰에서 보청기로의 음향 무선 통신

The Journal of the Acoustical Society of Korea Vol.34, No.2 (2015)

95

Fig. 6. There should be enough noise margin between

{0} and {1} digital data classification.

Fig. 7. Synchronization protocol diagram for the first 40 repeatedly incoming ASK binary pulse signals.

Fig. 4는 ASK 이진 펄스 신호 {1}을 초기에 40회 연

속적으로 송출한 뒤, 명령어 데이터 {0 0 1 0}을 계속

해서 송출할 경우의 ASK 변조 신호 파형의 일례를

보여준다. 이렇게 상호 규정을 만듦으로서 스마트폰

과 보청기 사이에 동기화가 가능토록 하였다(Fig. 5).

또한 40개의 연속적인 ASK 디지털 펄스 직후에 임의

의 암호데이터를 삽입하는 방식으로 동기화가 시작

됨을 보청기에 알려줄 수 있다. 디지털 신호는 논리

적으로 0 혹은 1로만 인식되어야 하기 때문에 0과 1

사이에 충분한 잡음 마진 간격을 고려한 레벨 차이

가 있어야 한다(Fig. 6).

IV. 보청기 원격 제어 프로토콜

스마트폰으로부터 발생하는 ASK 디지털 변조 펄

스 신호를 음향을 매개체로 전송 받은 후, 이를 해독

하기 위해서는 스마트폰과 보청기 사이에는 상호 약

속된 프로토콜이 만들어져야 한다. 동기화 직후에

입력되는 원격 제어 데이터는 크게 명령어와 명령에

부속되는 파라미터들로 구분된다.

Fig. 7은 동일한 마이크로폰으로부터 입력되는 음

성/음향 신호 처리를 크게 두 부분으로 나눠서 보여

준다. FIFO A0 버퍼에는 연속적으로 64개씩의 샘플

링된 입력 신호가 들어오고, 이들로부터 보청기의

고유의 증폭, 압축, 방향성, 소음 소거, 휘드백 제거

기능들이 실시간으로 구현된 후(Fig. 7 왼쪽 모서리

둥근 사각형), FIFO B0 버퍼를 통해 리시버로 출력

된다. 평상시에는 스마트폰에 의한 원격 제어 개시

가 동기화 되어 있지 않기 때문에 Fig. 7의 오른쪽 모

서리 둥근 사각형에서 보여주듯이 스마트폰으로부

터 발생되는 40회의 all one {1 1 1... 1} ASK 변조 음향

신호를 읽어서 카운팅하다가 연속적으로 40회의

{1}이 발생하게 되면 본격적으로 스마트폰으로부터

들어오는 원격 제어 신호 처리 과정(프로세스1)으로

넘어간다. 프로세스 1 과정 도중에는 보청기의 정상

동작이 멈춰진다.

64개의 샘플링된 데이터들은 4 ms의 시간 기간을

가지기 때문에 보청기 신호 처리는 모두 4 ms 시간 내

에 처리될 만큼의 충분한 연산 능력을 갖추고 있어

야 한다. 본 연구에서는 Ezairo 7110 하이브리드 칩[6]

을 사용하였으며, 이 칩으로는 240 MIPS의 연산이 가

장순석

한국음향학회지 제34권 제2호 (2015)

96

a1a2a3a4 = a

0: 0000=in-situ begins, 1: 0001=equalizer data transfer, 2: 0010=volume up, 3: 0011=volume down, 4: 0100=NR off, FC off, 5:

0101=NR on, FC off, 6: 0110=NR off, FC on, 7: 0111=fitting data transfer, 16: 1111=in-situ ends

Fig. 8. Protocol diagram for decoding the next incoming binary command data after the synchronization protocol.

30 cm

Fig. 9. There should be about 30 cm distance between

a smart phone and a hearing aid inserted into the ear

for reducing environmental noise interference.

능하다. 모든 데이터들은 24비트(1 word) 단위로 연

산되도록 하였고, 실수와 정수 사이의 변환은 항시

프로그래밍 과정에서 주의하여야 할 부분이다.

동기화 ASK 신호 직후에는 4비트의 명령어가 입

력되며 Fig. 8의 프로세스 1에서 명령어를 해독한 뒤,

16개의 여러 다른 명령어들에 따라 다음 원격 제어

프로세스가 진행된다. 때로는 40비트의 재동기화 과

정이 요구되기도 한다(process 2). 예를 들어 명령어

“0010”은 보청기의 볼륨을 높이라는 단일 명령어인

데 반해, 명령어 “0001”은 이퀄라이저 정보를 스마트

폰으로부터 보청기로 전송하라는 명령이어서 계속

해서 64바이트, 즉 512비트의 ASK 이진 펄스가 스마

트폰으로부터 보청기로 전송된다. 명령어 해독에 따

라 필요한 만큼의 후속 데이터가 모두 수집되어 처

리되고 나면, 보청기는 다시 초기화 상태로 회복되

어 정상적인 동작을 하되, 스마트폰으로부터 기입력

된 원격 제어 명령에 따라 달라진 신호 처리 파라미

터들을 활용하여 보청기를 동작시킨다.

이렇게 해서 보청기는 스마트폰으로부터 전송된

원격 제어 명령에 따라 볼륨을 높이거나 내리거나

이퀄라이저 상태를 바꿀 수 있게 된다. 본 연구에서

는 명령어 개수를 16개로 제한하였으나, 이는 향후

얼마든지 확대할 수 있다.

Fig. 9는 실재로 제작한 보청기를 귀에 삽입한 상

태에서 스마트폰에서 발생하는 소리를 통한 원격 제

어의 실험을 사진으로 보여준다. 보청기와 스마트폰

사이의 거리가 약 30 cm 정도 일 때 주변 소음으로부

터 자유로움을 확인하였다.

V. 결 론

본 연구에서는 한 번의 동기화 직후 돌발적으로

발생할 소음으로 인한 원 이진 데이터 왜곡을 고려

스마트폰에서 보청기로의 음향 무선 통신

The Journal of the Acoustical Society of Korea Vol.34, No.2 (2015)

97

Fig. 10. App. GUI screen example for remote control

of hearing aid features.

하여 최대 256 비트의 데이터를 송수신하도록 하였

고, 추가적인 데이터를 수신하기 위해서는 40비트의

동기화를 위한 ASK 펄스 신호를 입력하도록 하여 송

수신 과정에서의 에러 발생을 최소화 하였다.

안드로이드 Java 언어를 사용한 스마트폰 앱 코드

를 별도로 개발하여 연구 결과를 실용화 제품으로

구현하였다. Fig. 10은 스마트폰 앱으로 실현한 보청

기 이퀄라이저 GUI 화면을 보여준다.

본 연구 결과는 그동안 연구개발한 64채널 보청기

펌웨어[7]

에 추가되어 부가가치 높은 제품화로 실현

시키고자 한다.

감사의 글

본 논문은 2011년도 보건복지부 한국보건산업진

흥원의 “보급형 모바일 장치를 이용한 청각장애자

용 상황대처 음성 자막 변환기(과제 번호 A111189)”

연구 사업 지원을 받아 수행되었습니다.

References

1. Multi-protocol Bluetooth Low Energy and 2.4 GHz proprietary system-on-chip, Nordic Semiconductor, nRF51822, 2014.

2. http://www.joseilbo.com/news/htmls/2014/09/20140912232859.html, 2014.

3. H. J. Park, “Android communication programming calling a miracle,” 2H&S, 601-686 (2013).

4. S. S. Jarng, “Acoustics, vibration, ultrasonics, simulation in medical engineering,” Chosun University press, 154-166 (2005).

5. J. N. Little and L. Shure, “Signal processing toolbox for use with MATLAB,” The MATH WORKS inc., 1-27 (1992).

6. EZAIRO 7110 HYBRID, http://onsemi.com, Semiconductor Components Industries, LLC, Publication Order Number: E7110/D, 2013.

7. S. S. Jarng, “64 channel noise masking digital hearing aid firmware development” (in Korean), J. Acoust. Soc. Kr. 31, 367-372 (2012).

저자 약력

▸장 순 석 (Soon Suck Jarng)

1984년 2월: 한양대학교 전자공학 학사

1985년 9월: 영국 헐대학교 전자공학석사

1988년 9월: 영국 버밍험대학교 의과대학

생리학과 석사

1991년 12월: 영국 버밍험대학교 전기전자

공학 박사

2006년 3월 ~ 2014년3월: (주)알고코리아

대표이사

1992년 3월 ~ 현재: 조선대학교 전자공학과

교수