Bevegelseskontrollere og digitale musikk- instrumenter ...€¦ · fourMs Music,ÊMind,ÊMotion,ÊMachines University of Oslo Bevegelseskontrollereogdigitalemusikk-instrumenter:Frabevegelsetillyd

fourMsMusic, Mind, Motion, Machines

University of Oslo

Bevegelseskontrollere og digitale musikk-instrumenter: Fra bevegelse til lyd

MUS2006 — Musikk og bevegelse

3 april 2014


University of Oslo

Musikkinstrument

I Hva er et musikkinstrument?I Er en tuba et musikkinstrument?I Er en platespiller et musikkinstrument?I Et kjøleskap?I En vekkerklokke?I En mobiltelefon?

I Musikkinstrument som begrep har blitt utfordret gjentatte ganger iløpet av 1900-tallet.

I En vinflaske, en mekanisk fisk, en båndopptaker og fem radioer blantmusikkinstrumentene i John Cage’s “Water Walk”http://www.youtube.com/watch?v=SSulycqZH-U

I 80-tallets introduksjon av remiksing, sampling og scratchingI Det er vanskelig å lage en samlende definisjon på hva et

musikkinstrument er, men det synes å omhandle bruken av et objektmer enn objektet i seg selv.

http://www.youtube.com/watch?v=SSulycqZH-U


University of Oslo

Tradisjonell klassifisering av musikkinstrumenterI Erich von Hornbostel og Curt Sachs lagde i 1914 et omfattende

system for klassifisering av musikkinstrumenter (med mangeunderkategorier i hver klasse):idiophones Hoveddelen av instrumentet vibrerer (xylofon, cymbal)

membranophones Lydkilden er et membran (trommer)chordophones Lydkilden er en streng (piano, harpe, banjo, cello)

aerophones Lydkilden er vibrerende luft (fløyte, trombone)electrophones Lydkilden er elektrisk (lagt til i 1940)

I Systemet har blitt stående og brukes fortsatt, men det har særligblitt kritisert for den enkle klassifiseringen av elektriskemusikkinstrumenter:

I Hvis vi ser på et utvalg av elektrikse musikkinstrumenter finner vienda større variasjon enn innen akustiske instrumenter.

I Kvifte (1989) foreslo en ny klassifisering av musikkinstrumenterbasert på spilleteknikk.

Mer om instrumentklassifisering/organologi:I Curt Sachs, The History of Musical Instruments. Dover Publications, 1940.I Tellef Kvifte, Instruments and the electronic age: toward a terminology for a unified

description of playing technique. Solum, 1989.


University of Oslo

Kvifte’s terminologi

Control Organs Enhetene på instrumentet som utøveren bruker til å kontrollere lyd.F.eks. Ventiler og munnstykke på en trompet.

Control Actions Handlingene som en utøver utfører. Det Jensenius kallerlydproduserende handling.

Sound Variables Egenskaper ved lyden fra instrumentet.

Hver av variablene ovenfor kan være diskret eller analog.Analog Det er ingen begrensning i hvilke verdier variablen kan ha.

I Analog control organ: Fingerbrett på en cello (i motsetning til gitar)I Analog control action: Blåsestyrke på en trompetI Analog lydvariabel: Lydstyrke på et piano

Diskret Variablene er begrenset til et utvalg verdierI Diskret control organ: Tangentene på et pianoI Diskret control action: Innøvde posisjoner for sliden til en trombone.I Diskret lydvariabel: Tonehøyde på et piano

Kvifte brukte opprinnelig begrepet digital i stedet for diskret, men har senere endret dette

siden digital lett kan foveksles med digital teknologi


University of Oslo

Handling-lyd koblingI I akustiske musikkinstrumenter er det en naturlig kobling mellom

lydproduserende handling og lyd (figur fra Kvifte 1989)

Breath pressure

Analog pitch

Analog loudness

Control action Sound variable

I Notto Thelle deler handling-lyd koblinger inn i fem ulike typer:Mekanisk inkorporert Handling og lydproduserende objekt er det samme (sang, klapping)

Mekanisk direkte En lydproduserende handling gjøres direkte på det lydproduserendeobjekt (plukke gitarstreng med finger)

Mekanisk indirekte Det er en mekanisk kobling mellom lydproduserende handling oglydproduserende objekt (trommestikke på tromme, tangent på piano)

Elekrisk analog Utøveren trigger elektriske impulser som sendes til en lydgenerator(theremin, hammond orgel)

Elektrisk digital Utøverens handling gjøres om til digitale signaler, for å prosesseresdigialt og så gjøres om til lyd.

I Notto J.W. Thelle, Making Sensors Make Sense: Challenges in the Development ofDigital Musical Instruments. Masteroppgave, IMV, UiO. 2010


University of Oslo

Digitale Musikkinstrumenter

?

raw data motion features control signals

MoCap

system

Feature

extraction

Action-Sound

Mapping

Sound

engine

motion sound

Illustrasjon fra S.A. Skogstad. Methods and Technologies for Using Body Motion for

Real-Time Musical Interaction. Doktoravhandling. Universitetet i Oslo. 2014.


University of Oslo

Andre modeller:

I A. Hunt, M. Wanderley, R. Kirk. “Towards a model for instrumental mapping in expertmusical interaction.” Proceedings of the International Computer Music Conference. 2000.


University of Oslo

Andre modeller:

gesturetransduceroranalyser

related-to-sound-perceptionto synthesisparametersmapping

synthesismodel

gesture output

soundN M P

gesturecoordinates

related-to-sound-perceptionparameters

synthesisparameters

related-to-perceptionparametersmapping

M

related-to-gesture-perceptionparameters

Nrelated-to-sound-perceptionto synthesisparametersmapping

synthesismodel

PM

related to interpretation related to instrument definition

feedback

gesture to related-to-gesture-perceptionparametersmapping

I D. Arfib, et al. “Strategies of mapping between gesture data and synthesis modelparameters using perceptual spaces.” Organised Sound 7(2): 127-144. 2002


University of Oslo

Andre modeller:

I M. Wanderley, P. Depalle. “Gestural control of sound synthesis.” Proceedings of theIEEE 92(4):632-644. 2004.


University of Oslo

Andre modeller:

Control organ

Mapping

Mapping

Gesture

Sound

Subject

Multimodal feedback from instrument control

Multimodal feeback from own gestures

Feedback: Musical sound

I T. Kvifte, and A.R. Jensenius. “Towards a coherent terminology and model ofinstrument description and design.” Proceedings of the International Conference on Newinterfaces for musical expression. 2006.


University of Oslo

En oppsummering av modellene: kontrollenhetI En kontrollenhet er en del av et digital musikkinstrument.I Dette kan være en fysisk enhet (et keyboard) eller et annet system

som fanger opp bevegelse (f.eks. et webkamera).I Ulike begreper brukes om kontrollenheten:

I Gestural controllerI Input deviceI InterfaceI Grensesnitt


University of Oslo

En oppsummering av modellene: LydenhetI Vi kan betrakte lydenheten som en egen del av instrumentet.I Med dagens avanserte synthesizerteknologi er det egentlig bare

fantasien som setter grenser for hva slags lyder man kan lage.I Lydenheten kalles også:

I SynthesizerI Sound engineI Sound unit


University of Oslo

En oppsummering av modellene: Mapping

I Kontrolleren gir oss en form for data. Den som lagermusikkinstrumentet må bestemme hvordan dataene fra kontrollerenskal kobles til parameterne på lydenheten.

I Denne prosessen kan gjøres alt ifra veldig enkel (Trykk på enknapp→lyd) til veldig komplisert (avansert egenskapsuttrekking ogmaskinlæring)

I MappingI Feature extraction / egenskapsuttrekking


University of Oslo

En oppsummering av modellene: Feedback

I Utøvere som spiller på musikkinstrumenter er avhengig av feedback.Både ved å

I lytte til hva de spillerI se hva de spillerI kjenne responsen (vibrasjoner etc.) fra instrumentet.

I Særlig den siste formen (haptisk feedback) er ofte oversett i digitalemusikkinstrumenter, og kan gjøre disse vanskelig å spille med.


University of Oslo

Noen få utvalgte digitale musikkinstrumenter

I Yamaha DX7


University of Oslo


I Yamaha DX7I Marimba Luminalaget av Don Buchla


University of Oslo


I Yamaha DX7I Marimba LuminaI Ocarina

laget og fremførtav Ge Wang


University of Oslo


I Yamaha DX7I Marimba LuminaI OcarinaI Radio Baton

laget og fremførtav Max Mathews


University of Oslo


I Yamaha DX7I Marimba LuminaI OcarinaI Radio BatonI Handslaget og fremført av

Michel Waisvisz


University of Oslo


I Yamaha DX7I Marimba LuminaI OcarinaI Radio BatonI HandsI Lightninglaget av Don Buchla


University of Oslo


I Yamaha DX7I Marimba LuminaI OcarinaI Radio BatonI HandsI LightningI Reactablelaget av Sergi Jordà

m.fl.


University of Oslo

Ulike typer digitale musikkinstrumenterMiranda/Wanderley skisserer opp noen ulike typer “gestural controllers”:

I Akustiske instrumenter som er utvidet ved hjelp av ulike sensorerf.eks. kan man ta opp lyden fra en fiolin og la utøverens bevegelserbehandle denne.

I Bevegelseskontrollere som er laget for å gjengi et akustisk instrument istørst mulig gradF.eks. et digitalt piano

I Bevegelseskontrollere som er inspirert av akustiske instrumenter, eller somprøver å overkomme en begrensning i det akustiske instrumentet.F.eks. Marimba lumina

I Alternative kontrollere som ikke likner på tradisjonelle musikkinstrumenter

E.R. Miranda, M. Wanderley.

New digital musical instruments:

control and interaction beyond

the keyboard. AR Editions, Inc.,

2006.


University of Oslo

The SoundSaber

I Intuitiv kobling mellombevegelse og lyd

I Vi skal se nærmere påI kontrollenhetI lydenhetI feature extractionI mapping

K. Nymoen, S. Skogstad, andA.R. Jensenius.“Soundsaber — a motion captureinstrument” in Proceedings of theInt. Conference on New Interfacesfor Musical Expression. 2011.


University of Oslo

The SoundSaber

KontrollenhetI Hul stang av aluminium, ca 120 cm lang, 4 cm i diameter.I Fire markører i et bestemt mønster gjør at kontrollenheten kan

kjennes igjen av et motion capture system, selv om det er fleremarkører i området.

I Posisjonen til tuppen av stangen måles ved hjelp av optisk infrarødmotion capture. (Tre dimensjoner, XYZ)

I Motion capture systemet gir oss også informasjon om rotasjon, menrotasjonsdata brukes ikke i dette instrumentet.

I Kontrollenheten er lett å holde med to hender, men tung nok til atstore og relativt langsomme bevegelser passer godt.(Vibrasjonsbevegelser er for eksempel vanskelig)

I Dataene/tallene vi får ut av kontrollenheten kalles rådata.


University of Oslo

The SoundSaber

Lydenhet / Synthesizer

I Laget i Max (http://cycling74.com)I Består i hovedsak av 5 komponenter:

I Mange korte klikkelyder, spilt med så kort tid mellom hvert klikk atde danner noe vi hører som en tone

I VolumkontrollI Tre delays/ekko med feedbackI En dyp basstoneI Et filter

I Noen innstillinger i lydenheten kan kontrolleres, disse kalleslydsyntesevariabler:

I VolumI Delaytid på to av delayeneI Frekvens på basstonenI Frekvens og bredde på filteret

http://cycling74.com


University of Oslo

The SoundSaber

Pulse train, 1000 Hz

Ring Modulation

Delay linew / feedback


AmplitudeControl


BandpassFilter

(t)

(t)

(f)

(a) (f, b)

Output


University of Oslo

The SoundSaber

Feature extraction / EgenskapsuttrekkingI Motion capture systemet gir oss XYZ posisjonsdata.

I Vi bruker Z-verdien (vertikal posisjon) direkte.I I tillegg beregnes et utvalg egenskaper / features i Max:

I Absolutt hastighetI Vertikal hastighetI Horisontal hastighet

I Etter å ha prosessert dataene er de ikke lenger rådata, menkontrollvariabler.


University of Oslo

The SoundSaber

MappingI Absolutt hastighet kontrollerer volum.

I 0 hastighet → 0 volumI Vertikal posisjon kontrollerer filterfrekvens

I Lav verdi nede ved gulvet, høy verdi oppe mot taketI Vertikal hastighet kontrollerer delaytid på delay 1I Horisontal hastighet kontrollerer delaytid på delay 2

SkaleringI Hver av kontrollvariablene og syntesevariablene har et omfang.I Som en del av mappingen må kontrollvariablene skaleres til

omfanget av syntesevariablene.I Eksempel fra SoundSaber:

I Vertikal posisjon har et omfang på 0 til 2 meter.I Filterfrekvens har et omfang på 50 og 13000 Hz. S

yntesevariabel

Kontrollvariabel

50

13000

0 2


University of Oslo

Mer om mappingI Fire hovedkategorier av mapping fra kontrollvariabler til

syntesevariablerI én til énI én til mangeI mange til énI mange til mange

I Mapping er veldig viktig for spilleopplevelsen på et digitaltinstrument (Hunt et al 2003)

I The accidental thereminI En theremin har vanligvis to stk én til én mappinger. Volum og

tonehøyde kontrolleres av avstand til hver sin antenne.I I en feilkoblet theremin oppdaget Hunt at det var mer spennende om

volumet ble kontrollert av endring i avstand til antennen (altsåhastighet)

I Hunt et al gjorde forsøk på ulike mappinger og oppdaget at folkforerekker å ha litt mer kompliserte mappinger enn én til én.

Hunt, Andy, Marcelo M. Wanderley, and Matthew Paradis. “The importance of parameter

mapping in electronic instrument design.” Journal of New Music Research 32(4):429–440,

2003.

Documents

Bevegelseskontrollere og digitale musikk- instrumenter ...€¦ · fourMs Music,ÊMind,ÊMotion,ÊMachines University of Oslo Bevegelseskontrollereogdigitalemusikk-instrumenter:Frabevegelsetillyd