Studienævnet for Informations- og Medievidenskab, Helsingforsgade 14, 8200 Århus N

Eksamensopgave Kandidatuddannelsen i Audiodesign (2007-studieordning) Eksaminator: Afleveringsdato:

Audiovisualitet, ekstern 7-skala, 10 p. (sæt kryds)

Musikalske stereotyper, intern 7-skala, 10 p. (sæt kryds)

Lyddesign, intern 7-skala, 10 p. (sæt kryds)

Digital lydproduktion, intern, uden censur, best./ikke-best, 10 p. (sæt kryds)

Interaktiv lydafvikling, intern 7-skala., 10 p. (sæt kryds)

Lyd i interaktionsdesign, intern, 7-skala, 10 p. (sæt kryds)

Valgfag 1, intern 7-skala, 10 p. (sæt kryds)

Valgfag 2, intern 7-skala, 10 p. (sæt kryds)

Valgfag 3, intern 7-skala, 10 p. (sæt kryds)

Praktik, intern, uden censur, best./ikke best., 10 p. (sæt kryds)

Fag på kandidatuddannelsen: ________________________________________________________ Opgavens anslag: _________________________ Afleveret af: Årskort: Navn:

Årskort: Navn:

Årskort: Navn:

Årskort: Navn:

Årskort: Navn:

Må eksaminators eksemplar af eksamensopgaven gøres til genstand for udlån? JA NEJ

Aarhus Universitet IMV

Introduktion til Programmering

Design og Kodning af Lyd tilComputerspil

Forfatter:Morten Lund Søegaard

Supervisor:Morten Breinbjerg

8. januar 2011

Aarhus Universitet Introduktion til Programmering 8. januar 2011

Indhold

Indhold 2

1 Indledning 3

2 Omkring Audiodesign 42.1 Kodningsværktøjet: Max/MSP . . . . . . . . . . . . . . . . . . . 4

3 Kode og Struktur 5

4 Programmeringskurset 7

5 Adaptiv lyd / Hvad er lyd i computerspil? 7

6 At kode lyd i computerspil 9

7 Opsamling 15

Litteratur 17

Side 2 af 18

AU Design og Kodning af Lyd til Computerspil

1 IndledningAt lave lyddesign kan gøres pa mange mader og een af disse er gennem kode,altsa kodning af lydsignaler gennem computer-software. Det fascinerende medkodet lyd er, at lyddesignet ikke længere kun er hvad der bliver afspillet, menogsa hvordan.Det er med den adaptive lyd muligt at give brugeren kontrol eller afmagt. Dissemuligheder stiller krav til bade producenter og forbrugere; hvor meget kan derforventes og hvad er fordelene i at omfavne denne nye verden? Det er hensigtenat undersøge netop denne problemstilling; i hvor stor grad er de programme-ringsmæssige muligheder indenfor lyd i computerspil en fordel eller ulempe forlyddesigneren, er det overhovedet nødvendigt at kunne programmere lyd?Grundlaget for denne redegørelse har sit udspring i programmeringskurset somjeg har fulgt. Det var min oprindelige hensigt at udfylde nogle tekniske hulleri min viden om kodning, da jeg som audiodesigner var stødt pa en del situa-tioner, hvor kodning kunne være brugbart. Efter at succesfuldt have fuldendten computerspilsproduktion med DADIU1, uden at have andet end en simpelforstaelse af kodning, forventede jeg med programmeringskurset at det villevise sig spændende, men ikke omvæltende.

Jeg vil fortløbende præsentere en diskussion om, hvor stor indflydelse evnerinden for kodning egentligt har for audiodesigneren ved computerspilsproduk-tion. Det er mit mal at indsnævre denne debat til en mere overskuelig opstillingaf fordele og ulemper, og derigennem kunne redegøre for den mest gavnligeløsning.

Inden der tages hul pa diskussionen vil der kort blive redegjort for hvad detvil sige at være en audiodesigner, hvad der i denne tekst egentligt menes medkode, hvordan mit programmeringskursus har været samt hvad adaptiv lyd er.Det er, som nævnt, malet at afdække hvilke fordele og ulemper der er ved atkode lyd i dag. Der vil derfor til slut komme en perspektivering over det sam-lede billede, hvor det vil blive undersøgt hvor stor indflydelse evner indenforprogrammering har for lyddesign i forbindelse med produktion af computer-spil. Her vil jeg komme omkring forskellige mader at benytte programmeringi lyddesign pa samt gennemga diverse lyddesigneres oplevelser med computer-spil.

1www.dadiu.dk, spillet jeg var med til at lave kan spilles pa: http://www.plankton-game.com/

Side 3 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

2 Omkring Audiodesign

At lave et godt lyddesign er en kompleks størrelse. I musikverdenen kan detvære at fremmane den rigtige “sound”pa et album. Ved film kan det væreat fa publikum ud pa kanten af sædet, eller ved et firma kan det være atskabe genkendelse for brugerne vha. lydlogoer. Disse tre eksempler kan igenabnes op i forskellige ekspertise-omrader som indspilning, mixning, kompone-ring, surround-e!ekter, branding mm. At lave lyddesign dækker derfor over etenormt omrade. At lyd i dag ogsa kan interageres med, gennem kodning, harikke gjort udfordringerne mindre.

Den type af lyddesign som efterfølgende vil blive diskuteret, vil primærtvære den adaptive til computerspil, altsa som en interaktiv audiovisuel ople-velse. Generelt kan det pastas at et godt audiovisuelt design forsøger at opnaen symbiose mellem synet og hørelsen. Det er et forsøg pa at smelte de tosanser sammen; at skabe sammenhæng.

2.1 Kodningsværktøjet: Max/MSP

Sammensmeltningen kan være kompliceret at forestille sig og endnu sværere atviderefortolke, sa det er derfor en enorm fordel at kunne lave en lydmodel, derkan interageres med, selv pa et simpelt niveau. Til dette kan audiodesignerenbruge et program til at lave en model af et lydbillede, en Mock-Up2. Et afdisse programmer er Max/MSP. Det er her simpelt at sætte sin lyd op medsymboler, selvom interfacet i virkeligheden skjuler en meget mere uoverskueligkode, som dog direkte kan kopieres ud og indsættes i mange andre programmer.Et eksempel pa dette er at sætte et soundscape op til en udendørs-scene i etspil. Dette kunne inkludere hvor tit fugle skal fløjte og hvor højt, og megetvinden skal blæse osv. I Max/MSP er dette simpelt at sætte op og er derforanbefalelsesværdigt at bruge. Det er desuden muligt i Max/MSP at genbrugeMock-Ups eller at tweake3. Men selvom at Max/MSP er et glimrende værktøjtil at teste lyd i, kræver det ekspertise at kunne bruge programmet til at lavekompliceret adaptiv lyd med.

2Ra skitsering af et ikke-statisk lyddesign, for dermed at kunne høre en foranderlig udgaveaf auditive overvejelser.

3Tweake: at justere nogle enkelte værdier i en forvejen fungerende opstilling.

Side 4 af 18

AU Design og Kodning af Lyd til Computerspil

3 Kode og StrukturDet skal nævnes at mine evner indenfor kodning stadig er pa et tidligt stadieog det vil derfor ikke blive uddybet i detaljer hvordan disse eksempler pa kodevirker, men blot hvordan de kan bruges i auditiv sammenhæng. Dette er ogsafor at indsnævre diskussionens omfang.

I spil bliver relationerne mellem lyd og andet spilmekanik ofte refereret tilsom spillets arkitektur. Alle spillets separate elementer, som fx lydfiler, kaldesfor objekter. Disse objekter er inddelt i klasser. Det er spillets Game Engine,som sørger for at interaktionen mellem de forskellige objekter er mulig. EnGame Engine sørger ogsa for at samle alle spillets dele, sa de bliver en enhed4.

Der findes kode som er nem at forklare og at integrere, og kode som erkompliceret. Den simple lyd-programmering er mest velegnet til Mock-Up’s.Dette inkluderer lister, fx som et bibliotek af lyde som afspilles i en bestemtrækkefølge, eller at kalde forudprogrammerede metoder som volumen-kontrolog start/stop afspilning.

Figur 1: Simpel kode af Steve Wilkison

I artiklen af Steve Wilkison5, gennemgaes hvordan man i ActionScript ko-der en knap som afspiller lyd ved et tryk med musen. Denne kode fylder 16linjer, selvom dens funktion blot er en enten/eller afspilning af lyd. Dette gi-ver et godt indtryk af det omfang kodning indeholder, hvis der ikke bruges

4Unity er et eksempel pa en Game Engine, se http://unity3d.com/.5http://www.communitymx.com/content/article.cfm?cid=3CC82&print=

true

Side 5 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

hjælpeværktøjer, som fx Max/MSP. De mest benyttede funktioner kan dogfindes som allerede færdigkodede metoder, der kan tilgaes gennem et par en-kelte linjer. Til den mere avancerede del af kodning, findes der værktøjer, derinkluderer rumklang, wavetracing, rollo!, multispeakers, 3D sound, surroundsound, osv. [Menshikov, 2003] Disse værktøjer er alle metoder til at udregnehvordan lyd opfører og bevæger sig i spillets kunstigt skabte rum, hvilket isig selv er en hel videnskab og derfor ikke vil blive beskrevet yderligere her afhensyn til problemstillingens fokus.

Figur 2: Wavetracing

De bedste og nyeste værktøjer bliver for det meste kun brugt internt af defirmaer som star bag deres kodning. Grunden hertil er at mange firmaer i daghar deres egen Game Engine, hvor der er tilhørende sound engine. Disse er somnævnt dog ofte ikke tilgængelige for andre end medarbejdere i firmaet, sidendet kræver meget arbejde at programmere sadan en maskine. Dog er markedetved at blive abnet op og med Game Engines som fx Unity6, er det muligt at faadgang til nogle af disse lyd-vœrktøjer, selvom at de bedste er slagsen stadiger forbeholdt eliten.

6http://www.unity3d.com

Side 6 af 18

AU Design og Kodning af Lyd til Computerspil

4 ProgrammeringskursetI forløbet med programmeringskurset har jeg forsøgt at observere min egentilgang til kode, forstaet som min evne til at kunne skabe en forbindelse mellemkodning og lyddesign. Dette har bl.a. været fordi jeg var skeptisk overfor omden rene kode kunne hjælp mig med at blive bedre til at designe lyd. Der vilher blive præsenteret nogle af de mest væsentlige erfaringer fra det halve ar,hvor jeg modtog forelæsninger i programmeringens grundprincipper.

Overraskende viste det sig at forstaelsen af programmeringens kunst var ligesa vigtig som læringen af kodning. Selvom at mange forskellige kommandoerblev præsenteret og brugt i relevante sammenhænge, gik det løbende op formig, hvor grundlæggende vigtigt system og orden er for at kunne kode. Atkunne termerne for metoder o.lign. gør desuden at det hele nemmere smeltersammen. Ydermere er det nødvendigt at have en massiv arbejdsbyrde indtilkodningens rytme sidder i fingrene, hvilket kræver en stor del talmodighed ogga-pa-mod.

Selve programmeringskurset er, for audiodesigneren, kun relevant i denførste halvdel af semestret, da kodningen efterfølgende bevæger sig for langtvæk fra de fundamentale aspekter. Dette var fordi den datalogiske fortsættelsefører videre over i en kompliceret brug af disse samt avancerede principper.En evt. anden semester-halvdel kunne inkludere gennemgang af de mest vig-tige lydprogrammer og metoder til kodning af lyd, for at være interessant foraudiodesigneren. Det er min vurdering at man som audiodesigner vil støde padisse former for kode meget sjældent og derfor vil kunne komme til at brugemeget tid pa at holde evner ved lige som maske aldrig bliver benyttet.

5 Adaptiv lyd / Hvad er lyd i computerspil?Adaptiv lyd er tilpasset lyd, forstaet som lyd der afvikles efter nogle givnepræmisser, eller input. At lyden er tilpasset vil sige at den former sig efterbrugeren. Et simpelt eksempel pa dette er dørklokken i de fleste butikker. Ensensor opfanger et signal som sendes til en klokke der ringer. Formalet er i dettetilfælde til dels at gøre butikkens medarbejdere opmærksomme pa at der er enny kunde i butikken, men ogsa for at gøre kunden opmærksom pa at vedkom-mende kan forvente at blive betjent, og at omgivelserne tilpasser sig. Det skalher nævnes at adaptiv lyd og interaktiv lyd ikke er af alen stykke. Interaktiv

Side 7 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

lyd er mulig for spilleren at direkte pavirke og ændre, hvor adaptiv lyd indi-rekte tilpasser sig spilleren handlinger. Der vil her blive præsenteret forskelligeformer for adaptiv lyd i computerspil, efter et kort historisk tilbageblik.

I starten var mulighederne for lyd i computerspil stærkt begrænsede, menda grafikken ogsa var meget simpel, brugte man alligevel et væld af lyde for atgive bevægelse til spillenes simple animationer. Dette kunne fx være lyden afen dør som abnes, der grafisk set kun var afspejlet som et enten-eller billede.Lyd var i begyndelsen altsa markør for hvad der kunne interageres med, hvil-ket stadig er gældende i dag. Lyd kan ogsa bruges som forstærkende e!ekt patidspres i spil. Et af de første eksempler er klassiskeren “Space Invaders”, fra1978, hvor tempoet bliver sat op efterhanden som rumvæsenerne hurtigere oghurtigere nærmer sig. Dette er et eksempel pa velintegreret lyddesign, som erblevet en standard til spil, hvor brugeren er under tidspres. Lyd i computerspiltog siden hen et enormt spring da CD’en kom frem i begyndelsen af 1980’erne.Det var nu muligt at gemme data pa op til 700 mB per CD fremfor diskettensom kun kunne rumme 1,44 mB. Udover dette har udviklingen indenfor com-puterkraft givet lyddesignet muligheden for at udnytte denne plads. Faktiskhar computerspil generelt haft en eksplosiv udvikling, der i dag, blot 30 arsenere, kan udtrykke en næsten filmisk oplevelse.

Andrew Clark redegør for at musik i spil nødvendigvist ma gøre dets medieære og være en del af den filmiske oplevelse som et spil burde være.

Interactive music is the game industry’s answer to the Hollywoodfilm score.[Andrew, 2007]

Han afviger fra tanken om at musik i spil skal være interaktivt, da spil-leren burde interagere med selve spillet. Det er med computerspil som deter med film; malet er at skabe en sammenhængende audiovisuel oplevelse forbrugeren, at lave en verden der fremstar som en helhed. Det kan pastas atdet auditive og det visuelle begge arbejder bedst under dække af hinanden.Spilleren oplever lyden i et spil som en ensrettet flydende oplevelse pa lige fodmed filmlyd, selvom den er nødvendigvis ma være opdelt. Med dette menes atlydens kontinuitet ma tage højde for skift mellem spillets sekvenser, men ogsafor at disse skift udebliver. Det er altsa malet, for audiodesigneren, at skabeen auditiv verden som giver spilleren indtrykket af at denne verden er levende,spændende og derfor attraktiv at blive i.

Side 8 af 18

AU Design og Kodning af Lyd til Computerspil

Leonard Paul forklarer mht. til lyddesignet at netop hvis lydsiden til et spilskal give en filmisk oplevelse, ma den indeholde et vist niveau at intelligens,gennem kodning.

With game audio platforms supporting audio resolutions similarto film, the question is no longer if we can produce audio whichsounds good, but whether we can produce audio which reacts welland sounds good in all of the di!erent states that the game playermight trigger.[Leonard, 2003]

Han fokuserer i artiklen pa de bedste programmer audiodesigneren kanbruge til at give spillets lydside trovædighed. Hans pointe er at det bestemtkan betale sig at lære, selvom det er svært. Nar der programmeres lyd tilspil er det bl.a. vigtigt at tage højde for at lydene ikke bliver gentaget forofte og at de gentagne lyde ikke lyder alt for ens, da det nemt kan skabe etirritationsmoment, som ødelægger helhedsoplevelsen. Lyde i spil skal ogsa værekohærente med spilverdenen. Det lyd som der skabes skal passe med spilletsgameplay, æstetik og grafik. Det er selvfølgeligt ogsa muligt at lave lydsidenkontrapunkterende til spillet, men dette er en udfordring der kræver ekstraarbejde.

6 At kode lyd i computerspilDet kan diskuteres om hvorvidt det er audiodesignerens opgave selv at kunnelevere kode til den adaptive lyd. Selvom lydprogrammer stadig bliver lettereat arbejde med, ogsa pga. den eksponentielt voksende computerkraft, er detstadig svært at lære at kode og endnu sværere at mestre kodningen sa godtat det er muligt at løsrive sig derfra igen. Kodning er et andet paradigme endlyd, med andre termer og en anden grundlæggende forstaelse. Ved kodning eren logisk tankegang uundværlig og ved design af lyd, er det kreative aspektgrundstenen.

Linda Law forklarer om lyd i spil, at det optimale samarbejde opstar gen-nem separate afdelinger i produktionsforløbet. Det er hendes holdning at detikke kan betale sig, for audiodesigneren, at sætte sig ind i programmering somparadigme. I stedet er det mere fordelagtigt at vente pa at programmeringenbliver en del af lyddesignets underlæggende processer. Pointen er, at der arbej-des hardt pa at gøre lydproduktionen til spil direkte implementerbar, selv som

Side 9 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

kompliceret kode. At begynde at lære at programmere vil kun være givtigt iganske kort tid inden at en standard-software indhenter lyddesignerens evnerinden for programmering. Da der ikke endnu findes en sadan standard, er dethøjst sandsynligt at den brugte tid pa programmering hurtigt bliver ligegyldig.At lave kompliceret adaptivt lyddesign skal derfor indtil videre være forbeholdtpionerer. Dette betyder at medmindre programmeringen af lyd er nytænkendemed et blik rettet specifikt mod kodningen, er den mest fornuftige handling atvente og koncentere sig om hvad der er tilgængeligt fremfor at genopfinde dendybe tallerken. Law forklarer:

When the programmers get to write code and don’t have to makeartistic decisions, and when sound artists can focus their attentionon creating great music and sound design without having to writecode, the result is a harmonious union of technological and artistice!orts. [Law, 2003]

En anden tankegang som underbygger ovenstaende er Shalin Shodhan,Matt Kucic og Kyle Gabler’s, der i en process med at lave et spil pa min-dre end 7 dage opdagede at kreativt arbejde har fordelagtige omstændighederunder restriktioner. Dette kan være at fastsætte en malgruppe og en spilgen-re, eller en tidsperiode spillet skal produceres i. Overført til denne udredningkan det hævdes at en lyddesigner, som ikke er i stand til at kode, nemmerekan være nytænkende ift. lydens design. Fx kan lyddesignerens kendskab tilkode gøre at ideer skubbes væk, hvis de virker for indviklede at implementere,selvom en expert i kodning kan have en elegant løsning herpa.

Somehow, it became easier to be creative when there were restri-ctions in place. [Shodhan m.fl., ]

Det kan dog diskuteres om den bedste løsning er at vente pa at andreopfinder fremtiden, især nar lyd i spil i forvejen bliver betragtet som nogetsekundært til grafikken. At følge Law’s rad og lade sig nøjes med de midlerder er, øger ikke opmærksomheden mod lyd i computerspil. At skabe et fokuspa lyddesign i spil er en stor opgave siden at lyd i spil, som i film, forventesat være bedst nar man ikke ligger mærke til det. Som resultat heraf køber defleste ikke spil i dag for primært at opleve spillets auditive side, men for grafik,gameplay osv. Ironisk er de bedstsælgende musikspil af genren karaoke, som

Side 10 af 18

AU Design og Kodning af Lyd til Computerspil

fx “Singstar”. Disse har en lydside som eftertragtes pga. den ikke-diegetiskesammenhæng. Sadanne spil er blandt dem med det mindst nyskabende lydde-sign, som hovedsageligt bestar af en autotune-mekanisme der aflæser hvor tætspillernes pitch kommer pa original-sangens7.

Figur 3: Singstar

Tendensen til at fokusere pa det visuelle er et tilbagevendende element i denmenneskelige væren. Det er derfor ikke overraskende at dette ogsa er gældendei computerspil, hvor det desuden kræver en ekstra indsats fra forbrugerens sideaf, hvis hele lydens omfang skal med. Brugeren skal maske investere i et lydan-læg, et lydkort eller høretelefoner. Ofte bliver lyd valgt fra, hvis grafikkortethar mulighed for at blive opgraderet i stedet for. Men dette er ikke fordi at ly-dens muligheder er blevet ignoreret. Det kan snarere forklares med at lyddesigni spil hovedsageligt er blevet brugt til at afklare grafikkens manglende udtryk.Lyden har været grafikkens lappeløsning. I moderne spil er det ikke længerealtafgørende for den visuelle indlevelsesevne at lyden blot skal ledsage - der erderfor blevet abnet op til en verden af selvstændig adaptiv lyd. Men selvomteknologien er til stede, skal den eksisterende opfattelse stadig udfordres.8

Spilleren er ethvert spils fremdrivende kraft og skal føle at dennes virken7Ligeledes kan her nævnes “Guitarhero”som giver spilleren den opgave at imitere kendte

musiknumre, hvilket ikke efterlader store muligheder for et spændende lyddesign, andet endpublikums intensitet nar toner rammes eller ej.

8I FPS, first person shooter, er lydens kobling til gameplay dog i fokus. Det handler herom at kunne høre hvor ens allierede og ens modstandere befinder sig gennem lyden af trin,ladning af vaben mm. Ud over dette bliver spillerens vaben ogsa til et nøgle-lydelement. Ata!yre en tung ri!el og høre modstanderen blive ramt er en vigtig del af det adrenalinsussom søges i FPS. Her er lydens 3D/surround gengivelse absolut kernen for spillets gameplay.

Side 11 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

pa spilverdenen gør en forskel. Dette virker som en selvfølge, men kun hvisder tænkes visuelt, da lydens udvikling desværre ofte bliver pa et relativtgennemskueligt statisk omrade. Som tidligere nævnt er forventningen til godlyd at den helst ikke skal være noget som spilleren ligger mærke til. Det skaldog ikke forstas sadan at alle spil altid skal give en direkte auditiv respons narder interageres, men blot at lyden burde være en aktiv del af spillets udvikling,og ikke kun adaptivt. Denne udvikling varierer fra spil til spil og det er vigtigtat lyddesignet læner sig op ad spillets kerne, da en experimental musiksideellers kan komme til at dominere og skygge for spillets egentlige formal. Detteer dog sjældent tilfældet, da lyddesign i dag, ofte sa vidt som muligt, forsøgerat skabe et realistisk udtryk i stedet for et originalt. Dette er bl.a. et resultat afgrafikkens og gameplayets monopol, hvilket atter retter vores opmærksomhedmod selve spilmarkedet som har alt for lidt fokus pa spils auditive sider. Somtidligere nævnt ser denne udvikling ud til at vende, da spilproduktion i dager mulig at lave meget billigt. Denne udvikling giver plads til amatører, der aferfaringsmæssige arsager har en mere eksperimenterende og intuitiv tilgang.Resultatet af dette ses bl.a. i mange simple flashspil, som begynder at havelydlige spilleelementer.9

Heldigvis er amatørene ikke alene. Det danske spil “Limbo”10 er et seriøstforsøg pa at give lyden en ligevægtig plads med spillets andre elementer. Lydeni spillet er mixet efter en biografstandard; lavere end normalt for computer-spil, sa dens fine detaljer fremhæves, og er evigt foranderligt gennem input somspilleren indirekte styrer. Opsætningen af lydens tilbliven er derfor et sa kom-pliceret system, at det rækker ud over hvad der umiddelbart kan gennemskuesaf spilleren. Grundene til at den nye adaptive lyd alligevel bliver godt mod-taget af industrien ligger i computerspils historie for at kunne eksperimenteremed sit udtryk samt at mediet er sa relativt nyt at dets konventioner endnuikke er fastgroet. Hvad der sælger spil i dag er en WOW-e!ekt og efterhandensom grafikken er ved at na sit endemal for detaljegrad, kan det give plads tilen ny opfattelse af adaptiv lyd.

I sin artikel: “Video game music: not just kids stu!”, skriver Matthew Be-linkie, at i en samtale med en komponist for computerspilsfirmaet “AcclaimSoftware”, Mike Pummell, at netop i computerspil er det efterhanden bleveten tradition at eksperimentere. Pummell giver et eksempel pa dette i compu-

9http://www.kongregate.com/games/Reflexive/music-catch-210http://www.limbogame.org/

Side 12 af 18

AU Design og Kodning af Lyd til Computerspil

terspilsmusikken:

When was the last time I played a video game song for someoneand they looked quizzically at me and asked, ’This is for a VIDEOGAME?’ A few hours ago. But when was the last time someo-ne wrote a jazz song and the audience didn’t know it was jazz?[Belinkie, 1999]

Som det nævnes, er computerspil et medie hvorom markedet forventer atblive overrasket. Belinkie’s artikel fortsætter om kodning med henblik pa bru-gen af MODs11. Ved MODs kan man fa direkte adgang til toner som afspillesog hermed ændre dem mens de afvikles.12 Dette kræver endda meget mindreplads en standard fil. Det kan være fordelagtigt at programmere, men ogsameget svært. Belinkie skriver i artiklen:

The drawback of MODs is that they are fiendishly di"cult to use.An experienced composer might still have to fiddle for months toget a MOD to sound right. [Belinkie, 1999]

Men selvom at MODs er svære at arbejde med, har lyddesignere til com-puterspil trods alt en chance i forhold til før, hvor det krævede ekspertvideninden for kodning at skulle lave adaptivt lyddesign. Dette har medvirket til atlyddesignere har kunne fokusere pa selve lyden og dermed lade den hardestekodning være op til programmørene.

It requires much less technical knowhow, so now you have room tojust be a composer. You don’t have to be a computer expert.[Belinkie, 1999]

Og efterhanden som MODs og andet lyd-værktøj bliver nemmere at ar-bejde med, vil lyddesignerens tekniske viden om computere blive skubbet ibaggrunden. Selvom det er bedre jo mere viden om lyd og dennes kodning au-diodesigneren har, kan det være tilstrækkeligt at kunne overskue om en løsningvil give problemer eller ej, hen ad vejen i processen. Denne indsigt er mulig at

11MOD star for Digital Module, hvilket er MIDI (Musical Instrument Digital Interface),hvori instrumenter, som afspilles, er indbygget. Ren MIDI, som ældre spil benyttede, brugtecomputerens lydkorts indbyggede lyde.

12Band-in-a-Box er et MIDI-værktøj, som udnytter dette princip, hør bl.a. en kunstig skabtsaxofon-solo pa http://upload.wikimedia.org/wikipedia/en/6/61/BiaB(bebop).ogg

Side 13 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

bygge videre pa gennem erfaring. Derfor vil man sa længe at selve systemet ikoden kan forstas, alligevel blive nødt til at trække pa programmørene, sa vidtdet er muligt. At have uddybende viden om det at kode, gør at det bliver lette-re at kunne overskue et projekt, men regelmæssig kontakt med programmøreneer nødvendig under alle omstændigheder, for at kunne lave et tilfredsstillen-de lyddesign. I sidste ende er det niveauet af adaptivitet og interaktivitet forspillets lydside, der afgør hvor meget programmeringsviden audiodesigneren ernødt til at have. Et basalt niveau er dog nødvendigt for at kunne oversættesine ideer til programmørene, sa de kan skrive koden.

The extent to which composers must be programmers ultimatelydepends on the degree of interactivity of the music. [Belinkie, 1999]

Generelt er det en fordel at kunne forsta simple greb inden for program-mering. Det kan sammenlignes med en værktøjskasse. Selvom der er alle slagssmarte dimser, kan de fleste job klares med en hammer og nogle fa andreværktøjer. Hvis vi holder os indenfor metaforen kan det hævdes at en sadanværktøjskasse kan blive sa fyldt med forskellige alternativer til en hammer, ataudiodesigneren til slut kommer til at bruge for meget tid med blot at hol-de orden. Guy Whitmore foreslar i artiklen: “Design With Music In Mind; AGuide to Adaptive Audio for Game Designers”[Whitmore, 2003a] at lyddesig-neren i stedet for at kode skal holde en tæt dialog med en spilproduktionsandre medvirkende. Det er op til spillets instruktør at samle sin vision som enrød trad gennem spillets udviklingsmæssige afdelinger.

I stedet for at gennemrode en hjemmebygget værktøjskasse burde audiode-signeren, ifølge Whitmore, i fællesskab med intruktøren udvælge værktøj. Ataudiodesigneren kan tale med om hvilke værktøjer der er nyttige er selvfølgeligen fordel, men for at give et spil en sammenhæng, kan det være en hindring atlyddesignet er en adskilt enhed pa produktionen, hvis audiodesigneren ordneral sin egen kodning. Omvendt set er det sa instruktørens opgave at sørge forat inkludere lyden i spillets grundlæggende design.

At lyd i spil skal kodes til at kunne skabe en levende verden selvom spil-leren sidder fast, gør at lydsiden bliver nødt til at have en form for intelligensder kan tilpasse sig. Nar dette er formalet med lyd i spil, bliver det abenlystat kodningen har en massiv rolle i lyddesignet. Desuden er basale program-meringsevner ikke blot supplerende, men nødvendige for at kunne overskue og

Side 14 af 18

AU Design og Kodning af Lyd til Computerspil

gennemskue en spilproduktion. Det er ikke altafgørende om audiodesignerenkan skrive kode der direkte kan implementeres, men at han kan skrive kodeder kan fungere som mock-up. Kodningen af lyden har en enorm indvirkningpa hvordan spillets lyd opleves. At lade andre om at skrive koden, vil sandsyn-ligvis gøre at nogle pointer vil ga tabt. Det kan fx være at have en opbygningi koden der giver plads til bestemte overbygninger i form af e!ekter el.lign.Om end man beskæftiger sig med lyd som er adaptivt eller ej, kan kodningnæsten altid benyttes. Pointen er at det næsten vil være helt sikkert at stødepa opgaver som kræver en grundlæggende forstaelse af kodning. Hvad end deter installationskunst eller filmmusik, audiodesigneren beskæftiger sig med, saer den moderne komponist afhængig af at kunne kommunikere med de men-nesker som arbejder videre, og som arbejder op til, hans produktion. En stordel af lyddesign i dag er forbundet med teknologi og uden basal indsigt i dettekan det, at lave lyd hurtigt blive ekstremt krævende og begrænset.

7 Opsamling

Lyddesign i dag, sætter næsten forventning til at lyddesigneren skal have enminimumsforstaelse af hvad kode bestar af. De problemer som vejer imod atlære at kode, vil blive opvejet af software løsninger, som allerede er pa vej.De løsninger til lyddesignere som nu er pa markedet er uundværlige, da degiver en forbindelse til kodningen. At kunne afspille et interaktivt soundscape,selvom det er ikke-implementerbart, kan give programmøren en klar ide omhvordan audiodesigneren forestiller sig det endelige resultat. Ofte er det størsteproblem med lyddesign til spil, at fa forklaret hvad der skal ske og hvordan.Det siger sig selv for programmøren, at skrive en kode som han har en klar ideom, er langt nemmere end at skrive en kode som kun er vagt beskrevet.

Uanset hvad, kan det altid betale sig for en audiodesigner at lære program-meringens kunst. Det hjælper med at gøre sig forstaelig overfor programmøreneog derigennem at gøre spiludviklingen mere flydende og hurtigere. At kunnese igennem programmeringssprogets termer, at forsta dets opbygningen, badegrundlæggende og som løbende udvikling ved en spilproduktion, er en storhjælp. At kunne overskue hvor meget kodning der skal til forskellige ting, gi-ver ogsa audiodesigneren en abning til at gøre lyd til en mere væsentlig faktor.

Det kan dog hævdes at der er en grænse for hvor meget kode-forstaelse

Side 15 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

en audiodesigner behøver at have, siden at hjælpe-programmer konstant ud-vikles og kan overflødiggøre viden lært gennem ars hardt arbejde. En andenting at tage højde for er den eventuelle indsnævring af kreativitet inden forlyddesign som avancerede programmeringsevner kan give. Dette kunne være atlyddesigneren ville bruge maneder pa at bygge en MIDI-maskine som kan spil-le skiftende toner, hvor en simpel loop-mekanisme maske havde været bedre.Desuden er det ogsa nødvendigt at forholde sig til at lydsidens programmeringikke ma tage for meget plads fra grafikken, som de fleste spil sælges pa. Alti alt er det en balancegang der skal foretages, afhængigt af den individuelleaudiodesigners temperament.

Side 16 af 18

AU Design og Kodning af Lyd til Computerspil

Litteratur[aka iasig.org, 1999] aka iasig.org, I. C. W. G. Interactive composition working

group goals [online]. (1999). http://www.iasig.org/wg/closed/icwg/icwg_goals_v2.0.pdf.

[Andersen, 2006] Andersen, T. Lyd og musik i computerspil - spiloplevelsenset i et historisk perspektiv [online]. (2006). http://www.opgavebank.dk/src/ViewArticle.php?id=882.

[Andrew, 2007] Andrew, C. Defining adaptive music [online]. (2007). http://www.gamasutra.com/view/feature/1567/defining_adaptive_music.php.

[Belinkie, 1999] Belinkie, M. Video game music: Not just kids’ stu! [online].(1999). http://www.vgmusic.com/vgpaper.shtml.

[Coleman, 2005] Coleman, Graeme W.; Hand, C. M. C. N. F. A. Approachesto auditory interface design – lessons from computergames [online]. (2005).www.idc.ul.ie/icad2005/downloads/f80.pdf.

[Gardenfors, 2002] Gardenfors, D. Designing sound-based computergames [on-line]. (2002). http://www.audiogames.net/pics/upload/gardenfors.pdf.

[Gerzso, 1992] Gerzso, A. (1992). Paradigms and computer music. LeonardoMusic Journal, 2(1):73–79.

[Heeter & Gomes, 1992] Heeter, C. & Gomes, P. It’s time for hypermedia tomove to talking pictures [online]. (1992). http://commtechlab.msu.edu/publications/files/talking.html.

[Law, 2003] Law, L. Introducing the interactive xmf audio file format [online].(2003). http://www.gamasutra.com/view/feature/2853/introducing_the_interactive_xmf_.php.

[Leonard, 2003] Leonard, P. J. Prototyping with pure data [online]. (2003).http://www.gamasutra.com/resource_guide/20030528/paul_01.shtml.

[Ludovico, 2004] Ludovico, A. The sequencer paradigm [online]. (2004). http://art.runme.org/1107808355-10198-0/ludovico.pdf.

Side 17 af 18

Aarhus Universitet Introduktion til Programmering 8. januar 2011

[Maasø, 2001] Maasø, A. Sonification in web design: auditive possibilitiesfor navigation [online]. (2001). http://www.intermedia.uio.no/seminarer/designingdesign/Sonification.htm.

[Menshikov, 2003] Menshikov, A. 3d sound vs. surround sound [online]. (2003).http://ixbtlabs.com/articles2/sound-technology/index.html.

[Pidkameny, 2002] Pidkameny, E. Levels of sound [online]. (2002). www.vgmusic.com/information/vgpaper2.html.

[Richards, ] Richards, A. Lucasarts adventures retrospective [onli-ne]. http://www.ntsc-uk.com/feature.php?featuretype=ret&fea=LucasartsAdventures.

[Shodhan m.fl., ] Shodhan, S., Kucic, M., & Gabler, K. How to prototype agame in under 7 days [online]. http://www.gamasutra.com/view/feature/2438/how_to_prototype_a_game_in_under_7_.php.

[Stockburger, 2003] Stockburger, A. The game environment from an auditi-ve perspective [online]. (2003). http://www.audiogames.net/pics/upload/gameenvironment.htm.

[Whalen, 2004] Whalen, Z. Play along – an approach to videogame music[online]. (2004). http://www.gamestudies.org/0401/whalen/.

[Whitmore, 2003a] Whitmore, G. Design with music in mind: A guide toadaptive audio for game designers [online]. (2003). http://www.gamasutra.com/resource_guide/20030528/whitmore_pfv.htm.

[Whitmore, 2003b] Whitmore, G. Design with music in mind; a guide to adap-tive audio for game designers [online]. (2003). http://www.gamasutra.com/view/feature/2852/design_with_music_in_mind_a_guide_.php.

[Wilkison, ] Wilkison, S. Using sound in actionscript 3: Part i [online]. http://www.communitymx.com/content/article.cfm?cid=3CC82&print=true.

Side 18 af 18