36
2018-03-15 1 Département de génie logiciel et des TI Ingénierie du son LOG725 Ingénierie et conception de jeux vidéo LOG725 Ing. et conception de jeux vidéo Hiver 2018 1 Département de génie logiciel et des TI Introduction Le son est un aspect important dans l’immersion d’un jeu vidéo. Le son peut faire la différence entre une expérience multimédia intéressante vs ennuyante ou désagréable . Des problèmes avec le son peuvent même briser des mécaniques du jeu. Autant que l’engin graphique s’occupe de reproduire ce qu’un joueur voit, l’engin de son reproduit ce qu’un joueur entend . LOG725 Ing. et conception de jeux vidéo Hiver 2018 2

Ingénierie du son - Cours

  • Upload
    others

  • View
    3

  • Download
    1

Embed Size (px)

Citation preview

PowerPoint PresentationIngénierie du son
LOG725 Ing. et conception de jeux vidéo Hiver 2018 1
Département de génie logiciel et des TI
Introduction
• Le son est un aspect important dans l’immersion d’un jeu vidéo.
• Le son peut faire la différence entre une expérience multimédia intéressante vs ennuyante ou désagréable.
• Des problèmes avec le son peuvent même briser des mécaniques du jeu.
• Autant que l’engin graphique s’occupe de reproduire ce qu’un joueur voit, l’engin de son reproduit ce qu’un joueur entend.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
2
Physique du son
• Le son est une onde de compression qui voyage dans l’air (ou autre médium compressible).
• L’onde sonore provoque une alternance de région de compression/décompression de l’air relativement à la pression atmosphérique.
• L’amplitude d’une onde sonore est représentée en unité de pression (Pa).
LOG725 Ing. et conception de jeux vidéo Hiver 2018
3
Physique du son
• Le son est phénomène dynamique: la pression sonore varie dans le temps.
• On peut modéliser la pression sonore dans le temps: un signal.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
4
2018-03-15
3
Propriétés des ondes sonores
• Quand un instrument joue une longue note stable, le signal résultat est périodique (patron répétitif caractéristique).
• La période décrit le temps minimal qui passe entre deux instances du patron répétitif.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
5
Propriétés des ondes sonores
• La fréquence (1 / période) est mesuré en Hertz (Hz), et représente le nombre de cycles par secondes.
• La quantité à laquelle le signal périodique est décalé à gauche ou droite selon l’axe de temps : la phase.
– Par exemple, sin(t) est un cos(t) avec une phase de π / 2.
• La longueur d’onde d’un onde sinusoïdale mesure la distance spatiale entre deux sommets successifs.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
6
2018-03-15
4
Intensité perçue et décibel
• Pour juger l’intensité des sons que l’on entend, nos oreilles font la moyenne en continu de l’amplitude du signal sonore sur une période de temps infinitésimale.
• Le décibel est l’unité logarithmique qui exprime le ratio entre l’intensité acoustique et une intensité de référence, représentant la limite inférieure de l’audition humaine.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
7
Intensité perçue
• L’oreille humaine est la plus sensible à une fréquence entre 2 et 5 kHz.
• Chaque ligne rouge représente un niveau d’intensité perçue.
• Plus de pression sonore est nécessaire à basse et haute fréquence pour atteindre la même intensité perçue.
• Un adulte peut entendre les fréquence entre 20 et 20000 Hz.
– Diminue avec l’âge.
8
https://en.wikipedia.org/wiki/The_Mosquito
2018-03-15
5
Propagation du son
• Comme n’importe quelle onde, le son se propage dans l’espace et peut être absorbé ou réfléchi par des surfaces, difracté autour des coins, et réfracté entre différents médiums de transmission.
– Dans les jeux, on modélise l’absorption, la réflexion et à l’occasion la diffraction.
• Dans un espace ouvert, en assumant une source sonore émanant dans toutes les directions:
– L’intensité sonore diminue selon la distance radiale r:
– I(r) = 1 / r2 p(r) = 1 / r
LOG725 Ing. et conception de jeux vidéo Hiver 2018
9
Propagation du son
LOG725 Ing. et conception de jeux vidéo Hiver 2018
10
2018-03-15
6
Décalage de phase et interférence
• Quand plusieurs ondes sonores se superposent dans l’espace, leurs amplitudes s’additionnent: interférence.
• Lorsque les ondes résultent en une amplitude supérieure: – Interférence constructive.
• Lorsque les ondes s’annulent pour obtenir une amplitude inférieure: – Interférence destructive.
• Est-ce possible d’annuler un son complètement avec de l’interférence destructive?
LOG725 Ing. et conception de jeux vidéo Hiver 2018
11
Réverbération et écho
• Dans un environnement contenant des surfaces qui réfléchissent le son, un auditeur reçoit trois sortent d’ondes sonores provenant d’une source: – Direct (sec): Ondes sonores arrivant à l’auditeur de manière directe.
– Écho: Ondes sonores arrivant avec un chemin indirect après avoir été réfléchies et partiellement absorbées par des surfaces.
– Réverbérations tardives: Après que les ondes aient rebondies à plusieurs reprises dans l’espace, elles se superposent et interfèrent entre elles, à un point tel ou le cerveau ne peut détecter d’échos distincts.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
12
Réverbération et écho
• Le son direct est combiné avec les échos et réverbérations tardives pour créer le son « humide ».
LOG725 Ing. et conception de jeux vidéo Hiver 2018
13
Réverbération et écho
• Les échos et réverbérations tardives donnent des indices pour identifier le type d’espace dans lequel on se retrouve.
• Avec le délai de l’écho, on peut déterminer la taille de l’espace.
• Le temps nécessaire aux ondes sonores de disparaitre nous indique le type de matériel qui créé l’espace. – Petite salle de bain en céramique: Écho rapide, réverbérations
tardives longues (réfléchit bien le son, peu d’absorption).
– Grande pièce en granite: Long délai d’écho, réverbérations tardives longues.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
14
Effet Doppler
• Les ondes sonores voyagent à une vitesse relativement constant dans l’air, mais les sources sonores peuvent être en mouvement. – Un train qui se déplace à grande vitesse: le son entendu semble plus
haut quand le train s’approche, et plus bas quand il s’éloigne.
• Les ondes sonores qui se déplacent dans la même direction que le train sont « écrasées ».
• Les ondes sonores qui se déplacent dans la direction opposées sont espacées.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
15
Effet Doppler
• À l’extrême, l’effet Doppler provoque un bang supersonique (sonic boom).
LOG725 Ing. et conception de jeux vidéo Hiver 2018
16
Technologie du son
• Avant de pouvoir comprendre entièrement le logiciel dans un engin audio dans un jeu, faisons un survol du matériel et des technologies utilisés par les professionnels.
• Microphones: transducteur qui convertit une onde de compression audio en signal électronique.
• Haut-parleur: inverse d’un microphone…
LOG725 Ing. et conception de jeux vidéo Hiver 2018
17
Stéréo
• Les systèmes de son supportent plusieurs canaux de sortie haut-parleur.
• Un appareil « stéréo » comme un iPod ou le système de son d’une voiture supporte au moins deux haut-parleurs pour les canaux stéréo de gauche et droite.
• Certains systèmes stéréo supportent un subwoofer ou haut- parleur LFE (low-frequency effects).
– Systèmes 2.1 (gauche, droite, et haut-parleur LFE).
LOG725 Ing. et conception de jeux vidéo Hiver 2018
18
2018-03-15
10
Écouteurs vs haut-parleurs
• Stéréo: – Haut-parleurs placés en avant et sur les côtés.
– Ondes sonores du haut-parleur gauche sont aussi reçues par l’oreille droite.
– Interférence entre les haut-parleurs: les bons systèmes de son doivent en tenir compte.
• Écouteurs: – Contact direct avec les oreilles et parfaitement isolés.
– Plus difficile pour l’auditeur d’obtenir de l’information spatiale.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
19
Son surround
• Les systèmes de cinéma maison ont deux saveurs: 5.1 et 7.1:
– 5 ou 7 haut-parleurs principaux et 1 subwoofer.
• But: Ambiance immersive pour l’auditeur en offrant de l’information positionnelle sonore et de la haute fidélité.
• Dolby Surround, Dolby Pro Logic II: technologies pour prendre un signal stéréo et l’étendre en son surround.
– Approxime l’information positionnelle avec des heuristiques générées à partir d’indices provenant du signal stéréo.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
20
2018-03-15
11
Son surround
21
7.1
Amplificateur
• Les petits voltages produits par un micro doivent être amplifiés pour que les haut-parleurs produisent des ondes sonores audibles.
• Un amplificateur est un circuit analogue qui produit une réplique quasi exacte du signal en entrée, à une exception près, laquelle?
– L’amplitude beaucoup plus élevée.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
22
2018-03-15
12
Contrôle du volume
• Le contrôle du volume fait l’inverse d’un amplificateur. – Au lieu d’augmenter l’amplitude, il la diminue (en gardant les autres
aspects de l’onde intacts).
• Les amplificateurs des systèmes de cinéma maison amplifient le signal jusqu’au maximum supporté, après quoi il y a distorsion ou endommagement des haut-parleurs.
• Le contrôle du volume l’atténue pour obtenir le volume désiré par l’auditeur.
• C’est pourquoi les systèmes stéréo donnent le volumes en décibels négatifs!
LOG725 Ing. et conception de jeux vidéo Hiver 2018
23
Conversion analogue à digital
• Pour avoir de l’audio dans un système digital comme un jeu vidéo, on doit convertir le signal analogue vers digital.
– Pulse-code modulation (PCM) : méthode standard d’encodage d’un signal analogue échantillonné.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
24
2018-03-15
13
Conversion analogue à digital
• Taux d’échantillonnage:
• 48 kHz pour DVDs (48000 échantillons par seconde)
• Profondeur de bits:
– Nombre de bits utilisés pour représenter chaque échantillon. Une profondeur de 16 bits et le standard pour les formats audio non compressés.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
25
Formats audio et codecs
• WAV: Format non compressé créé par Microsoft et IBM. Très commun sous Windows.
• AIFF: Format non compressé créé par Apple.
• MP3: Compression avec perte qui est le standard dans les lecteurs audio. Élimine les portions du signal qui sont inaudibles pour la plupart des gens.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
26
2018-03-15
14
Rendu audio 3D
• Comment ces théories et technologies sont utilisées dans un engin de jeu?
• Chaque jeu dans un environnement 3D comporte un engin de rendu audio.
– En entrée: multitude de sons 3D qui émanent du jeu:
• pas, paroles, collisions, coups de fusil, sons ambiants, etc.
– En sortie: quelques canaux sonores qui, lorsque joués dans les haut- parleurs, produisent un son aussi crédible que possible.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
27
Rendu audio 3D
• Un engin de jeu doit produire une sortie 7.1 ou 5.1, mais également stéréo, pourquoi?
– Pas tout le monde qui ont un système de cinéma maison.
– Les écouteurs sont un système stéréo!
• Aussi responsable de jouer des sons qui ne proviennent pas du monde virtuel:
– Musique, sons dans le menu, voix du narrateur, etc.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
28
2018-03-15
15
Survol du rendu 3D du son
• Étapes primaires d'un engin audio 3D:
– Synthèse du son: génération des signaux sonores correspondant aux événements qui surviennent dans le monde (sons pré enregistrés ou générés de manière procédurale).
– Spatialisation: illusion que chaque son 3D vient d'un endroit spécifique du monde, du point de vue de l'auditeur.
• Atténuation selon la distance.
• Pan: contrôle du volume relatif d'un son dans chaque haut-parleur pour donner une impression de direction.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
29
Survol du rendu 3D du son
– Modélisation acoustique: augmentation du réalisme du rendu du son en imitant les échos et réverbérations tardives, et en prenant en compte les obstacles qui bloquent partiellement ou complètement le chemin entre l’émetteur et l’auditeur.
– Doppler: prise en compte des effets de mouvement relatif entre la source du son et l’auditeur.
– Mixing: contrôle des volumes relatifs de tous les sons dans le jeu.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
30
2018-03-15
16
Modélisation du monde audio
• Le modèle du monde audio comporte ces éléments: • Sources sonores 3D:
– Chaque son consiste en un signal audio provenant d’une position. – Vitesse, patron de radiation (omnidirectionnel, conique, planaire), distance
maximale.
31
Atténuation selon la distance
• Réduction du volume du son 3D selon la distance radiale entre la source et l’auditeur.
– Deux valeurs: FO min et FO max (fall-off).
• Le nombre de sources sonores et très grands, et on ne veut pas les rendre toutes.
– FO min: rayon minimal dans lequel le son n’est pas atténué du tout (volume maximal).
– FO max: rayon maximal, à l’extérieur duquel le son est ignoré.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
32
2018-03-15
17
Atténuation selon la distance
• Entre FO min et FO max, on doit faire une interpolation!
• Pour certains sons, une interpolation linéaire peut fonctionner.
• Dans la réalité, notre perception du volume descend avec la distance radiale selon l’équation 1 / r2.
– Problème?
• Équation asymptotique, ne se rend jamais à 0. Deux solutions:
– Décaler la courbe de l’équation vers le bas un peu.
– Faire que l’intensité soit 0 après une certaine distance.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
33
Pan
• Technique qui offre l’illusion qu’un son 3D provient d’une direction particulière.
• En contrôlant le volume du son dans chacun des haut-parleurs, on peut induire cette perception.
• On débute par déterminer l’angle d’azimut entre l’auditeur et la source sonore.
• On trouve ensuite les deux haut-parleurs adjacents à cet angle.
• On convertit l’angle en pourcentage de l’arc entre les deux haut-parleurs pour déterminer le volume de chacun.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
34
Pan
35
Espace libre (headroom)
• Il peut arriver que le panning fasse qu’un son soit rendu entièrement par un haut-parleur.
• Situation: – Un son est joué également dans deux haut-parleurs adjacents, et son
volume est si fort que chaque haut-parleur joue à sa puissance maximale. – Qu’arrive t’il lorsque le joueur se déplace et que le son joue sur un seul
haut-parleur?
• Pour prévenir ceci, on réduit les volumes maximaux de tous les sons, pour faire que dans le pire scénario, le son ne soit pas trop fort.
• Aide également lors du mixing.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
36
2018-03-15
19
Focus
• Quand la source sonore est loin de l’auditeur, on la traite comme un point.
• Quand elle approche de l’auditeur, on ne peut la traiter ainsi:
– Imaginons un personnage qui marche à côté d’une source sonore.
– Au début, on l’entend dans les haut-parleurs avant.
– En dépassant la source, on doit transférer le son aux haut-parleurs arrière.
– Avec une source sonore traitée comme un point, on fait « sauter » le son des haut-parleurs avant vers arrière.
– On veut plutôt que le son s’étale graduellement.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
37
Focus
• Solution: on modélise une source sonore avec un arc plutôt qu’un point dans le cercle des haut-parleurs.
• Un son 3D avec une forme arbitraire dans l’espace est projeté sur le cercle des haut-parleurs.
• On peut diviser le son de plusieurs manières au travers des haut-parleurs adjacents.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
38
Verticalité
• Dans les installations traditionnelles, les haut-parleurs sont tous dans un plan horizontal.
– Difficile de simuler un son positionné en haut ou en bas de l’auditeur.
• On peut simuler cet effet avec les angles de focus.
– Quand le son passe au dessus ou en dessous de l’auditeur, on le fait jouer sur plusieurs haut-parleurs à la fois (ex: gauche et droite).
– En combinant ceci avec l’atténuation de distance et autres techniques, on peut donner à l’auditeur assez d’indice pour donner l’impression désirée.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
39
Propagation et réverbération
• Même avec l’atténuation selon la distance, le pan et l’effet Doppler, l’engin 3D de son ne génère toujours pas un son réaliste.
– Les indices auditifs qui nous donne le réalisme proviennent des échos, réverbérations tardives, multiples chemins empruntés par le son.
• Plusieurs approches:
– Modèles basés sur la perception de l’oreille.
– Méthodes ad hoc: approximations raisonnables avec des données minimales.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
40
2018-03-15
21
Régions de réverbération
• Approche commune: annoter le monde avec des régions placées à main.
– Paramètres de réverbération: délai, décomposition, densité, diffusion.
– En passant d’une région à l’autre, on fait varier les paramètres.
• On utilise l’interpolation linéaire pour les paramètres des régions.
– Par exemple, région circulaire autour d’une porte.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
41
Régions de réverbération
42
2018-03-15
22
Obstruction, occlusion, exclusion
• L’utilisation des régions de réverbération approxime bien l’essence des espaces, mais n’est pas parfaite à cause des obstacles. Par exemple:
– Si un pilier est au centre et qu’un son émane du coin de la pièce, l’auditeur aura une perception différente dépendant de sa position.
• Trois façons dont les objets et surfaces peuvent affecter la transmission du son.
– Occlusion, obstruction, exclusion.
43
Occlusion
• Le son peut-il être entendu?
LOG725 Ing. et conception de jeux vidéo Hiver 2018
44
2018-03-15
23
Obstruction
• Composante sèche absente ou grandement étouffée.
• Composante humide peut aussi être altérée. Pourquoi?
LOG725 Ing. et conception de jeux vidéo Hiver 2018
45
Exclusion
• Chemin direct du son, mais chemin indirect compromis. Par exemple:
– Son produit dans une pièce qui traverse dans une autre via une petite ouverture comme une porte ou fenêtre.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
46
2018-03-15
24
Analyse du chemin direct
– On utilise le tracé de rayon.
• Comment modéliser le chemin direct qui passe au travers des murs minces et autres obstacles?
– Tracé de rayon!
– Pour chaque contact, on détermine la quantité d’énergie sonore absorbée par l’obstacle.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
47
Analyse du chemin indirect
• Dans un monde idéal: algorithme de recherche de chemin (A*) pour déterminer chaque chemin ainsi que les atténuations et réflexions. – En pratique: rarement utilisé à cause de l’utilisation du CPU et de la
mémoire.
• Avec les régions de réverbérations, on utilise des heuristiques. Par exemple: – Si l’émetteur et l’auditeur sont dans la même région, on suppose
l’existence d’un chemin indirect. – S’ils sont dans de différentes régions, on assume l’occlusion du chemin
indirect.
48
2018-03-15
25
Diffraction
• Pour modéliser la diffraction, on peut utiliser le tracé de rayon avec changement de direction.
– Fonctionnalité non supportée dans la plupart des engins!
– À la place, on utilise plusieurs rayons.
– Différence entre diffraction et chemin indirect?
LOG725 Ing. et conception de jeux vidéo Hiver 2018
49
Gestion des ressources
• Clip audio: – Ressource audio atomique: un son digital unique avec sa propre ligne
de temps locale (similaire aux clips d’animation).
– Un clip peut être stocké dans l’importe quel format supporté par l’engin.
• Repères sonores (sound cues): – Collection de clips audio avec des méta données qui décrit comment
ils doivent être traités.
– Moyen principal avec lequel le jeu demande aux sons d’être joués. Certains engins ne supportent pas de jouer des clips individuels!
LOG725 Ing. et conception de jeux vidéo Hiver 2018
50
2018-03-15
26
Repères sonores
• Plusieurs façons d’interpréter la collection de sons: – Un clip par canal dans un enregistrement de musique 5.1.
– Ensemble de sons bruts, dans lequel une sélection au hasard est faite pour ajouter de la variété.
• Certains engins audio permettent aux repères d’offrir un ou plusieurs sons optionnels dans le cas où le son principal est interrompu.
• Métadonnées: – FO min, FO max, courbe de fall off, etc.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
51
Banques de son
• Chaque objet du monde peut générer une variété de son.
• En plus, on a de la musique, des dialogues, du son de menu, etc.
• Pour ne pas tout charger en mémoire:
– Banques de son.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
52
2018-03-15
27
Streaming
• Certains sons sont si long qu’ils ne peuvent être stockés en mémoire au complet. Par exemple:
– Musique et dialogue.
• Pour ceci, on utilise le streaming de sons.
• Il est possible de faire du streaming parce que la seule information nécessaire est le signal audio à un moment précis.
• Comment on implémente ceci?
53
Mixage
• Si on joue tous les sons de chaque objets et qu’on les atténue, localise, et modélise selon toutes les techniques précédentes, on obtient quoi? – Cacophonie!
• Le mixage est très important pour jauger ce qu’on entend, et à quel point on l’entend. Le but est de produire un mixage: – Réaliste et immersif.
– Pas trop distrayant, énervant, difficile à écouter.
– Donne toute l’information nécessaire au jeu et à l’histoire.
• Selon la situation, on adapte le mixage.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
54
Mixage - Groupes
• Dans certains cas, on veut changer la force des sons dynamiquement. Par exemple: – Pendant une séquence de combat, on augmente le niveau de la
musique et des armes, et on descend les autres sons.
– Durant un dialogue, on augmente les voix et on diminue les sons ambiants.
• On utilise le concept de groupes pour contrôler plusieurs repères sonores d’un coup. – Pour ce faire, on catégorise simplement les repères. Par exemple, un
repère pourrait classifié comme musique, arme, dialogue, etc.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
55
Mixage - Ducking
• Le ducking permet de temporairement réduire le volume de certains sons pour rendre d’autres sons plus audibles. Par exemple:
– Quand un personnage parle, le niveau du bruit ambiant peut être réduit automatiquement.
• Le ducking est généralement effectué avec les groupes de repères:
– Lorsqu’une catégorie joue, on diminue automatiquement le niveau des autres.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
56
Mixage – Limitation des instances
• On utilise la limitation des instances pour contrôler le nombre de sons qui sont permis de jouer en même temps.
• Par exemple, si 20 personnages tirent leur fusil en même temps, on peut uniquement jouer le son de 3 ou 4 fusils.
• La limitation d’instance est importante pour deux raisons:
– Éviter la cacophonie.
– Un engin de son supporte typiquement un nombre maximal de sons simultanés (à cause du matériel ou de la mémoire).
LOG725 Ing. et conception de jeux vidéo Hiver 2018
57
Mixage – Limitation des instances
• Même si beaucoup d’objets émettent des sons à la fois, on peut limiter le nombre avec plusieurs facteurs. – Le plus simple: le FO max.
– Le processus de taire des sons s’appelle le vol de voix.
• Si trop de sons jouent simultanément avec le vol de voix, on peut utiliser la priorisation. – Chaque repère ou groupe de repères a une priorité.
– Quand trop de sons doivent jouer simultanément, ceux avec les plus faibles priorités ne sont pas joués.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
58
2018-03-15
30
Fonctionnalités audio spécifiques au jeu
• En plus des fonctionnalités audio de base, les jeux implémentent toute sorte de fonctionnalités spécifiques. Par exemple:
– Support d’écran divisé (split-screen).
– Audio contrôlé par la physique.
– Système de dialogue.
59
Support d’écran divisé
• Le support d’écran divisé est un problème particulier: – Plusieurs auditeurs dans le monde, mais les mêmes haut-parleurs!
• Faire un pan des sons pour chaque auditeur, puis faire un mixage ne donne pas toujours un résultat correct.
• Il n’y pas de solution parfaite: – Si le joueur A est près d’une explosion, mais pas le joueur B, ce
dernier entendra quand même très bien l’explosion.
– Le meilleur qu’un jeu peut faire est d’offrir une solution hybride, où certains sons sont réalistes, et d’autres moins.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
60
2018-03-15
31
Dialogue entre personnages
• Il est très simple de donner une voix à un personnage: – Jouer un son pré enregistré dès que le personnage doit parler.
• Ce n’est pas si simple, pour plusieurs raisons: – On doit cataloguer toutes les lignes possibles de dialogue que chaque
personnage peut dire.
– Chaque personnage doit parler de manière consistante et reconnaissable.
– On ne sait pas toujours à priori quel personnage dira quelle ligne, donc on doit enregistrer la même ligne plusieurs fois par personnage.
– On veut de la variété: système de sélection de ligne au hasard.
– Les ressources audio de dialogue prennent beaucoup de mémoire.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
61
Définition d’une ligne de dialogue
• La plupart des engins audio offrent un niveau d’indirection entre la requête pour parler et le clip audio à jouer. – Le programmeur/concepteur demande de jouer une ligne de
dialogue logique, représentée par un identifiant unique.
– Le concepteur audio associe l’identifiant à un ou plusieurs clips audio. Pourquoi plusieurs?
• Par exemple, imaginons une ligne logique avec identifiant « line-out-of-ammo »: – Plusieurs personnages peuvent dire cette ligne de manières
différentes.
62
2018-03-15
32
Définition d’une ligne de dialogue
* On sépare généralement les lignes en fichiers par personnage.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
63
Priorité et interruption du dialogue
• Qu’arrive t’il quand un personnage doit parler alors qu’il parle déjà, ou qu’il reçoive 2 demandes de parole à la même frame? – Système de priorité en assignant une priorité par ligne de dialogue.
– Si une ligne joue et qu’un autre doit jouer avec plus haute priorité, on interrompt la première.
• Comment interrompre le dialogue? – Cross-fading? Non!
– Idéalement, on joue un coup de glotte, ou un autre clip audio qui indique la surprise ou l’agacement.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
64
https://fr.wikipedia.org/wiki/Coup_de_glotte
2018-03-15
33
Branchements de conversations
• Il est souvent désirable de permettre aux conversations de jouer de manières différentes selon les actions des personnages. Par exemple:
– Selon son niveau de vie, plusieurs alternatives à une même ligne de dialogue peuvent être jouées.
• En brisant la conversation en segments, chacun contenant une ou plusieurs lignes alternatives, on ouvre la possibilités d’avoir des branchements.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
65
Branchements de conversations
• Arbre de dialogue:
• Attention: les joueurs veulent généralement que les différentes options de dialogue aient un impact sur le jeu.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
66
Dialogue sensible au contexte
• Dans certains jeux, on souhaite avoir du dialogue qui change selon le contexte précis dans lequel se trouve le joueur. Par exemple: – Dans The Last of Us, les ennemis peuvent nommer la position du
joueur de façon intelligente.
– S’il est caché dans un magasin, l’ennemi dit « Il est dans le magasin ».
– S’il est derrière une voiture, l’ennemi dit « Il est derrière la voiture ».
• Pour ce faire, les concepteurs de The Last of Us ont créé des régions logiques avec des étiquettes génériques ou spécifiques.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
67
Dialogue sensible au contexte
• Si l’ennemi et le joueur sont dans la même région générique, l’ennemi nomme la position spécifique.
• Si l’ennemi et le joueur sont dans des régions génériques différentes, l’ennemi nomme la position générique.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
68
2018-03-15
35
Actions de dialogue
• Les lignes de dialogue dites sans langage corporel ont l’air étranges et robotiques.
• Certaines lignes de dialogue sont déclenchées dans le système d’animation.
– Via les canaux de méta données qui déclenchent un évènement.
• Comme certaines lignes sont dites lorsque le personnage est occupé à faire autre chose, on utilise souvent l’animation additive pour ajouter du mouvement.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
69
Musique
• L’engin de son s’occupe aussi de la musique. Il offre ces fonctionnalités typiques:
– Jouer des trames sonores en streaming.
– Offrir de la variété musicale.
– Correspondre la musique avec les évènements du jeu.
– Permettre le ducking de la musique.
– Transition fluide d’une trame sonore vers la suivante.
– Etc…
70
2018-03-15
36
Musique
• On utilise généralement des listes de lecture pour chaque niveau de tension ou émotion des évènements du jeu.
• Chaque liste de lecture contient une ou plusieurs pistes, qui peuvent être jouées de façon arbitraire ou séquentielle.
• Le jeu détecte des différences dans le niveau de tension, et joue les bonnes listes de lecture.
• Stingers: Clip musical court ou effet sonore qui peut interrompre temporairement la musique courante, ou jouer par-dessus.
LOG725 Ing. et conception de jeux vidéo Hiver 2018
71