Étude de cas: Est-ce que l’accès aux transports publics améliore le taux d’emploi?[1]

Introduction La République de l'Atlantide envisage d'élargir l'accès aux transports en commun à travers le pays dans l'espoir que cela conduira au développement économique et à l'amélioration du bien-être de ses citoyens, en particulier l’amélioration du marché du travail. Actuellement, dans de nombreuses villes de l’Atlantide, les offres d'emploi sont trouvent principalement dans une partie de la ville, mais la majorité des chômeurs en sont, vivant dans une autre partie de la ville. La République de l'Atlantide prédit qu'un accès accru aux transports en commun permettrait à ses de se déplacer plus facilement d'une partie de la ville à l'autre, rendant possible pour les personnes vivant sur un quartier d’obtenir et maintenir un emploi de l'autre côté de ville et donc accroître l'emploi dans l'ensemble de l'Atlantide. Avant d’adopter cette nouvelle politique, ils veulent des preuves que l’accès aux transports en commun aura un impact direct et significatif sur l'emploi.

En 2014, le ministère des transports a décidé de travailler avec une ONG appelée « Jubilé Jobs » pour piloter une nouvelle approche pour améliorer l'accès aux transports publics en invitant des ménages dans certaines parties du pays à recevoir une subvention grâce à une carte de transport à prix réduit. A l'aide de cette carte, un aller simple en autobus est seulement 75 % du prix standard. Un des indicateurs que le programme mesure est le taux d'emploi. La République de l'Atlantide souhaite examiner les résultats de ce programme pour aider à déterminer si le programme devrait être élargi à d'autres régions du pays.

1 Les chiffres ont été modifiés pour l’intérêt de cette etude de cas, mais le concept est tire de l’article: Phillips, David. Getting to Work: Experimental Evidence on Job Search and Transportation Costs, Labour

Economics, August 2014.

1

Arrière-plan Le personnel de l'ONG a invité 1 000 représentants de ménages (habituellement le chef de ménage) aux assemblées publiques dans des zones choisies de certaines villes. Lors de ces assemblées, le personnel de l'ONG décrit l'utilisation des cartes à tarif réduit aux représentants des ménages, et leur précise que les ménages qui choisissent d'utiliser ces cartes seraient responsables de 75 % du coût standard, le programme couvrant le reste. La République de l'Atlantide souhaite utiliser des informations provenant de ce programme pour répondre à la question : Est-ce que l’amélioration de l'accès aux transports publics augmente l’accès à l’emploi ? Comment peut-on le vérifier ? Cette étude de cas aborde ces questions en examinant les différentes méthodes qui peuvent servir à évaluer l'impact d'un programme ou d'une intervention. Alors que le contexte de cette étude de cas concerne les transports publics à l’Atlantide, les questions soulevées ici sont également valables pour l'évaluation de l'incidence d’autres programmes dans tous les pays en développement. Imaginez que vous avez été engagé comme consultant pour travailler avec l’ONG Jubilé Jobs. Afin de développer un ensemble de preuves qu'ils peuvent utiliser comme justification pour la mise en œuvre de politiques sur des programmes d'accès aux transports en commun, une évaluation d'impact sera intégrée dans le programme du Jubilé Jobs, et vous avez été embauché pour mettre en œuvre l'évaluation d'impact. 

 Veuillez compléter la Question 1 avant de continuer.

******************************

2

Question 1 pour discussion – Quel le es t la quest ion é lémenta i re à laquel le vot re évaluat ion d’ impact va permet t re de répondre?

Amélioration de l'accès aux transports publics augmente-t-il emploi ? En décembre 2013, Jubilés Jobs a obtenu une liste de 1 000 ménages avec des informations utiles sur chacun, y compris la taille du ménage, le niveau de scolarité, le revenu mensuel moyen et d’autres caractéristiques observables. En janvier 2014, les invitations ont été envoyées aux 1 000 ménages pour assister à une réunion publique qui devait avoir lieu dans les prochains mois.  Jubilés Jobs a précisé que si le chef de ménage n'était pas disponible, ils pouvaient envoyer un autre membre du ménage. Jubilés Jobs a également offert de payer les frais de transport et l'hébergement pour tous les participants. Entre janvier et mars 2014, une réunion a eu lieu dans toutes les collectivités. À la fin de l’année, 403 ménages avaient utilisé les cartes à tarif réduit et 597 ménages ne les avaient toujours pas utilisées. Jubilés Jobs a accepté de partager avec vous ses données concernant les 1 000 ménages impliqués dans leur programme de carte à tarif réduit. Nous vous demandons d'utiliser ces données pour mesurer l'impact de ces cartes sur l'emploi. Méthode 1 – Simple différence en matière d'emploi, entre les ménages qui ont utilisé les cartes à tarif réduit et ceux qui ne les ont pas utilisées. Supposons que les 403 ménages qui utilisent les cartes à tarif réduit constituent le groupe « traitement » et les autres 597 ménages (c.-à-d. les ménages qui ont assisté à la réunion mais n'ont pas choisi d'utiliser la carte) constituent le groupe de « comparaison ». Si vous souhaitez déterminer l'impact de l'utilisation des cartes à tarif réduit sur l'emploi, vous pourriez vérifier si les ménages qui ont utilisé la carte de tarif ont des taux plus élevés d'emploi que ceux qui ne les ont pas utilisées. Le tableau 1 ci-dessous compare le taux d'emploi mensuel moyen des ménages qui ont utilisé les cartes à tarif réduit avec ceux qui n'ont pas utilisé les cartes à tarif réduit.             Tableau 1: Pourcentage des ménages employée par mois en moyenne

... parmi les ménages quiutilisaient la carte

... parmi les ménages quin'ont pas utilisé la carte

Impact estimé

Méthode 1 :Différence simple 64 % 55 % 9 % * *: signification statistique = 5 % 

3

Question 2 pour discussion – Pensez-vous que cette method peut vous donner une idée precise de l’impact reel des cartes à tarif réduit sur le taux d’emploi? Pourquoi ou pourquoi pas? Est-il possible que des ménages qui ont choisi d’utiliser la carte soient différents de ceux qui ne les ont pas utilisées?

 Veuillez compléter la Question 2 avant de continuer******************************

4

Question 2 pour discussion – Pensez-vous que cette method peut vous donner une idée precise de l’impact reel des cartes à tarif réduit sur le taux d’emploi? Pourquoi ou pourquoi pas? Est-il possible que des ménages qui ont choisi d’utiliser la carte soient différents de ceux qui ne les ont pas utilisées?

  

Méthode 2 –Score de propension pour mesurer la différence en matière d'emploi entre ménages correspondants. Dans le tableau 2 ci-dessous, vous pouvez voir que lorsque nous utilisons la méthode 1, les ménages qui ont utilisé les cartes à tarif réduit sont foncièrement différents des ménages de comparaison -- autrement dit, les moyennes des variables que capturent les caractéristiques observables sont différentes entre les groupes traitement et comparaison. Pour résoudre ce problème, vous pouvez essayer de faire correspondre les ménages selon des caractéristiques observables et estimer l'impact pour faire la différence dans l'indicateur clé entre les paires. Ceci nécessite l’utilisation de l’analyse statistique afin d'attribuer un score de propension à chacun des ménages. Le score de propension est semblable à un classement des ménages basé sur leur niveau de similarité ou différence suivant un ensemble de variables. Les variables utilisées sont la taille du ménage, le nombre d’années d’éducation du chef de ménage et le revenu mensuel. Vous utiliseriez ensuite ce score de propension pour faire correspondre les ménages avec des scores similaires aux groupes de « comparaison » et « traitement ». De cette façon vous pourriez tenter de résoudre les risques de différences dans les caractéristiques des ménage traitement et comparaison. Dans le tableau 2 ci-dessous, notez que lorsque vous utilisez le score de propension correspondant, la taille de l'échantillon va diminuer parce que tous les ménages ne seront pas utilisés. Cela se produit parce que la méthode du score de propension ne fera pas usage des ménages pour lesquels un bonne paire est introuvable.  

Tableau 2: Caractéristiques des groupes de traitement et de comparaison à l'aide de la Simple différence et de la méthode de Score de Propension

Méthode 1: Différence Simple Méthode 2: Score de propensionGroupe

« Traitement »Groupe

«Contrôle»Différence Groupe

« Traitement »Groupe

«Contrôle»Différence

Revenu mensuel moyen

1460 630 830 * 1030 920 110

Taille du ménage

4.2 6.7 -2.5* 4.5 4.7 -0.2

Années d’éducation duchef de ménage

10.5 5.3 5.2* 8.7 8.2 0,5

Taille de l'échantillon

403 597 362 537

 *: signification statistique = 5 % 

5

Tableau 3: Pourcentage des ménages employés par mois en 2014 en moyenne à l'aide de la méthode du Score de Propension

... dans les ménages quiutilisent les cartes à tarif réduit

... dans les ménages quin'utilisent pas les cartes à tarif réduit

Impact estimé

Méthode 2 :Score de propension 62 % 57 % 5 % *

 *: signification statistique = 5 %

statistical significance = 5%

Veuillez compléter la Question 3 avant de continuer.******************************

 

6

Question 3 pour discussion – En regardant le Tableau 2, que remarquez-vous à propos des variables observables entre les Méthodes 1 (Simple Différence) et Méthode 2 (Score de Propension)? Qu’en pensez-vous?

Méthode 3 – Double différence ou « Différence-en-différences ». Comparaison de leevolution du taux d'emploi mensuel moyen entre les ménages qui utilisent les cartes à tarif réduit par rapport à ceux qui ne les utilisent pas. Si vous êtes toujours préoccupé par les différences de caractéristiques entre les ménages qui ont utilisé les cartes à tarif réduit et ceux qui ne les ont pas utilisées, vous pouvez essayer d'estimer l'impact du programme à l'aide d'une comparaison de double différence. Cela nécessite des mesures sur les indicateurs clés au cours du temps, ou données panel, afin d’éliminer les caractéristiques inobservables qui ne changent pas au cours du temps. Cette méthode peut estimer l'impact du programme moyen entre les ménages de traitement (T) et de comparaison (C) comme suit :

DD=(T 2014−T2013 )−(C2014−C2013).

Il s'avère que, la liste des ménages comprend des données sur l'emploi mensuel dans le ménage pour 2012 et 2013, avant que le programme du Jubilé Jobs ne devienne opérationnel. L’emploi dans un ménage dans le passé peut être un bon prédicteur de l’emploi-dans l'avenir. En d'autres termes, le taux d’emploi mensuel qu'un ménage dans le passé peut être utilisé pour aider à déterminer son niveau à l'avenir. Le tableau 4 fait état de cet usage dans les deux années précédant la mise en œuvre du programme Jubilés Jobs (2012 et 2013) et dans l'année de mise en œuvre du programme (2014) parmi les ménages qui ont utilisé la carte à tarif réduit ("traitement") et ceux qui ne les ont pas utilisées (« comparaison »).  

Tableau 4: Pourcentage moyen des ménages employés par mois de 2012 à 2014

... parmi les ménages

qui utilisent les cartes à tarif réduit

... parmi les ménages qui

n’utilisent pas les cartes à tarif réduit

Différence

en 2014 64 % 55 % 9 %

en 2013 61 % 54 % 7 %

en 2012 60 % 53 % 7 %

Différence entre l'emploi mensuelle moyenne en 2014 et 2013

3 %(64-61)

1 %(55-54)

2 % *(3 - 1)

=(64-61) - (55-54)= (Double de la

différence)*: signification statistique = 5 %

7

   

8

Veuillez compléter les Questions 4 et 5 avant de continuer************************************************************

9

Question 4 pour discussion – Comment pourriez-vous utiliser ces données sur l’emploi dans les années precedent la mise en oeuvre du programme Jubilés Jobs pour améliorer la qualité de votre analyse? En se basant sur les informations fournies dans le Tableau 4, quelle serait votre nouvelle estimation de l’impact des cartes à tariff réduit sur le taux d’emploi?

Question 5 pour discussion – Pensez-vous que l’impact estimé par les Méthodes 1 à 3 représente l’impact causal véritable des cartes à tarif réduit sur le taux d’emploi? Pourquoi ou pourquoi pas?

Méthode 4 - Expérience randomisée contrôlée (RCT) Il s'avère que les 1 000 ménages ont été choisis au hasard parmi une liste complète de tous les ménages dans la zone. Ceci est similaire aux tirages au sort effectué dans un essai clinique, où le traitement/médicament est administré au hasard afin d'être reçu par un groupe de patients, mais pas l'autre. La liste complète comprend 7 000 ménages. Nous pouvons exploiter ce tirage au sort des 1 000 ménages pour estimer l'impact des cartes à tarif réduit sur les résultats de l'emploi. L'idée est que les 1 000 ménages qui ont été ciblés pour la réception des cartes à tarif réduit des travaux de Jubilés Job (maintenant dénommé le groupe de « traitement ») doivent être identiques aux 6 000 autres ménages (maintenant dénommés le groupe de « contrôle ») en termes observables et en caractéristiques non observables. La seule différence entre les groupes de traitement et de contrôle est que le premier groupe a été invité par Jubilés Job à recevoir la carte à tarif réduit alors que le second groupe n’y a pas été invité. Le tableau 5 compare le groupe « traitement » et le groupe « contrôle » sur la base de caractéristiques observables. Le tableau 6 présente l'impact estimé des cartes à tarif réduit en comparant l'emploi mensuel moyen dans le groupe de traitement avec l'emploi mensuel moyen dans le groupe de contrôle. 

Tableau 5: Caractéristiques des groupes de traitement et de contrôleGroupe «

Traitement »(Invité)

Groupe « Contrôle »

(Pas invitée)

Différence

Moyenne mensuelle de l'emploi en 2014 58 % 57 % 1 %Moyenne mensuelle de l'emploi en 2012 57 % 57 % 0 %

Revenu mensuel moyen 1020 990 30Années de scolarité du chef de ménage 7,9 7,2 0,7

Taille du ménage 5,3 5,4 -0.1Taille de l'échantillon 1 000 6 000

*: signification statistique = 5 %   

Tableau 6: Pourcentage moyen des ménages employés par mois en 2014Groupe «

Traitement »Groupe «

Comparaison »Impact estimé

Méthode 4 – Simple différence randomisée 60,7 % 60,1 % 0,6 %*: signification statistique = 5 %

 

10

 

Conclusion Le tableau 7 montre les répercussions estimées des cartes tarifs sur l'emploi à l'aide de diverses méthodes discutent dans ce cas d'étude. Tableau 7 – Sommaire des répercussions estimées de cartes billet d'avion à prix réduitMéthode Estimation de

l'impactMéthode 1: Simple différence 9,0 % *Méthode 2: score de propension correspondant 5.0 % *Méthode 3: « Double différence » basé sur données de panel 2,0 % *Méthode 4: Randomized experiment 0,6 %*: signification statistique = 5 %

 Comme vous pouvez le voir, pas toutes les méthodes donnent les mêmes résultats. Il est donc essentiel de choisir la méthode appropriée. Le but de cette étude de cas n'était ne pas d'évaluer un programme spécifique qui fournit des cartes à puces prix réduit, mais pour tester diverses méthodes d'évaluation dans ce contexte particulier. Dans l'analyse du programme, nous avons remarqué que les ménages qui ont utilisé les cartes à puces avaient tendance à avoir un taux d'emploi plus élevé, mais qu'ils étaient également plus susceptibles d'avoir eu un taux d'emploi plus élevé par rapport au groupe "non utilisation" dans le passé. On a également remarqué que lorsque nous avons utilisé le score de propension pour faire correspondre les ménages, les caractéristiques des deux groupes n'étaient pas toujours les mêmes. Ainsi, lorsque nos méthodes non aléatoires a démontré un impact positif et significatif, ce résultat est attribuable à un « biais de sélection » (dans ce cas, la sélection des ménages qui ont choisi d'utiliser les cartes de tarifs prix réduit) plutôt qu'à un programme d'accès aux transports publics réussie.  

Veuillez compléter les Questions 6 et 7 avant de continuer************************************************************

11

Question 6 pour discussion – Remarquez que les deux groups semblent très similaires dans le Tableau 5. Etait-ce attendu? Pourquoi ou pourquoi pas? Comment est-ce que l’on peut comparer cette similarité par rapport à celle obtenue par les Méthodes 1 et 2?

Question 7 pour discussion – En se fondant sur les résultats obtenus au Tableau 6, recommanderiez-vous la mise en oeuvre de cette politique pour les programmes de transports en commun?

Conclusion Le tableau 7 montre les répercussions estimées des cartes à tarif réduit sur l'emploi à l'aide de diverses méthodes discutées dans cette étude de cas. Tableau 7 – Sommaire des répercussions estimées de cartes billet d'avion à prix réduitMéthode Estimation de

l'impactMéthode 1: Simple différence 9,0 % *Méthode 2: Score de propension 5.0 % *Méthode 3: « Double différence » basé sur données de panel 2,0 % *Méthode 4: Expérience randomisée contrôlée 0,6 % **: signification statistique = 5 %

 Comme vous pouvez le voir, toutes les méthodes n’aboutissent pas aux mêmes résultats.  Il est donc essentiel de choisir la méthode appropriée. Le but de cette étude de cas n'était pas d'évaluer un programme spécifique qui fournit des cartes de transport à prix réduit, mais de tester diverses méthodes d'évaluation dans ce contexte particulier. Dans l'analyse du programme, nous avons remarqué que les ménages qui ont utilisé les cartes à tarif réduit avaient tendance à avoir un taux d'emploi plus élevé, mais qu'ils étaient également plus susceptibles d'avoir eu un taux d'emploi plus élevé par rapport au groupe "non utilisation" dans le passé. On a également remarqué que lorsque nous avons utilisé le score de propension pour faire correspondre les ménages, les caractéristiques des deux groupes n'étaient pas toujours les mêmes. Ainsi, lorsque des méthodes non aléatoires ont démontré un impact positif et significatif, ce résultat est plus attribuable à un « biais de sélection » (dans ce cas, la sélection des ménages qui ont choisi d'utiliser les cartes à tarif réduit) plutôt qu'à un programme d'accès aux transports publics efficace.

12

Application au développement Le biais de sélection est un problème qui se produit dans nombreuses évaluations de programmes. Pensez à certains des programmes de développement non aléatoires que vous avez évalué ou vu évalués. Discutez comment le groupe de participants a été choisi et comment la « sélection » peut affecter la capacité les évaluateurs à évaluer l'impact réel du programme.

Annexe Note technique : Ajustement pour le taux de participation Le tableau 5 montre la simple comparaison entre groupe de traitement et groupe de contrôle, où le groupe de traitement est composé de tous les ménages qui ont été invités à assister aux réunions de la mairie avec Jubilé Job et le groupe de contrôle se compose de tous les ménages qui n'étaient pas invités. Cette estimation de l'impact ne tient pas compte du fait que 597 ménages dans le groupe de traitement ont été invités mais n'ont pas souhaité participer au programme, en n'utilisant pas les cartes à tarif réduit. Si l'on veut évaluer l'impact effectif de l’utilisation des cartes à tarif réduit, plutôt que d’estimer simplement l’impacter d’ "inviter" des ménages à s'en servir, il nous faudrait ajuster l'estimation à l'aide de la méthode des Variables Instrumentales. Voici une formule possible pour effectuer cet ajustement : 

Estimation par Méthode 4(Tableau 6)Difference de taux d ' utilisation descartes entre

¿ groupe de traitement et decontrôle Donc:

0.006403

1000− 0

6000 = .0149

  Si vous êtes intéressé par les détails techniques fournis par cette annexe, n’hésitez pas à consulter votre chef d'équipe.

13