Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Indicateurs ou outils d’évaluation de la recherche:
Présentation des logiciels “SIGAPS” (évaluation bibliométrique) et “SIGREC” (gestion administrative et suivi des inclusions)
Patrick Devos
Responsable de la Cellule Opérationnelle SIGAPS / SIGREC
Direction de la Recherche et de l’Innovation - CHRU de Lille
EA 2694 – Université de Lille
Cellule Bibliométrie CNCR
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Plan
• L’évaluation de la Recherche
• Le logiciel SIGAPS
• Le logiciel SIGREC
• SIGAPS, SIGREC et les financements MERRI
• SIGAPS/SIGREC : d’autres usages…
L’évaluation de la
Recherche …
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
L’évaluation de la recherche
• 1950 : naissance, au USA, de la National Science Fundation (NSF), chargée
de mesurer le niveau scientifique et technologique.
• 1958 : Création par Eugen Garfield, de l’ISI.
• 1973 : Publication par la NSF des « Sciences Indicators »
• 1984 : Publication par l’OCDE des « Sciences and Technology Indicators »
http://www.nsf.gov/ et http://www.oecd.org/innovation/inno/stistatistics.htm
Une problématique qui date des années 50 : nécessité, pour les grands pays
industrialisés, d’évaluer leur potentiel scientifique et technologique.
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
L’évaluation de la recherche
• Nombreuses références internationales :
– National Science Fundation (USA)
– OCDE (International)
– INSERM, CNRS, … AERES (HCERES) en France
– …
• Deux approches complémentaires:
– Input (ressources consacrées) : financement, personnel, plateaux
techniques, ….
– Output (résultats) : brevets, articles scientifiques, thèses , …
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Usage systématique de la bibliométrie
• Quelle(s) base(s) de référence ?
– Science Citation Index
– Pubmed
– Scopus
– …
• Quel(s) indicateur(s) ?
– Nombre total de publications
– Nombre de citations
– Impact Factor (ou IF pondéré)
– Facteur h
– Top 1%, Top 10%
– Indice de Citation Normalisé, …
– …
• Quel niveau d’analyse ?
– International (Europe / Monde)
– Européen
– National (interCHU)
– Inter-Régional
– Équipe
– Chercheur ?
– …
3 questions essentielles !!!
Le logiciel SIGAPS
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Recensement des Publications Scientifiques
• Publications scientifiques :
– Un des éléments quantifiant la Recherche
– Indispensable : évaluation interne/externe, financement, ...
• Recensement difficile en pratique :
– Charge de travail énorme, exhaustivité
– Problème de doublons, de validation
• Charge de travail des chercheurs ? Doit être MINIMALE
• Proposition d’un concept de synthèse automatisée des publications.
Système d ’Interrogation, de Gestion et d ’Analyse des Publications Scientifiques
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Objectifs de SIGAPS
• Les objectifs du logiciel sont les suivants :
– Faciliter le recensement de la production scientifique référencée
Pubmed (nombre d’articles réalisés sur une période donnée).
– Fiabiliser les données par des mécanismes de validation.
– Faciliter l’évaluation qualitative des articles au regard de la notoriété
des journaux, par discipline, dans lesquels les travaux ont été publiés.
– Automatiser l’analyse pour connaître l’environnement recherche de
l’établissement (collaborations internes, …) et suivre son évolution au
cours du temps
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Principe de SIGAPS
SIGAPS
Impact Factor Categorie Couleur
IF > P90 A
Q3 < IF < P90 B
MED < IF < Q3 C
Q1 < IF < MED D
IF < Q1 E
Inconnu NC
+
0
Recenser
Télécharger
Analyser
Visualiser
Agréger Évaluer
Hôpital
Pôle
A B C D E
Service
A B C D E
Service Service
Pôle
Navigateur Web
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le recensement des publications
• Avantages :
– Une des bases les plus utilisée en Sciences Biomédicales
– 28 millions de références depuis 1950,
– 5600 journaux indexés Medline, 2300 indexés Pubmed Central, …
– Outils d’extraction automatique disponibles
– Très complète (MESH, GRANTS, GENE, …)
– Gratuite !!!
• Limites :
– Couvre mal certains domaines (technologies, sciences sociales)
Interrogation nominative du serveur Pubmed
Problèmes d’homonymes Nécessité de valider les publications
(Et non sur les adresses, comme souvent en bibliométrie !!)
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
La Validation des données
• Dans SIGAPS, 3 niveaux de validation :
– Validation automatique VA (par le système)
– Validation externe VE (par l’administrateur)
– Validation manuelle VM (par le chercheur)
• Des outils de suivi et de relance
Problème de la validité des données : homonymes, noms de jeune fille, …
95 % au niveau national
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
L’Évaluation des articles
• Problème : l’IF varie fortement d’une discipline à une autre
• Classification statistique, par discipline, en 5 catégories (A à E)
correspondant aux percentiles de l’IF.
• Revues non recensées par l’ISI (actes de congrès, par exemple),
sont affectées à la catégorie NC.
Échelle à 6 niveaux basée sur l’Impact Factor
(JCR SCIE)
Avec cette classification, chaque discipline a 10%
de journaux en catégorie A, 15% in B, 25% in C, …
Max
Min
Médiane
Q3
Q1
+
0
P90 A
B
C
D
E
N
C Non Classé par l’ISI Abonnement national depuis 3 ans
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Comparaison de quelques disciplines
IF2017 = 𝑁𝑜𝑚𝑏𝑟𝑒 𝑑𝑒 𝑐𝑖𝑡𝑎𝑡𝑖𝑜𝑛𝑠,𝑒𝑛 2017, 𝑑𝑒𝑠 𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2015 𝑒𝑡 2016
𝑁𝑜𝑚𝑏𝑟𝑒 𝑑′𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2015 𝑒𝑡 2016
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Exemple : Revues de Pédiatrie
TQ : PEDIATRICS (127 revues en 2017)
Disponible dans SIGAPS (Menu Documentation)
IF Cat. IF Cat. IF Cat. IF Cat. IF Cat.
2168-6203 2168-6211 JAMA Pediatr 4.252 A 7.148 A 9.528 A 10.251 A 10.769 A TQ
0890-8567 1527-5418 J Am Acad Child Adolesc Psychiatry 6.354 A 7.26 A 7.182 A 6.442 A 6.25 A VE MY TQ
0031-4005 1098-4275 Pediatrics 5.297 A 5.473 A 5.196 A 5.705 A 5.515 A TQ
1054-139X 1879-1972 J Adolesc Health 2.748 B 3.612 A 3.838 A 3.974 A 4.098 A MY TQ NE
2047-6302 2047-6310 Pediatr Obes 2.419 B 4.573 A 3.689 A 3.4 A 3.98 A TQ
1359-2998 1468-2052 Arch. Dis. Child. Fetal Neonatal Ed. 3.861 A 3.12 A 3.969 A 4.099 A 3.953 A TQ
0022-3476 1097-6833 J. Pediatr. 3.736 A 3.79 A 3.89 A 3.874 A 3.667 A TQ
1744-165X 1878-0946 Semin Fetal Neonatal Med 3.132 A 3.028 B 2.8 B 3.33 A 3.435 A TQ
0003-9888 1468-2044 Arch. Dis. Child. 2.905 B 2.899 B 3.231 B 3.265 A 3.258 A TQ
0905-6157 1399-3038 Pediatr Allergy Immunol 3.859 B 3.397 B 3.947 B 3.775 B 4.137 B NI AQ TQ
1018-8827 1435-165X Eur Child Adolesc Psychiatry 3.554 B 3.336 B 3.339 B 3.295 B 3.553 B VE MY TQ
0012-1622 1469-8749 Dev Med Child Neurol 3.292 B 3.51 B 3.615 B 3.116 C 3.289 B TQ RT
1740-8695 1740-8709 Matern Child Nutr 2.973 B 3.064 B 3.505 B 2.528 C 3.233 B TQ SA
8755-6863 1099-0496 Pediatr. Pulmonol. 2.297 C 2.704 C 2.85 B 2.758 B 3.157 B TQ WE
0031-3998 1530-0447 Pediatr. Res. 2.84 B 2.314 B 2.761 B 2.882 B 3.123 B TQ
1529-7535 Pediatr Crit Care Med 2.326 C 2.338 C 2.659 B 3.495 B 3.092 B TQ DS
0095-5108 1557-9840 Clin Perinatol 2.13 C 2.441 B 2.611 B 3.233 B 2.915 B SD TQ
0146-0005 1558-075X Semin. Perinatol. 2.42 B 2.682 B 2.131 C 3.185 B 2.885 B SD TQ
0031-3955 1557-8240 Pediatr. Clin. North Am. 2.198 C 2.12 C 2.424 B 2.241 C 2.808 B TQ
1876-2859 1876-2867 Acad Pediatr 2.227 B 2.007 C 2.438 B 2.72 B 2.806 B TQ
1661-7800 1661-7819 Neonatology 2.369 B 2.649 B 2.754 B 2.598 B 2.688 B TQ
1040-8703 1531-698X Curr. Opin. Pediatr. 2.744 B 2.528 B 2.202 C 2.234 C 2.673 B TQ
0803-5253 1651-2227 Acta Paediatr. 1.842 C 1.674 C 1.647 C 2.043 C 2.58 B TQ
0803-5326 Acta Paediatr Suppl 1.842 C 1.674 C 1.647 C 2.043 C 2.58 B TQ
2153-2168 2153-2176 Child Obes NC 1.868 C 2.543 B 2.243 C 2.532 B TQ
0730-7659 1523-536X Birth 2.048 B 1.264 D 1.867 C 2.518 B 2.329 B SD TQ RZ
2015 2016 2017Discipline(s)ISSN ESSN Titre
2013 2014
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
L’interface
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Exemple : Analyse d’un chercheur
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Exemple : Analyse d’un chercheur
Détail des revues
Détail des disciplines
Analyse des mots-clés
Analyse des collaborations
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le score SIGAPS
• 2 composantes :
– La catégorie de la revue (C1)
– La position dans les auteurs (C2)
Score = C1 * C2
3 si Position =2 ou Avant-dernier
C2=
4 si Position =1 ou Dernier
1 sinon (y compris IL)
2 si Position =3 C1=
8 si A
3 si D
1 si NC
6 si B
4 si C
2 si E
Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de
32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d’une équipe est la somme des scores de tous les
articles. Si un article contient plusieurs auteurs , le score retenu pour l’article correspond au maximum des scores
des auteurs, chaque article ne pouvant être comptabilisé qu’une seule fois.
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Article Multi-établissements
Induced-membrane femur reconstruction after resection of bone malignancies:
three cases of massive graft resorption in children.
Accadbled F, Mazeau P, Chotel F, Cottalorda J, Sales de Gauzy J, Kohler R.
Orthop Traumatol Surg Res. 2013 99:479-83.
CHU Toulouse CHU Lyon CHU Montpellier
1er (4), ADA (2)
3*4= 12 points
pour Toulouse
2ème (3), 4ème (1) 3ème (2), DA (4)
3*3= 9 points
pour Montpellier
3*4= 12 points
pour Lyon
Orthop Traumatol Surg Res (OTSR): classée D donc 3 points
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Utilisation au sein des établissements
• Pour le chercheur, le responsable d’équipe : un outil d’auto-évaluation :
– Une vue précise des activités, thématiques (MESH), collaborations
– Une évaluation de la performance : %AB, score moyen, …
• Pour l’établissement :
– Recensement exhaustif et temps réel des publications
– Una aide dans la stratégie Recherche :
• Pôles d’excellence
• Collaborations internes
• Thématiques étudiées
– Un outil de valorisation :
• En terme d’image de marque
• Valorisation économique (MERRI)
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Au niveau national : État des lieux
Bilan quantitatif et qualitatif, sur des données validées, de la
production scientifique réalisée par les établissements hospitaliers.
• Plus de 550 établissements équipés :
– 32 CHRU / CHR
– 18 Centres de Lutte contre le Cancer
– 17 PSPH (FEHAP)
– 110 Centre Hospitaliers
– Service de Santé des Armées
– 290 cliniques privées
• 315 000 publications (Article, Edito, Review) sur la période 2000-2017
– 19% classés A, 21% classés B
– 12500 en 2000, 23400 en 2017 (+ 87% en 17 ans)
0
5000
10000
15000
20000
25000
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
A B C E D NC
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Finess
ARBUSTRaison Sociale Statut Région Export
Score-
2013
Score-
2014
Score-
2015
Score-
2016
Score-
2013-2016
750712184 AP-HP CHR Ile-de-France 2009 121030 110656 154673 154695 28.44
690781810 HOSPICES CIVILS DE LYON CHR Auvergne-Rhône-Alpes 2009 23238 21900 28149 31066 5.49
130786049 AP-HM CHR Provence-Alpes-Côte d'Azur 2009 18234 17904 18232 20115 3.95
590780193 CHRU DE LILLE CHR Hauts-de-France 2009 15041 13714 16213 16246 3.24
330781196 CHU HOPITAUX DE BORDEAUX CHR Nouvelle-Aquitaine 2009 13137 13855 16211 16398 3.15
310781406 CHU DE TOULOUSE CHR Occitanie 2009 15262 13372 15293 15229 3.14
340780477 CHU DE MONTPELLIER CHR Occitanie 2009 14361 13570 13943 15062 3.02
940000664 GUSTAVE ROUSSY CLCC Ile-de-France 2009 10505 12712 13016 13374 2.63
440000289 CHU DE NANTES CHR Pays de la Loire 2009 10669 10901 11290 12596 2.41
670780055 HOPITAUX UNIVERSITAIRES DE STRASBOURG CHR Grand Est 2009 9701 9237 10314 11952 2.18
F-540023264 CHU DE NANCY CHR Grand Est 2009 9395 9055 10042 10624 2.07
380780080 CHU GRENOBLE CHR Auvergne-Rhône-Alpes 2009 8943 8008 8818 10359 1.91
350005179 CHU DE RENNES CHR Bretagne 2009 7511 7636 8865 10027 1.79
750160012 INSTUTUT CURIE - SAINT-CLOUD CLCC Ile-de-France 2009 9065 6862 7745 8268 1.70
370000481 CHRU DE TOURS CHR Centre-Val de Loire 2009 7748 6692 7588 7447 1.57
F-060785011 CHU DE NICE - FONDATION LENVAL CHR Provence-Alpes-Côte d'Azur 2009 6005 7284 7289 6797 1.46
490000031 CHU D'ANGERS CHR Pays de la Loire 2009 6063 6027 6852 6836 1.36
630780989 CHU DE CLERMONT-FERRAND CHR Auvergne-Rhône-Alpes 2009 5653 5278 6365 7343 1.30
210780581 CHU DIJON CHR Bourgogne-Franche-Comté 2009 5611 5679 6331 6808 1.29
760780239 CHU DE ROUEN CHR Normandie 2009 5358 5255 5932 6318 1.21
250000015 CHU DE BESANCON CHR Bourgogne-Franche-Comté 2009 4979 5267 5697 6474 1.18
300780038 CHU DE NIMES CHR Occitanie 2009 7179 5930 3928 4480 1.16
420784878 CHU SAINT-ETIENNE CHR Auvergne-Rhône-Alpes 2009 4952 5370 5930 5540 1.16
750810814 SERVICE DE SANTE DES ARMEES SSA Service de santé des armées (SSA) 2009 5412 5201 4637 5882 1.12
140000100 CHU DE CAEN CHR Normandie 2009 5236 4862 5191 5919 1.12
F-RIMBO RIMBO GCS Bretagne 2016 3851 4697 5637 5446 1.03
F-750056277 GCS RAMSAY-GDS RE GCS Ile-de-France 2013 5057 4269 3929 5769 1.01
800000044 CHU D'AMIENS CHR Hauts-de-France 2009 4766 4471 4579 4763 0.99
870000015 CHU DE LIMOGES CHR Nouvelle-Aquitaine 2009 3625 4091 4398 4571 0.88
510000029 CHU DE REIMS CHR Grand Est 2009 4022 3561 4377 4696 0.88
Niveau National : Calcul d’Indicateurs MERRI 2018
Période de 4 ans (2013-2016) - Pondération (8 6 4 3 2 1)*(4 3 2 1 .. 3 4)
Prise en compte des publications "Journal Article", "Editorial" et "Review"
https://solidarites-sante.gouv.fr/IMG/xlsx/dotation_socle_2018_v2.xlsx
Dégroupage
Le logiciel SIGREC
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Pourquoi SIGREC ?
• Nécessité de disposer d’un outil qui permet le recensement des
essais cliniques et le suivi des inclusions.
• Rapprochement de 2 démarches :
– Démarche CENGEPS : indicateurs de suivi des essais et des inclusions.
– Démarche MT2A : indicateurs pour le financement MERRI.
• Tous types de Promotion :
– Promotion académique :
• CHU, CLCC, CH
• Sociétés savantes, Associations, EPST, …
– Promotion industrielle
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Les principes de SIGREC
• Automatiser et généraliser les échanges d’informations entre les établissements.
• Les informations générales de l’essai sont saisies par le promoteur et transmises aux centres investigateurs.
• Seul le promoteur peut modifier les caractéristiques de l’étude. Il peut alors automatiquement transmettre les modifications réalisées : système de synchronisation.
• Les inclusions sont saisies par les investigateurs et transmises automatiquement au promoteur.
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le logiciel : Informations Générales
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le logiciel : Gestion des Centres
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le logiciel : les rapports
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
3 indicateurs
• Le score « Essais » : calculé à partir du nombre d’études actives (tous promoteurs) avec diverses pondérations.
• Les inclusions "Promoteur" : nombre d'inclusions réalisées dans les essais pour lesquels l'établissement est promoteur, quelque soit le centre. Ce nombre mesure le nombre d'inclusions suivies par l’établissement au titre de promoteur.
• Les inclusions "Investigateurs" : c'est le nombre d'inclusions réalisées au sein d'un établissement, quelque soit le promoteur. Ce nombre mesure le nombre réel d'inclusions réalisées au sein d'un établissement.
• Une pondération est appliquée aux inclusions pour éviter de sur pondérer les études à grand nombre d’inclusions.
Ne comptabilise que les Recherches Interventionnelles (RBM/SC et RIPH1/2)
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le score « Essais »
• S1: « Établissement promoteur" : calculé à partir des essais dont
l’établissement est promoteur.
• S2 : "Investigateur" dans des essais promus par un autre établissement
MERRI.
Surpondération pour les études Phase I ou Phase II
• S3 : "Industriels" : score calculé sur l’ensemble des essais industriels
pour lesquels l’établissement est investigateur. Plus pris en compte
• S4: "Académiques non institutionnels" : calculé sur l’ensemble des essais
promus par des associations, sociétés savantes, ... dont l’établissement est
investigateur ou coordonnateur. Plus pris en compte
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Le score « Essais »
Score « Nombre d’études » - Exemple MERRI 2018 : études RI actives en 2016
Attention : Ne sont prises en compte que les études avec inclusions !!
Promoteur Investigateur
Finess
ARBUSTRaison Sociale
Multi
centrique
Multi
centrique 12
Mono
centrique
Mono centrique
12S1 Inves Inves12 S2
Score
Essais
750712184 AP-HP 200 20 141 14 2975 306 35 341 3316
690781810 HOSPICES CIVILS DE LYON 71 8 131 6 1475 209 24 233 1708
590780193 CHRU DE LILLE 52 5 93 2 1045 175 18 193 1238
340780477 CHU DE MONTPELLIER 50 1 109 0 1055 136 9 145 1200
130786049 AP-HM 28 1 92 4 770 176 22 198 968
Coeff Nombre Total
Muticentrique Phase I/II 20 5 100
Muticentrique Non Phase I/II 10 47 470
Monocentrique Phase I/II 10 2 20
Monocentrique Non Phase I/II 5 91 455
1045
Coeff Nombre Total
Investigateur Phase I/II 2 18 36
Investigateur Non Phase I/II 1 157 157
193
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Pondération des inclusions MERRI 2009-2010
Classe NbEssais NbInclusions Mediane %NbEssais % NbInclusions Coeff
[1-200] 1499 42652 14 95.42 52.60 1
[201-500] 53 15546 291 3.37 19.17 0.8
[500-1000] 14 9400 616 0.89 11.59 0.5
> 1000 5 13494 2309 0.32 16.64 0.1
Total 1571 81092 15 100.00 100.00
0
100
200
300
400
500
600
700
800
900
1000
1100
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Nombre d'Inclusions
Sco
re "
Incl
usi
ons"
Les 5 essais à plus de 1000 inclusions ne représentent plus que 6.24% au lieu de 16.64%
Même principe pour les MERRI 2011 et 2012 – Classes et coefficients différents
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
MERRI 2013 - Passage au logarithme : y=Ln(x+1)
0.000
1.000
2.000
3.000
4.000
5.000
6.000
0 20 40 60 80 100 120 140 160 180 200
Nombre d'Inclusions
Sco
re
NbInclus Ln(x+1)
1 0.693
2 1.099
3 1.386
4 1.609
5 1.792
6 1.946
7 2.079
8 2.197
9 2.303
10 2.398
11 2.485
12 2.565
13 2.639
14 2.708
15 2.773
NbInclus Ln(x+1)
20 3.045
50 3.932
100 4.615
150 5.017
200 5.303
300 5.707
400 5.994
500 6.217
1000 6.909
1500 7.314
2000 7.601
3000 8.007
5000 8.517
10000 9.210
10 inclusions = 2.4 points
100 inclusions = 4.6 points
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
MERRI 2014 - Passage à la racine carrée: y= 𝑥
NbInc Score
1 1.00
2 1.41
3 1.73
4 2.00
5 2.24
6 2.45
7 2.65
8 2.83
9 3.00
10 3.16
11 3.32
12 3.46
13 3.61
14 3.74
15 3.87
NbInc Score
20 4.47
50 7.07
100 10.00
150 12.25
200 14.14
300 17.32
400 20.00
500 22.36
1000 31.62
1500 38.73
2000 44.72
3000 54.77
5000 70.71
10000 100.00
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Les scores Inclusions : exemple
Etude Multicentrique
Promotion Lille
CHU Montpellier
100 inclusions
Score Inclusion Promoteur : 200 = 14.1421 pour Lille
Score Inclusion Investigateur : répartition au prorata des inclusions
UL Bruxelles
50 inclusions
CHU Lille
50 inclusions
200 inclusions en 2014
Inc Inv : 0𝐼𝑛𝑐 𝐼𝑛𝑣 ∶ 50
200200 𝐼𝑛𝑐 𝐼𝑛𝑣 ∶
100
200200
SIGAPS, SIGREC et les
financements MERRI
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
La dotation socle (ex Part modulable)
• 1.57 Milliard d’euros en 2018
• Basée sur une logique de résultats
• Résultats mesurés par des indicateurs :
– Publications (SIGAPS)
– Enseignement (Nb étudiants)
– Essais cliniques (SIGREC)
943 M€ en 2018
236 M€ en 2018
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Un modèle qui évolue…
• Accroissement du poids budgétaire de la part modulable par transfert
des crédits de la part fixe depuis 2012 (transfert achevé en 2016)
• Modifications des poids relatifs des indicateurs au sein de la part
modulable (appelée maintenant Dotation Socle)
• Modifications des modes de calculs des indicateurs
• Apparition du « dégroupage » pour l’AP/HP et les HCL (MERRI 2017)
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
Publications 64.2 60 57.5 57.5 57.5 57.5 59.86 59.86 60.00 60.00 60.00
Essais cliniques - 7.5 10 11.5 12.5 13.5 14.05 14.05 15.00 15.00 15.00
Etudiants 33.9 29 29 29 29 29 26.09 26.09 25.00 25.00 25.00
Valorisation 1.9 3.5 3.5 2 1 0 0 0 0 0 0
Autres Exploitations des
données SIGAPS/SIGREC
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Impact du Plan Alzheimer
Nombre d’Articles sur la MA, période 2005-2017
http://www.ncbi.nlm.nih.gov/pubmed/26796477
0
100
200
300
400
500
600
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
A B C D E NC
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Indices de Spécialisation par Etablissement
Taille de la bulle : score ALZ 2004-2013
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Analyse AVC pour L’Express
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Cellule Bibliométrie CNCR
• Production globale des CHU : données SIGAPS nationales, par CHU.
• Visibilité internationale : unification des adresses dans WoS
• Les CHU, acteurs majeurs de la recherche translationnelle : rapport CNCR
et article Presse Médicale
• Des CHU spécialisés : analyses par pathologie : Comparaison de périodes
- Indices de Spécialisation
• Partenariat Hcéres
• Analyses à façon
www.cncr.fr
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Analyse des données nationales
Annee Total A B C D E NC Score %AB
2005 13707 2411 2498 2284 1560 4049 905 195112 35.8
2006 14182 2297 2563 2563 1640 4205 914 198419 34.3
2007 14343 2359 2798 2491 1610 4032 1053 201216 36.0
2008 15192 2532 2894 2710 1808 4185 1063 212423 35.7
2009 15655 2920 3140 2650 1896 3859 1190 223706 38.7
2010 16208 3092 3461 2932 2203 3352 1168 236851 40.4
2011 16450 3221 3695 3052 2350 2749 1383 243663 42.0
2012 17356 3333 3958 3377 2382 2654 1652 251813 42.0
2013 17897 3529 3988 3528 2311 2668 1873 258369 42.0
2014 17573 3356 3965 3479 2336 2498 1939 249856 41.7
Total 158563 29050 32960 29066 20096 34251 13140 2271428 39.1
Analyse de la production
des 32 CHU/CHR sur les
10 dernières années
(Journal Article, Editorial, Review, hors IL)
www.cncr.fr
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Unification des adresses
Etablissement SIGAPS Rappel Avant Après EvolutionAP-HP 66691 93.3 27209 62209 229HCL 14614 87.5 7763 12787 165AP-HM 10545 84.2 6176 8877 144CHU Lille 9190 95.5 3487 8779 252CHU Bordeaux 8416 75.7 5198 6370 123CHU Toulouse 8383 91.9 2285 7702 337CHU Montpellier 8184 80.8 2358 6611 280CHU Strasbourg 6518 75.8 2694 4939 183CHU Nantes 6344 81.3 784 5160 658CHU Nancy 5787 80.3 1910 4646 243CHU Grenoble 5133 85.8 2364 4402 186CHU Rennes 4505 79.2 2812 3567 127CHU Nice 4294 81.1 1171 3483 297CHU Tours 4131 83.5 2395 3451 144CHU Rouen 3915 92.4 2264 3618 160CHU Angers 3671 80.5 2776 2955 106CHU Dijon 3399 82.0 1739 2787 160CHU Clermont Fd 3206 85.7 1368 2748 201CHU Nîmes 3147 42.1 1164 1325 114CHU Besançon 3043 92.5 2265 2815 124CHU Caen 2937 87.0 2160 2556 118CHU Amiens 2869 82.4 682 2364 347CHU St Etienne 2812 78.6 1068 2210 207CHU Brest 2683 87.2 2079 2340 113CHU Reims* 2442 85.8 846 2095 248CHU Limoges 2378 80.3 559 1910 342CHU Poitiers 2284 91.4 2012 2087 104CHU Réunion* 802 50.4 25 404CHR Orléans* 668 80.2 176 536 305CHU Martinique* 496 64.1 55 318CHU Pte à Pitre* 307 83.7 107 257CHR Metz Thionville* 259 82.6 72 214 297
WoS
Flyer sur la
production
des CHU
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Flyer Publications
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Rapport Publications
• 112 700 articles sur 2006-2015
• 55% de la production M&HS en France
• 17% de la production française
• Evolution des top10% et Top 1%
• Analyse des collaborations
• Détail par Discipline (WoS Categories)
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Flyer Essais Cliniques
Quizz
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Question 1
A) 4 points
B) 8 points
C) 12 points
D) 32 points
Je publie un article en premier auteur dans une revue A.
Cet article est comptabilisé :
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Question 2
A) 320 €
B) 16 000 €
C) 32 000 €
D) 64 000 €
Je publie un article en premier auteur dans une revue A.
Cet article est comptabilisé 32 points. Il est valorisé environ :
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Question 3
A) S1=5 et S2=0
B) S1=5 et S2=1
C) S1=10 et S2=0
D) S1=10 et S2=2
Mon établissement est Promoteur d’une Phase 3 multicentrique
avec 100 inclusions en 2014. Le score Essais est de :
SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon
Question 4
A) Inc Prom=10 et Inc Inv=10
B) Inc Prom=10 et Inc Inv=0
C) Inc Prom=5 et Inc Inv=5
D) Inc Prom=10 et Inc Inv=5
Mon établissement est Promoteur d’une Phase 3 multicentrique
avec 100 inclusions en 2014, dont 50 dans l’établissement.
Les score Inclusions sont de :
Des questions ?