Auteur moral

France. Conseil général de l'environnement et du développement durable

Auteur secondaire

Résumé

La méthode d'évaluation proposée pour l’évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement (CETE) se veut légère. L'accent est mis sur le respect du protocole régissant les rapports entre chaque pôle de compétence et d'innovation et la direction pilote, les mécanismes de gouvernance mis en place, la mesure de la réalisation des objectifs affichés et la qualité des productions. L'évaluation se conclut le cas échéant par des préconisations d'évolution du pôle. De manière générale, la mission confirme l'intérêt des pôles de compétence et d'innovation pour maintenir ou développer des compétences prioritaires. Elle relève l'importance, pour le succès des pôles, de la bonne définition des commandes qui leur sont adressées, de la qualité de leurs rendus, de l'existence d'une part significative d'études locales dans leur activité et de la réunion régulière et effective de leur comité de suivi. Elle recommande d'actualiser régulièrement les besoins de compétences au sein de l'administration, attire l'attention sur la fragilité de certains pôles du fait de leur petite taille, et préconise de continuer à distinguer clairement au sein du futur CEREMA les fonctions de commanditaire et de prestataire.

Editeur

CGEDD

Descripteur Urbamet

méthode ;évaluation ;services déconcentrés ;exercice des compétences ;gouvernance ;objectif ;qualité de service ;évolution

Descripteur écoplanete

Thème

Méthodes - Techniques ;Administration publique

Texte intégral

n°- 008915-01 Octobre 2013 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement CONSEIL GÉNÉRAL DE L'ENVIRONNEMENT ET DU DÉVELOPPEMENT DURABLE Rapport n° : 008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement établi par Pascal Douard Ingénieur général des ponts, des eaux et des forêts Jean-Louis Durville Ingénieur général des ponts, des eaux et des forêts Daniel Fédou Ingénieur général des ponts, des eaux et des forêts Octobre 2013 Fiche qualité La mission du CGEDD qui a donné lieu à la rédaction du présent rapport a été conduite conformément au dispositif qualité du Conseil(1). Rapport CGEDD n° 008915-01 Date du rapport : Octobre 2013 Titre : Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Commanditaire(s) : Direction de la recherche et de l'innovation (DRI), Direction générale des infrastructures, du transport et de la mer (DGITM), Direction de l'habitat, de l'urbanisme et des paysages (DHUP) Date de la commande : 12/02/2013 Auteurs du rapport (CGEDD) : Pascal Douard, Jean-Louis Durville, Daniel Fedou, aidés pour les évaluations des PCI par Patrick Albrecht, Philippe Bellec, Emmanuel Bouchon, Georges Debiesse, JeanPierre Decourcelle, Christine Deffayet, Jean Lévêque Coordonnateur: Pascal Douard Superviseur : Patrice Parisé Relecteur : Marc D'Aubreby Membres du comité des pairs : Partrice Parisé, Marc d'Aubreby, Hervé Dupont, Jean Guillot, Jean-Louis Hélary, Anne-Marie Levraut, Dominique Marbouty, Bruno Verdon Nombre de pages du rapport : 54 (1) Guide méthodologique s'appliquant aux missions confiées au CGEDD (2) Les membres de la mission attestent que l'impartialité d'aucun d'entre eux n'a été mise en cause par des intérêts particuliers ou par des éléments de ses activités passées ou présentes. Sommaire Liste des recommandations ..................................................................................3 Résumé.....................................................................................................................5 1. Contexte et déroulement de la mission..............................................................6 1.1. Un regroupement des compétences qui avait commencé avec les équipes ressources......................................................................................................................... 6 1.2. Des PCI décidés pour maintenir des compétences ou en créer sur des secteurs prioritaires au sein du réseau scientifique et technique.....................................................6 1.3. Soixante et un PCI hétérogènes, en fonction notamment de leur direction générale de rattachement................................................................................................................. 7 1.4. Une évaluation prévue dans les protocoles créant les PCI.........................................8 1.5. Une méthodologie d'évaluation élaborée puis testée sur huit PCI prédéterminés......9 2. La méthodologie d'évaluation a été mise au point après avoir été testée sur huit PCI......................................................................................................................11 2.1. Une évaluation mobilisant des ressources limitées proportionnées à l'enjeu............11 2.2. Une évaluation fondée sur le protocole et autres documents existants, les travaux du PCI, un rapport d'auto-diagnostic, l'appréciation des commanditaires.............................11 2.3. Une évaluation ne faisant pas nécessairement appel à des évaluateurs extérieurs. 12 2.4. Des tests soulignant l'intérêt de questionner les bénéficiaires hors comité de pilotage et permettant de préciser rendus et indicateurs...............................................................12 2.5. Une évaluation permettant au niveau de chaque PCI de faire des recommandations sur son évolution.............................................................................................................13 2.6. La méthodologie proposée figure en annexe............................................................13 3. Une amélioration des systèmes d'information et de gestion faciliterait l'évaluation...............................................................................................................15 3.1. Le système de suivi des commandes, production, facturation..................................15 3.2. Les démarches qualité..............................................................................................16 3.3. Le rapprochement des rapports et des commandes, l'identification des commanditaires...............................................................................................................16 4. L'évaluation de huit PCI tests permet de conclure à l'intérêt des PCI..........17 4.1. Des PCI appréciés par les personnels qui en font partie..........................................17 4.2. Des PCI appréciés par les gestionnaires des CETE.................................................17 4.3. Des PCI appréciés par les directions générales, qui doivent cependant mieux prendre en compte la logique des PCI.............................................................................18 4.4. Des PCI permettant de maintenir des compétences ou d'en créer dans des domaines prioritaires.......................................................................................................19 5. Plusieurs facteurs de succès peuvent être identifiés.....................................20 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 1/49 5.1. La réunion effective et l'ouverture des comités prévus dans les protocoles..............20 5.2. La qualité des relations entre commanditaire et PCI matérialisée par la qualité des commandes..................................................................................................................... 20 5.3. L'ancrage territorial des PCI.....................................................................................21 5.4. La reconnaissance des agents par les comités de domaine.....................................21 5.5. Le soin apporté à la présentation des productions....................................................22 6. A contrario, plusieurs points de vigilance sont à prendre en compte..........23 6.1. La fragilité de certains PCI........................................................................................23 6.2. La contribution des PCI au fonctionnement en réseau des Cete..............................23 6.3. Une actualisation périodique des priorités................................................................24 6.4. Le travail d'administration centrale pour le compte de la DHUP...............................24 6.5. La traduction des besoins de la DGITM par ses « têtes de réseau »........................25 6.6. L'intégration future du commanditaire et du prestataire dans une même entité........25 7. Conclusion...........................................................................................................27 7.1. Le rôle de la DRI.......................................................................................................27 Annexes..................................................................................................................28 1. Lettre de mission................................................................................................29 2. Évaluation des pôles de compétence et d'innovation (PCI)..........................33 2.1. Objet de la note méthodologique proposée.............................................................33 2.2. Contexte.................................................................................................................. 33 2.3. L'évaluation.............................................................................................................34 2.3.1. Objectifs et champ de l'évaluation..................................................................34 2.3.2. Éléments servant à l'évaluation .....................................................................35 2.3.3. Déroulement de l'évaluation...........................................................................36 2.3.4. Schéma de réalisation de l'évaluation............................................................37 2.3.5. Documents demandés à l'équipe PCI évaluée...............................................38 2.3.6. Avis demandés à la DAC pilote du PCI évalué et aux têtes de réseaux.........40 2.3.7. Questions indicatives à poser aux bénéficiaires et autres parties prenantes..41 3. Liste des personnes rencontrées.....................................................................42 4. Glossaire des sigles et acronymes...................................................................46 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 2/49 Liste des recommandations 1.Utiliser la méthodologie proposée pour évaluer les PCI..................................14 2.Imputer au PCI toute l'activité se rattachant logiquement au PCI pour avoir une vision la plus exacte possible de son activité...............................................15 3.Dans le système de suivi de l'activité, distinguer clairement les trois notions de commandes, coût de production, facturation et saisir les véritables coûts de production...........................................................................................................16 4.Mettre en place et exploiter un système efficace de recueil de la satisfaction des clients.................................................................................................................16 5.Avoir un système d'information permettant de retrouver facilement cahiers des charges et éléments remis à partir des références de la commande.........16 6.Conserver les deux idées de base des PCI : la spécialisation des équipes et le pilotage par la demande......................................................................................19 7.Réunir au moins une fois par an les comités de suivi, élargis aux parties prenantes, pour arrêter la programmation des travaux du PCI..........................20 8.Définir au Cerema les prestations attendues par l'extérieur de manière précise, à charge pour le Cerema de les traduire pour les PCI sous forme de commande interne incluant cahier des charges, ressources affectées et délai de réalisation............................................................................................................21 9.Conserver dans l'activité des PCI une part d'études territoriales suffisante. ...................................................................................................................................21 10.Inciter les PCI à faire qualifier par les comités de domaine comme spécialistes ou experts ceux de leurs agents qui ont de bonnes chances de l'être...........................................................................................................................22 11.Veiller à la présentation des productions et à leur évaluation explicite lors des réunions des comités techniques...................................................................22 12.Éviter des PCI constitués de trop petites équipes, éventuellement en regroupant équipes et thématiques.......................................................................23 13.Identifier de manière plus systématique dans les Cete des correspondants des PCI......................................................................................................................24 14.Actualiser les priorités en matière de compétences nouvelles ou à maintenir sur la base des besoins des directions générales, prélude à une réactualisation des PCI...........................................................................................24 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 3/49 15.Expliciter comment les tâches d'administration centrale effectuées par les PCI pour le compte de la DHUP seront effectuées à l'avenir..............................25 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 4/49 Résumé À la demande de la direction de la recherche et de l'innovation (DRI), de la direction générale des infrastructures, des transports et de la mer (DGITM) et de la direction de l'habitat, de l'urbanisme et des paysages (DHUP), ce rapport définit une méthode d'évaluation des pôles de compétence et d'innovation (PCI) et souligne leur pertinence pour les années à venir à la lumière des huit évaluations réalisées. Les PCI sont des équipes constituées au sein des centres d'études techniques de l'équipement (Cete) pour maintenir des compétences ou en créer dans des domaines prioritaires pour les ministères chargés de l'écologie, des transports et du logement. Ils sont régis par des protocoles d'une durée de 3 à 4 ans prévoyant une évaluation à la fin de cette période. La méthode d'évaluation proposée se veut légère, mobilisant deux évaluateurs pendant cinq jours pour apprécier tout d'abord le respect du protocole en ce qui concerne les moyens en personnels dont a bénéficié le pôle, les commandes qui lui ont été confiées, les mécanismes de gouvernance mis en place, l'atteinte des objectifs affichés, et enfin l'apport du PCI au réseau scientifique et technique. L'évaluation porte également sur la qualité de la production du PCI. Elle se conclut par des préconisations d'évolution du pôle. Il est noté que quelques améliorations des systèmes d'informations des Cete aujourd'hui, du centre d'études et d'expertise sur les risques, l'environnement, la mobilité et l'aménagement (Cerema) demain faciliteraient cette démarche. Les huit évaluations de PCI réalisées ont permis de conclure à l'intérêt de conserver ce mode d'organisation, qui privilégie le pilotage par la demande et la spécialisation d'équipes pour accroître les compétences et réduire les coûts, au sein du futur Cerema. Le rapport met en exergue de bonnes pratiques en matière de PCI, à savoir des rendus de qualité pour faciliter la valorisation des études réalisées, une évaluation des agents des PCI par les comités de domaine, une part significative d'études locales, des commandes centrales de qualité, des comités de suivi se réunissant régulièrement et ouverts sur l'extérieur. Il souligne plusieurs points de vigilance, notamment : la fragilité de certains PCI du fait de leur petite taille, la difficulté de diffuser les acquis des PCI au sein du réseau des Cete, la nécessité d'actualiser périodiquement les besoins de compétences au sein de l'administration, la difficulté de poursuivre des tâches d'administration centrale pour le compte de la DHUP au sein du futur Cerema, enfin le risque de confusion entre commanditaire et prestataire dans le cadre de ce futur établissement public. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 5/49 1. Contexte et déroulement de la mission 1.1. Un regroupement des compétences qui avait commencé avec les équipes ressources Missionner des équipes sur des thèmes prioritaires est devenu au vingtième siècle un principe d'organisation généralisé. En 1998, ont été créées dans cette logique des « équipes ressources » au sein du réseau des centres techniques de l'équipement (Cete), dont la charte des équipes ressources de 2005 rappelle la définition : « Les équipes-ressources sont des équipes reconnues au niveau national pour une compétence définie, susceptibles de produire des méthodologies de pointe et pouvant intervenir en dehors de la zone d'action du Cete (les deux conditions sont nécessaires pour la qualification d'équipes ressources). Ce sont des équipes dont la stabilité, la rareté et/ou l'importance justifient une gestion particulière, tant au niveau local de chaque Cete qu'au niveau central pour en assurer la pérennité et la disponibilité à l'ensemble du réseau»1. La charte des équipes ressources de 2005 évoque déjà un contexte de raréfaction des experts, de pression à la baisse des moyens humains et financiers, d'attentes de nouvelles compétences. Elle propose une méthode d'évaluation des équipes ressources. 1.2. Des PCI décidés pour maintenir des compétences ou en créer sur des secteurs prioritaires au sein du réseau scientifique et technique En 2007, le ministère chargé de l'équipement devient le ministère de l'écologie, du développement et de l'aménagement durable, qui lance le « Grenelle de l'environnement ». La demande politique est de réorienter certaines compétences routières traditionnelles vers des champs nouveaux de l'écologie. Parallèlement, la révision générale des politiques publiques incite l'ingénierie d'État à se repositionner sur des tâches d'assistance à maîtrise d'ouvrage plutôt que sur des tâches de maîtrise d'oeuvre traditionnelle et à privilégier des études originales à haute valeur ajoutée en abandonnant des prestations plus banales. Le plan d'évolution des Cete de 2008 2, préparé par la Direction de la recherche et de l'innovation (DRI), fixe cinq cibles prioritaires : · réorientation du portefeuille d'activité ; · évolution des activités traditionnelles ; 1 2 Cf. La charte renouvelée des équipes ressources de 2005 Voir http://www.cotita.fr/IMG/pdf/3.2_presentation_du_plan_d_evolution_des_CETE_cle281e91.pdf Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 6/49 Rapport n°008915-01 · intégration des nouvelles têtes de réseau issues des sphères de l'écologie et de l'industrie ; · plus grande polarisation des compétences organisées en équipes ayant une taille critique suffisante, en phase avec le développement des pôles de compétitivité ; · plus grande ouverture des Cete sur leur environnement, à savoir les collectivités territoriales, les entreprises, les pôles de recherche, les universités. La polarisation des compétences se traduit notamment par la création des pôles de compétences et d'innovation (PCI). Les PCI sont les héritiers des équipes ressources. Ils s'inspirent également des discussions entre la direction générale de l'urbanisme, de l'habitat et de la construction (DGUHC) et les Cete, visant à faire travailler certains d'entre eux sur des besoins précis dans le cadre d'une démarche pluriannuelle. Les premiers protocoles de PCI signés seront d'ailleurs les protocoles impliquant la DGUHC. Les PCI sont définis comme des équipes identifiées au sein des Cete sur un champ d'activité spécifique plus ou moins technique. Ces centres de compétence répondent à deux préoccupations principales : · sur les thématiques nouvelles ou en développement, correspondant aux priorités des ministères chargés du logement et de l'écologie, créer ou conforter des équipes autour des activités de recherche, d'innovation, de méthodologie ; · sur les domaines d'activités traditionnelles, maintenir des équipes de taille suffisante pour conserver une capacité de recherche et d'innovation et un bon niveau d'expertise au sein du réseau. 1.3. Soixante et un PCI hétérogènes, en fonction notamment de leur direction générale de rattachement Sur la base d'une centaine de propositions des directions des Cete, 66 PCI ont été identifiés dans le tableau récapitulatif établi par la DRI 3, dont 61 actifs. Les PCI ont donné lieu à la signature de protocoles définissant notamment leurs objectifs et leurs moyens. Leur direction « pilote » est la direction générale des infrastructures, des transports et de la mer (DGITM) pour 36 d'entre eux et de la direction de l'habitat, de l'urbanisme et des paysages (DHUP) pour 22 d'entre eux. La direction générale de la prévention des risques (DGPR), la direction générale de l'énergie et du climat (DGEC), le commissariat général au développement durable (CGDD) et la délégation à la sécurité et à la circulation routière (DSCR) se partagent les autres. 3 Voir http://intra.cgdd.i2/IMG/pdf/2011_05_25_-_Liste_PCI_cle7c7d7c.pdf Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 7/49 Globalement, les PCI représentent aujourd'hui 1/3 de l'activité des Cete selon l'analyse faite dans le cadre de la préfiguration du Centre d'études et d'expertise sur les risques, l'environnement, la mobilité et l'aménagement (Cerema)4. Le vocable de PCI recouvre une réalité très diverse5. Outre la distinction « thématique nouvelle/secteur traditionnel », les PCI se différencient par : · la taille des équipes qui les composent ; · leur pilotage, assuré de manière plus ou moins directe par les directions d'administration centrale et, corrélativement, leur rapport plus ou moins étroit avec les services techniques centraux ; · la nature de leur production qui va de tâches d'administration centrale à des travaux de recherche en passant par l'élaboration de méthodologies et la réalisation d'études ; · l'importance de leur activité réalisée au bénéfice des services déconcentrés et/ou des collectivités territoriales ; · la présence en leur sein d'équipes de recherche associées ; · leur rayonnement hors de leur territoire d'origine en appui notamment à d'autres Cete6. D'une manière générale, les PCI relevant de la DHUP sont pilotés directement par les services de l'administration centrale, sans recours aux services techniques centraux ; ils sont de taille plus modeste et interviennent plus exclusivement pour l'administration centrale que ceux relevant de la DGITM. 1.4. Une évaluation prévue dans les protocoles créant les PCI L'évaluation des PCI est prévue dans le protocole créant les PCI. La charte des PCI7 propose un protocole type, d'une durée de 3 à 4 ans, comportant un paragraphe « évaluation » ainsi rédigé : « Il s'agit d'une évaluation de l'atteinte des objectifs fixés au pôle, des moyens mobilisés, en propre ou par le biais de partenariats, de la qualité des productions et de la contribution du PCI au bon fonctionnement en réseau des Cete. Elle associe des intervenants extérieurs au MEEDDM. 4 Cf. l'analyse des PCI disponible à l'adresse http://intra.portail.i2/pci-poles-de-competences-et-dr1760.html Cf. l'analyse des PCI disponible à l'adresse http://intra.portail.i2/pci-poles-de-competences-et-dr1760.html À noter que quelques PCI regroupent plusieurs Cete Voir http://intra.cgdd.i2/IMG/pdf/Charte_des_PCI_cle5ab716.pdf Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 8/49 5 6 7 Rapport n°008915-01 Une évaluation de ce type à échéance du protocole est recommandée. Nota : l'évaluation de la valeur scientifique des travaux de recherche conduite pour les équipes de recherche associées (ERA) par l'agence d'évaluation de la recherche et de l'enseignement supérieur (Aeres) ainsi que l'évaluation individuelle des chercheurs n'est pas à considérer dans le protocole. Elle dépend d'une autre approche. Des critères d'évaluation seront renseignés et intégrés aux rapports à destination du comité de pilotage et du comité technique. » Les premiers protocoles signés étant arrivés à échéance, la DRI s'est préoccupée, en lien avec la DGITM et la DHUP de définir une méthode d'évaluation, et a pour ce faire saisi le conseil général de l'environnement et du développement durable (CGEDD) par lettre en date du 12 février 2013 figurant en annexe du présent rapport. Cette saisine présente par ailleurs un intérêt particulier du fait de la création du Cerema. Les évaluations des PCI contribueront à la réflexion sur l'organisation du centre qui se mettra en place au 1er janvier 2014. 1.5. Une méthodologie d'évaluation élaborée puis testée sur huit PCI prédéterminés La mission chargée de proposer une méthode d'évaluation et de la tester sur huit PCI préalablement désignés a été lancée par lettre en date du 8 mars 2013. Elle a défini dans un premier temps une méthodologie à tester, après avoir rencontré les commanditaires de la mission, les préfigurateurs du Cerema ainsi qu'un Cete. À partir de début mai, elle a commencé l'évaluation des PCI suivants : · Accessibilité (Cete de Lyon ­ DHUP) · Aménagement durable des territoires (Cete de l'Ouest ­ DHUP) · Économie de la construction et montages complexes d'investissements publics (Cete Nord-Picardie ­ DHUP) · Lutte contre l'habitat indigne (Cete Méditerranée ­ DHUP) · Interface transports collectifs et voirie (Cete Méditerranée et Cete de Lyon ­ DGITM) · Régulation dynamique des réseaux de transport (Cete de Lyon et Cete d'Île-deFrance ­ DGITM) · Sécurité et durabilité des ouvrages d'art en béton précontraint (Cete NordPicardie ­ DGITM) · Transport de marchandise et logistique (Cete de l'Ouest ­ DGITM) d'opérations Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 9/49 Ces évaluations ont été réalisées entre début mai et fin août 2013. L'expérience prouve qu'il faut compter un minimum de six semaines entre la saisine du PCI et le rendez-vous avec l'équipe. Ce délai est nécessaire pour tenir compte des contraintes de calendrier et laisser un temps suffisant à la préparation et à l'exploitation des documents collectés. La phase de mise au point du rapport après évaluation, avant envoi dans le cadre d'une procédure contradictoire, demande un minimum d'une semaine. Pour réaliser les évaluations des PCI, la mission a cherché à constituer des équipes de deux à trois évaluateurs composées d'un membre de la mission évaluation des PCI, d'un membre de la mission chargée d'inspecter le Cete lorsqu'une telle inspection était prévue en 2013, et d'un spécialiste du domaine du PCI. Les rapports d'évaluation des huit PCI et les retours des Cete dans le cadre de la démarche contradictoire quand ils n'ont pas été intégrés dans les versions définitives figurent dans le recueil des évaluations qui complète ce rapport8. Sur la base de ces évaluations, la mission a retouché marginalement la méthodologie (chapitre 2). Elle a identifié des éléments qui faciliteraient les évaluations (chapitre 3), a conclu à l'intérêt des PCI (chapitre 4), a identifié des facteurs de succès des PCI (chapitre 5) et suggère de prendre en compte plusieurs points de vigilance (chapitre 6). 8 Ces rapports n'ont pas vocation à être publiés. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 10/49 Rapport n°008915-01 2. La méthodologie d'évaluation a été mise au point après avoir été testée sur huit PCI 2.1. Une évaluation mobilisant des ressources limitées proportionnées à l'enjeu Les interlocuteurs rencontrés par la mission pour préparer la méthodologie ont suggéré une évaluation « légère ». Dans les exemples de méthodologies existantes, la mission a noté que l'évaluation des équipes ressources avait été calibrée sur une durée de trois jours9. Cette durée s'est avérée trop courte pour l'évaluation des PCI qui requiert environ cinq jours pour les évaluateurs : deux jours de préparation y compris l'étude non exhaustive de la production du PCI, une journée sur place, deux jours pour contacter quelques bénéficiaires des productions et rédiger le rapport d'évaluation. Ces cinq jours sont mobilisés, comme indiqué plus haut, sur une période plus longue. Pour préparer les documents nécessaires à l'évaluation, les responsables des PCI ont indiqué avoir eu besoin de moins d'une semaine de travail. Si l'on prend l'exemple d'un PCI de dix personnes évalué par deux évaluateurs après une période de travail de 4 ans, le processus d'évaluation ainsi décrit représente l'équivalent de 0,3 % de la production du PCI10. 2.2. Une évaluation fondée sur le protocole et autres documents existants, les travaux du PCI, un rapport d'auto-diagnostic, l'appréciation des commanditaires La mission a pris le parti d'utiliser au maximum les documents existants reflétant l'activité des PCI. Le protocole, les compte rendus des comités de pilotage et des comités techniques, la liste des commandes passées aux PCI avec leur montant et leur date d'enregistrement, les états des personnels affectés au PCI au cours des différentes années avec leur curriculum vitae existent déjà, ainsi que les productions du PCI. Ces documents permettent d'apprécier, d'une part, dans quelle mesure le protocole constitutif du PCI a été respecté et de porter, d'autre part, une première appréciation sur la qualité des travaux du PCI. Un nombre limité d'indicateurs 11 permet en complément d'avoir une appréciation sommaire du PCI et de favoriser les comparaisons entre PCI. 9 Dans « Évaluation des équipes ressources, proposition d'une méthodologie pour une évaluation », document daté du 3 octobre 2003 communiqué à la mission par le Cete du Sud-Ouest (Didier Treinsoutrot) 2X5 (évaluateurs) +5 (préparation) + 10 (rencontre) / 210 (jours/an) X4 ans X 10 ETP = 0,003 Ces indicateurs sont par exemple le nombre d'équivalents temps plein du PCI, le taux de renouvellement des effectifs du PCI, le montant de commandes/nombre d'équivalents temps plein, le nombre annuel moyen de comités de pilotage et comités techniques. Voir l'annexe 2, paragraphe 2.3.5 pour la liste complète de ces indicateurs. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 11/49 10 11 Rapport n°008915-01 S'agissant de l'étude des productions du PCI, l'évaluation est différente de celle qui est pratiquée en matière de travaux de recherche, pour laquelle on dénombre les articles publiés dans les revues scientifiques de rang plus ou moins élevé. L'évaluation ne porte plus sur des travaux de recherche mais essentiellement sur des méthodologies et des études. On peut apprécier leur degré d'innovation et leur valeur ajoutée par rapport à ce qui existait, leur pertinence par rapport à la question posée, leur qualité d'écriture, leur présentation. La mission a également prévu, comme cela se fait pour beaucoup d'évaluations (celles des équipes associées autrefois, des laboratoires et établissements évalués par l'Aeres, des établissements scientifiques et techniques évalués par le CGEDD), de demander un rapport d'auto-diagnostic au PCI inspecté. L'auto-diagnostic permet au PCI une première réflexion sur son positionnement et constitue un bon support pour la rencontre entre évaluateurs et PCI. La mission a enfin demandé des contributions à la direction pilote du PCI et aux services techniques centraux impliqués dans la gouvernance du PCI. Les contributions de la direction pilote et des services techniques centraux contribuent significativement à l'appréciation que les évaluateurs peuvent porter sur la qualité des productions du pôle. 2.3. Une évaluation ne faisant pas nécessairement appel à des évaluateurs extérieurs Contrairement à ce qui était envisagé dans le protocole type, la mission n'a pas fait appel à des personnes extérieures au ministère pour évaluer les PCI. Ce choix est au départ motivé par un souci de pragmatisme : il s'agissait de tester une méthode non stabilisée dans un délai relativement rapide. Il était plus aisé dans ces conditions de faire appel aux ressources internes du CGEDD12, en mobilisant éventuellement les comités de domaine pour identifier des experts. À l'expérience, et sauf absence de compétences dans un domaine spécifique, ce choix semble pouvoir être maintenu, au moins pendant un certain temps. Actuellement, l'appel à une compétence extérieure peut se justifier pour l'examen d'une production particulière, mais pose des difficultés d'appréhension du contexte pour quelqu'un ne connaissant pas les Cete ayant à faire une évaluation dans un délai d'une semaine. 2.4. Des tests soulignant l'intérêt de questionner les bénéficiaires hors comité de pilotage et permettant de préciser rendus et indicateurs L'évaluation des huit PCI a montré l'intérêt de compléter la perception que les évaluateurs peuvent avoir du PCI en interrogeant des parties prenantes et des bénéficiaires tels que les services déconcentrés, les collectivités territoriales, voire les entreprises qui ne font pas partie du comité de pilotage du PCI. Outre le fait que de 12 Ainsi qu'un évaluateur du Service d'études sur les transports, les routes et leurs aménagements (Setra) Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 12/49 Rapport n°008915-01 telles interrogations permettent de mesurer que les PCI, bien connus à l'intérieur du réseau scientifique et technique, ne le sont généralement pas à l'extérieur, elles permettent de conforter des appréciations sur la qualité et la notoriété des travaux du PCI. 2.5. Une évaluation permettant au niveau de chaque PCI de faire des recommandations sur son évolution La mission n'a pas retenu à ce stade l'option d'une notation des PCI, préférant s'orienter vers des recommandations et des questionnements qu'elle espère utiles à l'évolution des PCI évalués. La notation des PCI en A, B et C, comme le pratique l'Aeres, outre qu'elle serait un peu délicate au vu de l'expérience limitée des évaluateurs en matière de PCI, n'apporterait pas grand-chose. Elle ne renseignerait qu'imparfaitement sur la qualité des équipes des Cete constituant le PCI, tant il est vrai que ce qui est apprécié par les évaluateurs est la performance du couple administration centrale ou son représentant/PCI. Elle ne permettrait pas de conclure au maintien ou à la suppression du PCI, cette décision devant également tenir compte des priorités en matière de compétence actualisées par les administrations centrales. La mission a préféré souligner dans ses évaluations ce qui s'éloigne du protocole ou des « bonnes pratiques » et est immédiatement améliorable : elle a par exemple relevé l'absence de comité de pilotage, ou un pourcentage insuffisant d'études locales. Elle a par ailleurs suggéré des évolutions, dans la composition des comités techniques et des comités de pilotage, dans le périmètre du PCI et la fixation de priorités, dans des rapprochements avec d'autres PCI. Ces préconisations gagnent à être organisées dans un rapport type d'évaluation, examinant dans un premier temps le respect du protocole (ressources humaines, montants et commanditaires des conventions, nature des travaux), dans un deuxième temps la qualité des travaux, pour ensuite aborder les points forts et les points faibles du PCI, les enjeux présents et futurs, et enfin les perspectives d'évolutions. 2.6. La méthodologie proposée figure en annexe La mission propose en annexe une méthodologie d'évaluation des PCI amendée en fonction des huit rapports d'auto-évaluation réalisés. Le document se veut compréhensible sans explication complémentaire par un PCI à qui il serait adressé à des fins d'évaluation et par les évaluateurs désignés. Cette méthode a été conçue et testée pour évaluer l'activité des PCI au cours des trois à quatre dernières années. Elle nécessitera éventuellement des adaptations après la mise en place du Cerema si l'on souhaite l'utiliser dans un contexte qui aura évolué avec le nouveau positionnement des services techniques centraux et un nouveau système de gestion des commandes aux PCI. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 13/49 1. Utiliser la méthodologie proposée pour évaluer les PCI. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 14/49 3. Une amélioration des systèmes d'information et de gestion faciliterait l'évaluation 3.1. Le système de suivi des commandes, production, facturation Dans l'évaluation des huit PCI tests, il n'a pas toujours été facile de recueillir les informations quantifiées relatives à l'activité du PCI. Il existe tout d'abord un problème d'imputation de ce qui relève du PCI et de ce qui n'en relève pas. Ainsi, la coordination du PCI n'est parfois pas identifiée comme une tâche du PCI. De même, les études locales, dans le champ d'activité du Cete et correspondant au domaine d'activité du PCI ne sont parfois pas, par convention, rattachées à l'activité du PCI. La mission recommande que tout ce qui relève de l'activité du PCI soit effectivement identifié dans le système d'information de suivi de l'activité comme relevant du PCI. Ensuite, peut-être parce que la demande n'en avait pas été faite de manière assez précise ou que la gestion des Cete eux-mêmes n'est pas suffisamment cadrée, les tableaux de suivi des commandes du PCI ne distinguent pas trois notions fondamentales qui sont : · les commandes, auxquelles on doit associer un commanditaire, une date de commande, et un montant précisé dans un devis ; · le coût de la production, correspondant aux temps passés par les personnes ayant participé à la commande multipliés par leurs coûts budgétaires ; · les facturations, auxquelles on doit associer une date de facturation et un montant. Faute de ces données, les équipes d'évaluation ont été limitées dans leurs diagnostics. Il est impossible de connaître de manière précise les commandes dont les coûts de production diffèrent des facturations. Il est également impossible d'apprécier la pertinence des devis effectués. Ainsi, par exemple, l'affirmation selon laquelle le coût de production des études du PCI « Lutte contre l'habitat indigne » est supérieur au coût des commandes ne peut être documentée. Faute de ces éléments, il est également difficile de décider comment la veille technologique doit être prise en compte dans les devis et les commandes. Devrait-elle normalement être effectuée sans donner lieu à commandes spécifiques (dans le cas d'un coût de production inférieur au coût des commandes laissant un peu de marge pour réaliser des tâches sans commandes), ou au contraire, devrait-elle donner lieu à commande identifiée ? 2. Imputer au PCI toute l'activité se rattachant logiquement au PCI pour avoir une vision la plus exacte possible de son activité. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 15/49 3. Dans le système de suivi de l'activité, distinguer clairement les trois notions de commandes, coût de production, facturation et saisir les véritables coûts de production. 3.2. Les démarches qualité Certains des PCI tests évalués relevant de Cete ayant mis en place des démarches qualité, les évaluateurs espéraient pouvoir collecter les commentaires des commanditaires sur les productions qui leur avaient été livrées. Il n'en a rien été. Les PCI ont indiqué que ces retours, quand ils existaient, étaient inexploitables. La mission recommande que soit mis en place des modalités efficaces de recueil de la satisfaction des différents clients et que les opinions recueillies soient conservées et périodiquement exploitées. 4. Mettre en place et exploiter un système efficace de recueil de la satisfaction des clients. 3.3. Le rapprochement des rapports et des commandes, l'identification des commanditaires Les évaluateurs ont parfois eu du mal à apprécier la qualité des prestations en l'absence du cahier des charges initial et des coordonnées précises du commanditaire qu'ils auraient pu questionner. L'identification de la personne responsable de l'étude ou de la démarche du coté du maître d'ouvrage facilite en tout état de cause le dialogue entre le commanditaire et son prestataire. La mission recommande que le système d'information des Cete puisse identifier la personne responsable de l'étude coté maître d'ouvrage et qu'elle soit mentionnée dans les rapports. Le système d'informations devrait permettre par ailleurs de retrouver facilement à partir des références de la commande le cahier des charges et les productions correspondantes. 5. Avoir un système d'information permettant de retrouver facilement cahiers des charges et éléments remis à partir des références de la commande. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 16/49 4. L'évaluation de huit PCI tests permet de conclure à l'intérêt des PCI L'évaluation des huit PCI tests a permis de conclure que les PCI présentent de nombreux avantages pour le réseau scientifique et technique aujourd'hui, pour le Cerema demain. 4.1. Des PCI appréciés par les personnels qui en font partie Les PCI sont appréciés par les personnels qui en font partie, notamment parce qu'ils leur permettent de travailler sur des sujets intéressants, considérés comme prioritaires, offrant une visibilité nationale. Mettre au point des méthodologies nationales, influer sur les politiques, côtoyer d'autres spécialistes, être à la pointe, acquérir une compétence professionnelle valorisable sont des éléments motivants. Cet attrait se traduit dans une relative facilité de recrutement des personnels à l'intérieur des PCI. Les postes proposés, à de rares exceptions près, ne restent pas vacants. On peut d'ailleurs à ce propos se demander si l'on recrute toujours les bons profils. Ainsi, les évaluateurs ont souligné l'intérêt d'approches économiques dans quelquesuns des domaines couverts par les PCI (pour évaluer le coût des réglementations de la construction, pour apprécier les bénéfices de la régulation, pour appréhender les aspects économiques et financiers des opérations d'aménagement). Mais les agents avec des profils d'économistes ne sont pas nombreux dans les deux ministères de rattachement des Cete, ce qui conduit à publier peu de fiches de postes dans ce domaine. Cette attractivité semble par ailleurs contradictoire avec un taux de rotation des personnels qui reste relativement élevé. Il ne semble pas que le personnel soit plus stable dans les PCI que dans le reste des ministères chargés de l'écologie, des transports et du logement. Faut-il s'en réjouir en imaginant que les anciens agents du PCI feront profiter d'autres structures de leurs compétences, ou au contraire le déplorer ? Il n'y a peut-être pas de réponse type, mais un intérêt à gérer la carrière de ces spécialistes au cas par cas en s'appuyant sur les comités de domaines pour que certains d'entre eux puissent effectivement contribuer sur des durées plus longues aux PCI. 4.2. Des PCI appréciés par les gestionnaires des CETE Les PCI sont également appréciés par les directions des Cete pour deux raisons essentielles. D'une part, ils leur permettent d'avoir un contact privilégié avec les directions d'administration centrale. D'autre part, ils leur procurent un volume d'activité stable et prévisible. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 17/49 La création des PCI a été ainsi perçue par le CETE de l'Ouest comme une opportunité de se mettre ­ ou de rester ­ en relation étroite avec les principaux décideurs du ministère que constituent les directions générales. À cet égard, ce n'est pas le fait du hasard si les 10 PCI du CETE de l'Ouest ­ dont 2 en association ­ sont rattachés aux cinq directions générales : 4 à la DGALN, 3 à la DGITM, 1 à la DGEC, 1 à la DSCR et 1 à la DGPR. Dans un contexte de profonde réorganisation des services déconcentrés de l'État, la préoccupation de rester en contact aussi étroit que possible avec les décideurs est parfaitement justifiée, pour ne pas risquer d'engager les équipes dans des actions qui n'ont pas d'avenir. La prévisibilité des commandes liées aux PCI découle des montants minima de titre IX inscrits dans les protocoles correspondant aux commandes des administrations centrales ou des têtes de réseaux à qui elles demandent de mettre ces crédits en oeuvre. C'est ainsi, selon l'étude précitée, le tiers de l'activité des Cete qui rentre dans le domaine du prévisible. A contrario la création des PCI n'a pas nécessité de repenser l'organisation des Cete. Les PCI s'intègrent en général bien à l'intérieur d'un, voir de deux départements. La coordination est en général assurée en confiant à un adjoint du chef de département ou à un responsable d'une unité à l'intérieur du département le soin de gérer le PCI. Procéder différemment en faisant apparaître les PCI dans l'organigramme aurait été dangereux, souligne un responsable de département, car les priorités ne sont pas immuables. 4.3. Des PCI appréciés par les directions générales, qui doivent cependant mieux prendre en compte la logique des PCI Les PCI sont globalement appréciés par les directions générales : ils leur permettent de progresser sur des thématiques jugées prioritaires. Mais il apparaît que les directions générales ne se sont pas encore pleinement adaptées à la logique des PCI. La DGITM a continué à utiliser ses têtes de réseau (Setra, Certu, Cetmef, Ifsttar 13) pour suivre les PCI. Cela présente plusieurs avantages, en particulier celui de donner à ces derniers des interlocuteurs techniquement compétents et plus disponibles, donc plus à même de les faire progresser, en particulier grâce à la définition des commandes et au suivi de leur exécution. Il est moins certain en revanche que la DGITM se soit suffisamment impliquée dans le processus, d'une part pour vérifier que les têtes de réseau faisaient bien ce que l'on attendait d'elles, d'autre part pour instaurer un dialogue entre PCI et sous-directions métiers de la direction générale. 13 Setra : Service d'études sur les transports, les routes et leurs aménagements ­ Certu : Centre d'études sur les réseaux, les transports, l'urbanisme et les constructions publiques ­ Cetmef : Centre d'études techniques maritimes et fluviales ­ Ifsttar : Institut français des sciences et technologies des transports, de l'aménagement et des réseaux Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 18/49 La DHUP pour sa part a tenu à suivre les PCI directement, par ses sous-directions ou bureaux. Les PCI ont été en partie utilisés pour pallier le manque d'effectifs de l'administration centrale. Or l'animation des correspondants thématiques des DREAL sur un sujet donné ou le suivi de l'activité des services déconcentrés ne relève pas forcément des tâches d'un Cete que l'on imagine davantage impliqué sur l'établissement de méthodologies ou l'application des politiques dans des démarches locales. Le pilotage direct a pour effet de créer un ensemble PCI / sous-direction fermé sur lui-même, qui certes se gère convenablement, mais qui n'est organisé ni pour transmettre son savoir, ni pour recevoir des critiques constructives. La DHUP, qui a été à l'origine des premiers PCI, n'a par ailleurs pas fait l'effort, quatre ans après la signature des premiers protocoles, de réactualiser les priorités en matière de compétences définies en 2008. 4.4. Des PCI permettant de maintenir des compétences ou d'en créer dans des domaines prioritaires Les PCI ont été créés à l'origine pour maintenir ou créer des compétences dans des domaines prioritaires. Dans les faits, le pilotage des PCI se fait davantage par les responsables de la production (la structure traditionnelle des Cete) que par les responsables des compétences (les responsables de domaine que certains Cete ont identifiés). Pour autant, la préservation des effectifs sur les domaines considérés comme prioritaires combinée à des commandes que l'on qualifiera de qualifiantes (participation à des démarches de recherche, élaboration de méthodologies en lien avec les « têtes de réseaux », études locales difficiles) font conclure à la capacité des PCI à contribuer à la création ou au maintien de compétences prioritaires. L'organisation des PCI s'est progressivement mise en place sur deux bases saines, le pilotage par la demande et la spécialisation d'équipes pour accroître les compétences et réduire les coûts. Les directions générales, qui souhaitaient maintenir des compétences sur des champs prioritaires, et les Cete, qui, partageant cet objectif, avaient aussi un souci d'efficacité se sont ainsi rencontrés. Le système créé porte progressivement ses fruits. Les résultats obtenus à ce jour en termes de compétences sont évidemment variables d'un PCI à l'autre, mais globalement il a fonctionné. Et personne semble-t-il ne remet en cause l'idée qu'il faut spécialiser les équipes pour maintenir et développer les compétences nécessaires au ministère. Tout au plus peut-on remarquer qu'il reste aujourd'hui un décalage important entre le périmètre des ministères et celui des PCI : certaines directions générales sont beaucoup plus présentes que d'autres du fait d'une inertie importante dans l'affectation des moyens et l'évolution des compétences. 6. Conserver les deux idées de base des PCI : la spécialisation des équipes et le pilotage par la demande Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 19/49 5. Plusieurs facteurs de succès peuvent être identifiés La mission a identifié au travers des huit évaluations de PCI auxquelles elle a procédé quelques bonnes pratiques contribuant au succès des PCI 5.1. La réunion effective et l'ouverture des comités prévus dans les protocoles Dans les PCI évalués, la distinction n'est pas toujours nette entre les deux comités de suivi prévus, à savoir le comité de pilotage et le comité technique. Ces deux comités de suivi ont réuni à peu près les mêmes participants. En théorie, le comité technique examine les études passées et prépare la programmation future. Le comité de pilotage arrête cette programmation et confirme les orientations stratégiques. Il comprend la DRI, qui n'a pas toujours été présente. Il est clair que la réunion du comité de pilotage doit être préparée par le comité technique. Ces comités sont utiles. Ils participent au pilotage par la commande. Ils permettent potentiellement de réunir les « parties prenantes » et d'appliquer ainsi un des préceptes fréquemment mis en avant de bonne gouvernance. Ils offrent la possibilité de mettre en contact ceux qui sont chargés de l'élaboration des politiques et ceux qui vont être confrontés à son application au travers d'élaboration de méthodologies ou d'études de terrains. La mission préconise une ouverture des comités de suivi des PCI à d'autres acteurs que les représentants du PCI, de la direction générale pilote, et éventuellement des services techniques associés. Dans pratiquement tous les PCI ayant fait l'objet d'une évaluation, se pose la question de l'association des collectivités territoriales ou de leurs émanations. De manière générale, les directions générales identifieront plus facilement quels sont les travaux les plus utiles pour la collectivité en associant les bénéficiaires potentiels des travaux aux comités de suivi. La mission pense utile de conserver les comités de suivi dans la future organisation qui sera mise en place par le Cerema. Ils permettront aux directions générales, qui craignent de ne plus pouvoir faire entendre leurs besoins, d'exprimer directement leurs demandes auprès des PCI. 7. Réunir au moins une fois par an les comités de suivi, élargis aux parties prenantes, pour arrêter la programmation des travaux du PCI. 5.2. La qualité des relations entre commanditaire et PCI matérialisée par la qualité des commandes Les évaluations auxquelles la mission a procédé ont apprécié les performances du couple formé par l'équipe du Cete travaillant dans le cadre du PCI et par la direction Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 20/49 d'administration centrale pilote et/ou ses représentants. Une partie du succès des PCI réside dans la nature et la qualité des commandes qui lui sont passées. La matérialisation de la commande sous forme d'un cahier des charges de la prestation à fournir permet d'avoir une commande précise. La mise en place du Cerema va contraindre à répartir l'activité entre les différents thèmes et à formaliser la demande extérieure vis-à-vis des PCI. La mission pense utile de le faire avec une précision au moins aussi grande que celle qui prévaut actuellement. Elle préconise donc que dans le système futur les directions de programme du Cerema puissent traduire la prestation à réaliser en lui attachant un cahier des charges, un montant d'unités d'oeuvre et un délai. 8. Définir au Cerema les prestations attendues par l'extérieur de manière précise, à charge pour le Cerema de les traduire pour les PCI sous forme de commande interne incluant cahier des charges, ressources affectées et délai de réalisation. 5.3. L'ancrage territorial des PCI L'un des atouts des PCI est leur capacité à établir un lien entre le niveau national d'élaboration des politiques et le niveau local d'application de ces politiques. Encore faut-il que les PCI soient suffisamment impliqués dans des études territoriales, commandées par les services extérieurs de l'État, voire les collectivités territoriales ou les entreprises, pour conserver un ancrage dans le « réel ». Le chiffre de 30 % d'activité du PCI consacrée à des études locales a été avancé comme un objectif souhaitable. Ce chiffre est parfois difficile à apprécier : les études locales peuvent être par convention aujourd'hui exclues de l'activité du PCI, ou financées par l'échelon central sous forme d'ateliers. Il n'en demeure pas moins que la mission a eu le sentiment que, pour certains PCI, l'activité locale était insuffisante. 9. Conserver dans l'activité des PCI une part d'études territoriales suffisante. 5.4. La reconnaissance des agents par les comités de domaine La reconnaissance des agents des PCI par les comités de domaine présente plusieurs avantages : · elle participe à l'évaluation en continu des PCI, via l'évaluation des compétences acquises par leurs agents ; · elle permet ainsi de contribuer à la mesure de l'évolution des compétences, qui est l'un des objectifs des PCI ; Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 21/49 · elle permet de conseiller individuellement les agents sur l'évolution de leur carrière, en prenant en compte les besoins des deux ministères ; · elle aide les spécialistes ou experts qui le souhaitent à rester plus longtemps dans un poste relevant d'un PCI. Pour toutes ces raisons, la mission recommande d'inciter les PCI à faire reconnaître comme spécialistes ou experts ceux de leurs agents qui ont de bonnes chances de l'être. 10.Inciter les PCI à faire qualifier par les comités de domaine comme spécialistes ou experts ceux de leurs agents qui ont de bonnes chances de l'être. 5.5. Le soin apporté à la présentation des productions Les productions des PCI examinées par la mission sont de qualité très inégale en matière de présentation. Certaines sont de très grande qualité et appréciées comme telles. D'autres le sont peut-être tout autant sur le fond mais sont illisibles pour la personne n'ayant pas passé la commande. Dans la mesure où la valorisation des productions du PCI contribue à l'acquisition de compétences prioritaires au sein des ministères chargés de l'écologie, des transports et du logement, la mission considère que l'impossibilité de valoriser certaines productions en leur état est extrêmement regrettable. Une différence de qualité peut certes se concevoir suivant que le document est amené à avoir une diffusion locale ou nationale, suivant qu'il reste produit par le PCI ou amélioré par les actuels services techniques centraux. Les productions devraient cependant être toutes correctes quant à leur forme (présentation claire, etc.), comporter un minimum d'explications ou d'interprétations, inclure un résumé et les principales caractéristiques de la commande (référence, date, personnes ayant réalisé l'étude, commanditaire, etc.). Ceci contribuerait à une meilleure reconnaissance externe du PCI. Le comité technique pourrait chaque année être amené à se prononcer sur la qualité des productions. 11.Veiller à la présentation des productions et à leur évaluation explicite lors des réunions des comités techniques. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 22/49 6. A contrario, plusieurs points de vigilance sont à prendre en compte 6.1. La fragilité de certains PCI La mission n'a pas, sur la base d'une évaluation de huit PCI, les moyens de déterminer une taille minimale de PCI, à supposer que cette notion ait un sens. Elle s'interroge toutefois sur la réalité d'une priorité affichée de compétences à l'échelon des ministères chargés de l'écologie, des transports et du logement qui se traduirait par un PCI de moins de dix personnes. Un faible effectif induit par ailleurs une fragilité du PCI en cas de départ d'une personne clef. Une manière de prévenir cette fragilité est, comme cela a été fait dans quelques cas, de combiner des équipes provenant de plusieurs Cete au sein d'un même PCI, quitte à élargir le périmètre du PCI sans perdre le sens des priorités. La fragilité d'un PCI peut symétriquement être créée par la direction pilote si le pilotage du PCI repose trop exclusivement sur un petit nombre de personnes que cette direction aura du mal à remplacer. 12.Éviter des PCI constitués de trop petites équipes, éventuellement en regroupant équipes et thématiques. 6.2. La contribution des PCI au fonctionnement en réseau des Cete L'évaluation décrite dans le protocole type envisage de regarder comment les PCI contribuent au bon fonctionnement en réseau des Cete. Sur la base des évaluations conduites, la mission est amenée à constater que le fonctionnement en réseau n'est pas toujours évident. Les PCI expliquent que la polarisation, si elle amène à créer un groupe spécialisé dans un Cete, se traduit par un désengagement de ceux des Cete qui n'abritent pas de PCI sur des thématiques voisines. Cette évolution est conforme à la logique de spécialisation qui est l'une des raisons de la création des PCI. Dès lors, les PCI ont parfois des correspondants dans les autres Cete, pour qui cette fonction n'est pas précisément identifiée mais s'inscrit dans leurs parcours professionnels antérieurs. Ce système de correspondants mériterait d'être mieux organisé. Aujourd'hui les PCI interviennent encore peu, à quelques exceptions près, en dehors de leurs zones de compétence alors que les besoins ne sont pas, sauf exception, liés à leur implantation géographique14. 14 L'analyse des PCI précitée (cf. Note 5) quantifie cette intervention dans le tableau des caractéristiques des PCI. De nombreux PCI interviennent très peu en dehors de leur zone d'action territoriale. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 23/49 Rapport n°008915-01 La diffusion des compétences acquises par le PCI se fait paradoxalement plus facilement, par le biais de formations ou de valorisation des productions, via d'autres services des ministères chargés de l'écologie, des transports et du logement, par exemple via les directions régionales de l'environnement, de l'aménagement et du logement (DREAL). 13.Identifier de manière plus systématique dans les Cete des correspondants des PCI. 6.3. Une actualisation périodique des priorités L'examen du libellé des 66 PCI existants montre à l'évidence que ceux-ci sont très hétérogènes et ne reflètent que partiellement les réelles priorités de nos ministères en 2013. Dans la logique du système, il ne devrait pas y avoir de reconduction tacite des protocoles15. L'actualisation périodique des priorités en matière de compétences devrait aboutir, en la combinant à une évaluation des PCI, à une actualisation des PCI. Les PCI fonctionnant bien sur des domaines de compétence confirmés comme prioritaires devraient être maintenus ; ceux qui ne fonctionnent pas bien sur des domaines non prioritaires seraient à supprimer ; ceux qui fonctionnent bien sur des domaines non prioritaires ou mal sur des domaines prioritaires seraient à réorienter ; enfin des PCI devraient être créés sur les nouveaux thèmes prioritaires. Il reviendra sans doute au Cerema d'adapter le dispositif aux priorités des directions générales pour les années futures. 14.Actualiser les priorités en matière de compétences nouvelles ou à maintenir sur la base des besoins des directions générales, prélude à une réactualisation des PCI. 6.4. Le travail d'administration centrale pour le compte de la DHUP La création du Cerema va se traduire par une relation moins directe entre la DHUP et les PCI pour lesquelles elle est pilote, et donc probablement une évolution des tâches conduites par ces PCI. La situation qui a prévalu ces dernières années tient sans doute à une certaine souplesse de notre ministère, qui s'est adapté de manière pragmatique à la nécessité de trouver des volontaires pour travailler pour le compte de l'administration centrale sur les questions d'urbanisme et de logement. L'existence des Cete, aux missions assez diversifiées, dont on pouvait convenablement mobiliser une partie des effectifs grâce au titre IX, ont facilité ces évolutions. 15 Certains protocoles prévoient explicitement que « le protocole est renouvelable sur accord conjoint explicite des parties », ce qui n'a pas empêché des prolongations implicites. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 24/49 Rapport n°008915-01 Ce qui s'insérait sans difficulté au sein d'organismes fonctionnant comme des prestataires de services, posera des problèmes de cohérence dans un organisme dédié à la réalisation d'études planifiées. Par ailleurs, la réalisation de tâches d'administration centrale par des PCI n'est-elle pas contradictoire avec la volonté exprimée de limiter les moyens dévolus aux administrations centrales dans les organisations gouvernementales pour qu'elles se concentrent sur leur coeur de métier et de privilégier les tâches de nature scientifique et technique au sein des Cete membres du réseau scientifique et technique ? Il serait donc prudent que la DHUP examine dès maintenant comment elle pourra gérer une évolution qui paraît largement inéluctable. 15.Expliciter comment les tâches d'administration centrale effectuées par les PCI pour le compte de la DHUP seront effectuées à l'avenir. 6.5. La traduction des besoins de la DGITM par ses « têtes de réseau » La DGITM est confrontée à une difficulté d'un autre ordre. Elle se repose quasi entièrement pour exprimer ses commandes auprès des PCI sur ses têtes de réseau que sont le Setra, le Certu, le Cetmef et l'Ifsttar. Dans le système envisagé, les trois premiers organismes cités seront intégrés au Cerema. Cette nouvelle organisation nécessitera une plus grande implication de la DGITM dans le suivi des PCI pour lesquels elle est direction pilote. D'éventuelles difficultés entre les têtes de réseau intégrées dans le Cerema et les PCI s'exprimeront probablement moins ouvertement dans les comités de suivi. C'est probablement l'occasion de mieux mobiliser les sous-directions métiers de la DGITM. En revanche, il n'y a pas de raison que les services techniques centraux intégrés au Cerema aient plus de difficultés à traduire en termes techniques les commandes de la DGITM. 6.6. L'intégration future du commanditaire et du prestataire dans une même entité La création du CEREMA est à certains égards contradictoire avec la voie ouverte par les PCI, en créant inévitablement une cloison entre les directions générales et les équipes techniques. Cette cloison va à l'encontre du principe très sain qui a prévalu lors de la mise en place des PCI et qui constitue un facteur décisif dans l'efficacité des services techniques, à savoir le pilotage de l'innovation par les opérationnels, en l'espèce les directions générales. La réponse que l'on peut imaginer est fondée sur : · le maintien des comités de suivi des PCI pour exprimer la commande des directions générales ; Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 25/49 · des directions de programmes à l'intérieur du Cerema jouant le rôle des actuels services techniques centraux dans la mise au point de la commande vis-à-vis des PCI. Ce schéma ne peut valablement fonctionner que s'il y a une distinction nette entre ceux qui commandent et font en quelque sorte de l'assistance à la maîtrise d'ouvrage pour les directions générales et ceux qui produisent. Pour faciliter cette distinction, il paraît indispensable de conserver un mécanisme d'allocation des ressources explicites par les directions de programme, à l'image du titre IX d'aujourd'hui qui perdurera d'ailleurs pour les services déconcentrés. D'une part, la discussion qu'il provoquera entre le PCI et le donneur d'ordre pour définir la prestation attendue, en termes de contenu et de délais, constituera un point de passage très utile. D'autre part, le suivi de l'état d'avancement des travaux qu'il permettra, même s'il n'est que peu utilisé dans cette phase de démarrage des PCI, est un outil de gestion irremplaçable. Il serait d'ailleurs paradoxal que tout en affichant l'ambition de répondre à des appels d'offres concurrentiels, le Cerema prive ses équipes du moyen permettant de mesurer leurs prix de revient réels et par conséquent de réaliser des devis corrects. Il n'en reste pas moins que la présence du commanditaire et du prestataire au sein d'une même entité comporte un risque non négligeable de confusion des rôles. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 26/49 7. Conclusion 7.1. Le rôle de la DRI La DRI assurera la tutelle du Cerema. Elle joue par ailleurs un rôle de garant pour que les ministères en charge de l'écologie, des transports et du logement puissent s'appuyer sur des personnels ayant les compétences scientifiques et techniques nécessaires. Après avoir introduit les pôles de compétence et d'innovation dans le programme d'évolution des Cete, la DRI a pris de la distance par rapport à leur gestion quotidienne.Les évolutions en cours doivent l'amener à se réinvestir sur cette question, d'abord pour veiller au bon fonctionnement de l'interface entre les directions générales et le Cerema, et à une actualisation régulière des compétences nécessaires, mais aussi pour s'assurer du bon fonctionnement des PCI sur la base des évaluations qui seront faites. Pascal Douard Jean-Louis Durville Daniel Fédou Ingénieur général des ponts, des eaux et des forêts Ingénieur général des ponts, des eaux et des forêts Ingénieur général des ponts, des eaux et des forêts Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 27/49 Annexes Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 28/49 1. Lettre de mission Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 29/49 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 30/49 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 31/49 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 32/49 2. Évaluation des pôles de compétence et d'innovation (PCI) Proposition de méthodologie 2.1. Objet de la note méthodologique proposée Cette note méthodologique propose une manière d'évaluer les pôles de compétence et d'innovation (PCI) des centres d'études techniques de l'équipement (Cete). Elle vise à fournir aux personnes désignées pour l'évaluation, aux équipes des PCI qui seront évalués, aux directions d'administration centrales (DAC) et aux « têtes de réseau associées16 », toutes les informations nécessaires à la réussite de cette évaluation. 2.2. Contexte Les PCI sont des équipes constituées au sein des Cete à la demande d'une direction générale sur un champ d'activité spécifique plus ou moins technique. Ces centres de compétence ont répondu à deux préoccupations principales : · sur les thématiques nouvelles ou en développement correspondant aux priorités des ministères chargés du logement et de l'écologie, créer ou conforter des équipes autour des activités de recherche, d'innovation, de méthodologie ; · sur les domaines d'activités traditionnelles, maintenir des équipes de taille suffisante pour conserver une capacité de recherche et d'innovation et un bon niveau d'expertise au sein du réseau. La démarche PCI a été un élément important du plan d'évolution des Cete qui s'est achevé fin 2011. Soixante-six PCI ont été identifiés, dont soixante et un actifs, constitués majoritairement à l'initiative de la direction générale des infrastructures, des transports et de la mer (DGITM) et de la direction de l'habitat, de l'urbanisme et des paysages (DHUP). Le vocable de PCI recouvre une réalité très diverse. Outre la distinction « thématique nouvelle / secteur traditionnel », les PCI se différencient par : · la taille des équipes qui les composent ; 16 Sous ce vocable, on désigne aujourd'hui les services techniques centraux (STC), qui ont vocation à rejoindre le centre d'études et d'expertise sur les risques, l'environnement, la mobilité et l'aménagement (Cerema), ainsi que les établissements publics de recherche qui participent à la production de connaissances dans le domaine du PCI et sont associés à sa gouvernance. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 33/49 Rapport n°008915-01 · leur pilotage assuré de manière plus ou moins directe par les directions d'administration centrale et, corrélativement, leur rapport plus ou moins étroit avec les services techniques centraux (STC) ; · la nature de leur production qui va de tâches d'administration centrale à des travaux de recherche en passant par l'élaboration de méthodologies et la réalisation d'études ; · l'importance de leur activité réalisée au bénéfice des services déconcentrés et/ou des collectivités territoriales ; · la présence en leur sein d'activités de recherche associées ; · leur rayonnement hors de leur territoire d'origine en appui notamment à d'autres Cete17. La création des PCI s'est matérialisée par des protocoles, signés à partir de 2008, prévoyant généralement une évaluation au bout de quatre ans. La création du centre d'études et d'expertise sur les risques, l'environnement, la mobilité et l'aménagement (Cerema) au 1er janvier 2014 renforce l'intérêt d'une évaluation pour réfléchir au devenir des PCI. 2.3. L'évaluation 2.3.1. Objectifs et champ de l'évaluation L'évaluation d'un PCI doit tout d'abord permettre d'apprécier, en incluant parmi les éléments de l'évaluation le degré de satisfaction des DAC, et des « têtes de réseau », si le protocole signé lors de sa création a bien été mis en oeuvre sur les aspects suivants : · mise en oeuvre des moyens annoncés ; · atteinte des objectifs affichés ; · développement ou maintien d'une compétence scientifique et technique (qualité des productions, valorisation des productions à l'intérieur de l'ensemble MEDDE/METL, contribution à l'ensemble du réseau scientifique et technique, formation, partenariats) ; · qualité de la gouvernance (association des parties prenantes, valeur ajoutée du comité technique et du comité d'orientation, pertinence et qualité de la commande). 17 À noter que quelques PCI regroupent plusieurs Cete. Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 34/49 Rapport n°008915-01 L'évaluation permet ensuite de suggérer des orientations pour l'avenir du PCI évalué, sur la base de la valeur ajoutée du PCI pour les bénéficiaires identifiés de sa production, des points forts et des points faibles du PCI eu égard notamment aux autres acteurs du domaine, des enjeux identifiés comme stratégiques dans le domaine d'activité du PCI : · recommandations pour le fonctionnement du PCI ; · suggestion d'évolution du PCI (maintien, évolution, regroupement, suppression). Elle permet plus globalement d'apporter des éléments de réflexion sur la pertinence du concept de PCI et sur la gestion des PCI dans le futur Cerema : · intérêt du PCI dans la gouvernance de l'expertise (repérage facile des experts, création d'expertise sur des thèmes émergents prioritaires et le maintien de l'expertise sur des thèmes traditionnels stratégiques) ; · contribution du PCI à une disponibilité de l'expertise au bon niveau (qualité scientifique et technique des prestations, mobilisation facile des experts du fait de leur proximité et de leur réactivité) ; · optimisation des moyens apportée par le PCI (redondance évitée et efficience améliorée). 2.3.2. Éléments servant à l'évaluation L'évaluation s'appuie sur les documents existants retraçant l'activité des PCI, dont on trouvera le détail en annexe (bilans d'activité et comptes-rendus du comité de pilotage et du comité technique, personnels participant à l'activité du PCI, récapitulatifs des commandes, productions du PCI, etc.). Il est de plus demandé : · une note d'autoévaluation au responsable du PCI ; · un avis sur le PCI à la DAC pilote et/ou les « têtes de réseau » impliqués dans la gouvernance du PCI. Les « têtes de réseaux » contribuent notamment à l'appréciation de la qualité scientifique et technique des productions du PCI. L'évaluation est également fondée sur des entretiens d'une journée dans les locaux du Cete concerné avec les membres du PCI. Elle se poursuit par des entretiens téléphoniques ou par courriel avec les bénéficiaires, en général riches d'enseignements. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 35/49 2.3.3. Déroulement de l'évaluation La DRI aujourd'hui, le Cerema demain initient le processus d'évaluation. Le coordinateur désigné de l'évaluation prend contact avec le responsable du PCI, et avec la DAC et les « têtes de réseau » pour recueillir les éléments préparatoires à l'évaluation et convenir de la date de celle-ci. Il constitue une équipe d'évaluation composée généralement de deux personnes, dont une personne compétente pour le thème du PCI, qui n'ont pas participé à la gouvernance du PCI. Le PCI peut suggérer des évaluateurs. L'équipe d'évaluation prend connaissance des documents préparatoires avant de rencontrer l'équipe du PCI. Elle organise des entretiens et les échanges avec le PCI, le directeur du Cete ou son représentant, la DAC et les « têtes de réseau » en tant que de besoin, les bénéficiaires identifiés. Le rapport est établi par l'équipe d'évaluation sur la base des entretiens et des documents recueillis. Il reprend les thèmes évoqués au paragraphe 3.1 dans un document de moins de dix pages abordant successivement le respect du protocole (moyens humains, commandes, obtention des objectifs figurant dans le protocole, liens avec le réseau scientifique et technique), la qualité et la valorisation des productions, les points forts et les points faibles du PCI, les enjeux présents et futurs du domaine du PCI, les perspectives d'évolution. Le rapport fait l'objet d'une procédure contradictoire avec le PCI. Il devient alors définitif. Il reste un document interne au MEDDE/METL. L'évaluation se veut une évaluation légère, mobilisant chaque équipe d'évaluation pendant moins d'une semaine au total sur une période qui ne devrait pas dépasser trois mois. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 36/49 2.3.4. Schéma de réalisation de l'évaluation Désignation coordonnateur Contact avec PCI, DAC, « têtes de réseaux » Désignation équipe Autodiagnostic (PCI) Avis DAC pilote Recueil documents Prise de connaissance des documents (équipe évaluation)) Contact téléphonique ou mél avec les bénéficiaires des travaux du PCI Réalisation des entretiens (équipe évaluation) Écriture du rapport d'évaluation (équipe évaluation) Procédure contradictoire (PCI) Écriture du rapport d'évaluation définitif (équipe évaluation) Avis « têtes de réseau » Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 37/49 2.3.5. Documents demandés à l'équipe PCI évaluée Ces documents sont à adresser dans un délai de 3 semaines au plus tard sous forme de fichiers électroniques au coordonnateur de l'évaluation du PCI. Les documents existants, qui constituent l'essentiel des documents demandés, peuvent être envoyés avant l'expiration de ce délai de trois semaines. Ils comprennent les éléments suivants : · Protocole signé de création du PCI ; · Comptes-rendus des comités de pilotage ; · Comptes-rendus des comités techniques ; · Liste des personnels actuellement impliqués dans le PCI, avec indication du pourcentage de leur activité qu'ils consacrent au PCI et de leur qualification (diplôme, expérience, reconnaissance par les comités de domaine) ; · Evolution des personnels du PCI sur la durée du protocole ; · Curriculum vitae du responsable du PCI ; · Tableau des commandes passées au PCI, avec indication du commanditaire, de la date de passation de la commande, de sa date de rendu, du montant correspondant à la commande, du montant correspondant à la production 18, du montant facturé (sur un tableur) ; · Indication du site sur lequel sont accessibles les productions du PCI, ou, à défaut, fourniture d'un maximum de productions du PCI ; · Formations dispensées par les membres du PCI sur la thématique du PCI ; · Conventions éventuelles de partenariat signées par le PCI avec des organismes autres que les services du MEDDE/METL ; · Rapport d'auto-diagnostic (voir infra). Ces documents doivent notamment permettre d'établir quelques indicateurs qui permettent de situer le PCI par rapport aux autres PCI : · Nombre d'équivalents temps plein (ETP) intervenant dans le PCI et son évolution ; 18 Temps passé X coût unitaire des personnels. On fait l'hypothèse que le système de gestion permet de sortir sans difficultés montant de la commande, montant de la production, montant facturé Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 38/49 Rapport n°008915-01 · Taux de renouvellement du PCI pendant la durée du protocole (effectif présent au début et à la fin du protocole ou lors de l'évaluation/effectif total à la fin du protocole ou lors de l'évaluation) ; · Pourcentage d'agents du PCI reconnus par le comité de domaine ; · Existence d'une équipe de recherche associée ; · Evolution du montant des commandes décomposées en commandes des DAC, « têtes de réseaux », commandes locales, commandes locales en dehors de la zone d'activité du Cete, autres commandes ; · Volume de commande/ETP ; · Nombre de comités de pilotage et comités techniques/nombre d'années ; · Nombre de journées de formation dispensées ; · Nombre de publications accessibles en ligne. Le rapport d'auto-diagnostic (d'une longueur indicative de 2 à 4 pages) fait apparaître : · L'appréciation de l'équipe sur l'obtention des objectifs indiqués dans le protocole signé, et le respect des engagements des commanditaires ; · L'appréciation de l'équipe sur la qualité de la gouvernance, et en particulier sur la qualité et la pertinence des commandes passées ; · Les personnes éventuelles qui n'auraient pas participé à la gouvernance du PCI et seraient en capacité de porter un jugement sur la qualité des productions du PCI, notamment scientifique et technique ; · La façon dont le PCI a contribué au développement ou au maintien d'une compétence technique sur l'objet du PCI à l'intérieur de l'ensemble MEDDE/METL, notamment les modalités d'intervention du PCI pour d'autres Cete ; · Le positionnement du PCI par rapport aux services techniques centraux du MEDDE/METL ; · Le positionnement éventuel du PCI par rapport à d'autres entités (établissements publics, équipes universitaires, ..) intervenant dans le domaine ; · L'identification des bénéficiaires des travaux du PCI autres que les commanditaires des travaux, avec éventuellement leurs coordonnées et leur appréciation sur les travaux réalisés ; Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 39/49 · La valorisation des travaux du PCI réalisée et envisageable ; Quelques indications chiffrées sur les enjeux à venir dans le domaine du PCI ; · Les difficultés et opportunités identifiées par l'équipe ; · Les suggestions de l'équipe sur le devenir du PCI . 2.3.6. Avis demandés à la DAC pilote du PCI évalué et aux têtes de réseaux L'avis demandé à la DAC pilote du PCI évalué et aux têtes de réseaux (d'une longueur indicative de 2 à 4 pages) aborde : · L'appréciation de la DAC sur l'obtention des objectifs indiqués dans le protocole signé, et le respect des engagements des commanditaires ; · L'appréciation de la DAC sur la qualité de la gouvernance, et en particulier sur la qualité et la pertinence des commandes passées ; · Le degré de satisfaction de la DAC sur les travaux du PCI ; · La suggestion éventuelle de personnes qui n'auraient pas participé à la gouvernance du PCI et seraient en capacité de porter un jugement sur la qualité des productions du PCI, notamment scientifique et technique ; · La façon dont le PCI a contribué au développement ou au maintien d'une compétence technique sur l'objet du PCI à l'intérieur de l'ensemble MEDDE/METL ; · La qualité scientifique et technique des productions du PCI ; · Le positionnement du PCI par rapport aux services techniques centraux du MEDDE/METL ; · Le positionnement éventuel du PCI par rapport à d'autres entités (établissements publics, équipes universitaires, ..) intervenant dans le domaine ; · L'identification des bénéficiaires des travaux du PCI autres que les commanditaires des travaux, avec éventuellement leurs coordonnées et leur appréciation sur les travaux réalisés · La valorisation des travaux du PCI réalisée et envisageable ; · Les enjeux à venir dans le domaine du PCI, avec si possible des indications chiffrées ; Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 40/49 · Les difficultés et opportunités identifiées par la DAC dans le domaine du PCI ; · Les suggestions de la DAC sur le devenir du PCI ; · L'intérêt du PCI dans la gouvernance de l'expertise ; · La contribution du PCI à une disponibilité de l'expertise au bon niveau ; · L'optimisation des moyens apportée par le PCI. 2.3.7. Questions indicatives à poser aux bénéficiaires et autres parties prenantes Les bénéficiaires et autres parties prenantes pourront notamment être interrogés sur : · Leur connaissance du Cete et du PCI ; · Les partenariats et collaborations existantes avec le PCI ; · Leur appréciation sur la qualité scientifique et technique des productions du PCI ; · Le développement et le maintien d'une compétence du PCI sur la durée du protocole ; · Leurs attentes vis-à-vis du PCI. Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 41/49 3. Liste des personnes rencontrées Nom Prénom Organisme Fonction Date de rencontre 11/03/13 11/03/13 TAPADINHAS ANTOINE Laurent Jean-Louis DRI DRI Directeur Chef du bureau du pilotage des Cete DURRLEMAN BERTHIER Colas Thierry DHUP DHUP Bureau des partenariats et actions territoriales Adjointe à la chef du bureau des études Chef du bureau du parc privé et de la lutte contre l'habitat indigne Adjoint au S/D de l'aménagement durable Préfigurateur de la direction des politiques publiques, programmes et production Chef du bureau de l'aménagement opérationnel durable Adjoint au chef de bureau des grandes opérations d'urbanisme Bureau des partenariats et actions territoriales Bureau de l'économie de la construction Chef de projet au bureau de l'économie de la construction Sous-directeur des études et de la prospective Chef du bureau d ela politique technique Sous-directrice des politiques de l'habitat Chef du bureau du parc privé et de la lutte contre l'habitat indigne 11/03/13 11/03/13 ROY Catherine DHUP 11/03/13 SACCOCCIO Muriel DHUP 11/03/13 MASCLAUX Jérome DHUP 11/03/13 L'HUISSIER Bruno Cerema 12/03/13 FAUCHEUX Franck DHUP 21/03/13 NAVILLE Nicolas DHUP 21/03/13 BERTHIER Thierry DHUP 21/03/13 LE MAOUT Anne DHUP 21/03/13 KELES Havva DHUP 21/03/13 CHAMBON Pascal DGITM 26/03/13 MATHIS Luc DGITM 26/03/13 DADOU Hélène DHUP 27/03/13 SACCOCCIO Muriel DHUP 27/03/13 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 42/49 Nom Prénom Organisme Fonction Date de rencontre 29/03/13 BERTHIER Thierry DHUP Bureau des partenariats et actions territoriales Chef du bureau des partenariats et actions territoriales Bureau de la qualité technique et de la réglementation technique de la construction Directeur adjoint Directeur adjoint Chef département Aménagement Mobilité Transports Chef département Transports intelligents, Sécurité et Partage de la voirie PCI inondations côtiers aléas DUCLERE Yves DHUP 29/03/13 MUNOZ Ghislaine DHUP 29/03/13 SANGOUARD WABINSKI HAMACEK Jean-Marc Jérome Jean-Charles SETRA Cete Sud-Ouest Cete Sud-Ouest 29/03/13 05/04/13 05/04/13 CASSAGNE Danielle Cete Sud-Ouest 05/04/13 ARNAUD Georges Cete Sud-Ouest 05/04/13 VAURIGAUD TRAINSOUTROT Bastien Didier Cete Sud-Ouest Cete Sud-Ouest PCI ouvrages à câbles PCI aéronautiques PCI Préfigurateur chaussées 05/04/13 05/04/13 KHOUDOUR LARROUTUROU PERRET TANGUY ANTOINE Louahdi Bernard Bernard Jean-Michel Jean-Louis Cete Sud-Ouest Cerema CGEDD DRI DRI 05/04/13 09/04/13 17/04/13 Conseiller du directeur Chef du bureau du pilotage des Cete Département structures et ouvrages d'art Directeur Directrice département bâtiment énergie environnement Responsable PCI Economie d ela construction et montages complexes Chef du bureau QC4 17/04/13 17/04/13 GODART Bruno IFSTTAR 29/04/13 COUDERT FAGES Stéphane Judith Cete Nord-Picardie Cete Nord-Picardie 31/05/13 31/05/13 GRAVES (+ membres équipe PCI) BONNENFANT (+ membres du Arnault Cete Nord-Picardie 31/05/13 Justine DHUP 11/07/13 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 43/49 Nom Prénom Organisme Fonction Date de rencontre bureau QC4) GAUCHE HENNION Jean-François Éric Cete Ouest Cete Ouest Directeur Chef du département ville et territoire Responsable domaine infrastructures et systèmes de transport Responsable PCI Transport de marchandises et logistique PCI Lutte contre Habitat Indigne 18/06/13 18/06/13 RODARY Bernard Cete Ouest 18/06/13 MORAU (+ membres équipe PCI) PAYET (+ membres équipe PCI) CARRENO Éric Cete Ouest 18/06/13 Phiippe Cete Méditerranée 19/06/13 Michel Cete Méditerranée Directeur du département aménagement du territoire Directeur Chef du département aménagement du territoire Directrice du département Construction Aménagement Projets Responsable PCI Interface transports collectifs et voirie 19/06/13 CADRE CARRENO Gérard Michel Cete Méditerranée Cete Méditerranée 28/06/13 28/06/13 GRANDGUILLOT Anne Cete Lyon 28/06/13 MILLOT (+membres équipe PCI) RENNESSON (+membres équipe PCI) GUILBOT HENNION Marine Cete Méditerranée 28/06/13 Catia Cete Lyon PCI Interface transports collectifs et voirie 28/06/13 Loïc Éric Cete Ouest Cete Ouest PCI Aménagement durable Chef du département ville et territoire Directeur Directeur Chef du département Infrastructures Responsable PCI Sécurité et durabilité des ouvrages d'art en béton précontraint Directeur du département Mobilités 02/07/13 02/07/13 GAUCHE COUDERT VERPILLAT Jean-François Stéphane Michel Cete Ouest Cete Nord-Picardie Cete Nord-Picardie 02/07/13 05/07/13 LABOURIE (+ membres équipe PCI) DUPREZ Laurent Cete Nord-Picardie 05/07/13 Fabien Cete Lyon 08/07/13 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 44/49 Nom Prénom Organisme Fonction Date de rencontre 08/07/13 CHANUT (+ membres équipe PCI) GUICHON (+ membres équipe PCI) MAGNIERE Stéphane Cete Lyon Responsable PCI Régulation dynamique des réseaux de transport PCI Régulation dynamique des réseaux de transport Dominique Cete Ïle-de-France 08/07/13 Pascal Cete Lyon Chef du département Construction, Aménagements, Projets Responsable PCI Accessibilité 12/07/13 OURNIAC (+ membres équipe PCI) Marc Cete Lyon 12/07/13 Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 45/49 4. Glossaire des sigles et acronymes Acronyme Signification AERES Cerema Cete Certu Cetmef CGDD CGEDD DAC DGALN DGEC DGITM DGPR DGUHC DHUP DREAL DRI DSCR ERA ETP Ifsttar MEDDE METL Agence d'évaluation de la recherche et de l'enseignement supérieur Centre d'études et d'expertise sur les risques, l'environnement, la mobilité et l'aménagement Centre d'étude technique de l'équipement Centre d'études sur les réseaux, les transports, l'urbanisme et les constructions publiques Centre d'études techniques maritimes et fluviales Commissariat général au développement durable Conseil général de l'environnement et du développement durable Direction d'administration centrale Direction générale de l'aménagement, du logement et de la nature Direction générale énergie et climat Direction générale des infrastructures, des transports et de la mer Direction générale de la prévention des risques Direction générale de l'urbanisme, de l'habitat et de la construction Direction de l'habitat, de l'urbanisme et des paysages Direction régionale de l'environnement, de l'aménagement et du logement Direction de la recherche et de l'innovation Délégation à la sécurité et à la circulation routière Équipe de recherche associée Équivalent temps plein Institut français des sciences et technologies des transports, de l'aménagement et des réseaux Ministère de l'écologie, du développement durable et de l'énergie Ministère de l'égalité des territoires et du logement Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 46/49 Acronyme Signification PCI Setra STC Pôle de compétence et d'innovation Service d'études sur les transports, les routes et leurs aménagements Service technique central Rapport n°008915-01 Elaboration d'une méthode d'évaluation des pôles de compétence et d'innovation des centres d'études techniques de l'équipement Page 47/49 Ministère de l'Écologie, du Développement durable et de l'Énergie Conseil général de l'Environnement et du Développement durable 7e section ­ secrétariat général bureau Rapports et Documentation Tour Pascal B - 92055 La Défense cedex Tél. (33) 01 40 81 68 73 http://www.developpement-durable.gouv.fr