Auteur moral

Pays-de-la-Loire. Direction régionale de l'environnement, de l'aménagement et du logement

Auteur secondaire

Résumé

<div style="text-align: justify;">Fin 2015, en réponse à un appel à projet du Commissariat Général au Développement Durable (CGDD) sur le thème de la connaissance stratégique des territoires, la DREAL des Pays de la Loire a présenté un projet de modernisation de la gestion et de la valorisation de ses données numériques en lien avec les territoires. Ce projet ayant été retenu, une étude de faisabilité d'un système d'information partagé a donc été lancée.<br /><br />Réalisée par une équipe projet de la DREAL accompagnée du bureau d'études NAOMIS, cette étude s'est déroulée entre décembre 2016 et juillet 2017. Elle avait pour objectifs de :<br />Recueillir et formaliser les besoins d'accès et de valorisation de la connaissance des territoires<br />Etablir un diagnostic des pratiques actuelles de gestion, de traitement, de valorisation, de diffusion de celle-ci<br />Et enfin proposer des scénarios dimensionnés présentant des préconisations organisationnelles et techniques pour la mise en oeuvre de ce SI partagé.<br /><br />A la fin de cette première étape du projet, plusieurs documents ont été fournis. Une note de synthèse qui décrit le déroulement et les résultats de l'étude de faisabilité, accompagnée de deux présentations plus détaillées : une synthèse des échanges menés lors des entretiens réalisés en mars 2017, sous forme de leur retranscription (et non de leur analyse), et une compilation de l'ensemble des scénarios proposés.<br /><br />Lors d'un comité de direction élargi de la DREAL en juillet 2017, l'étude s'est concrétisée par le choix d'un scénario. La validation des principes de gouvernance et d'organisation des données, ainsi que le choix des projets prototypes à lancer d'ici fin 2017, ont également été actés.<br /><br />Les résultats de cette étude ont vocation à être transposés à d'autres DREAL avec toutefois la limite selon laquelle chaque DREAL peut présenter un contexte différent.</div>

Editeur

DREAL Pays de la Loire

Descripteur Urbamet

traitement de l'information ;data center ;données publiques ;base de données ;donnée statistique ;système d'information géographique ;système d'information

Descripteur écoplanete

traitement de données ;recueil de données ;exploitation de données ;nouvelle technologie de l'information

Thème

Information - Documentation - Communication ;Numérique

Texte intégral

Mise en place d?un Système d?Information partagé de la connaissance des territoires Etude de faisabilité et mission d?accompagnement Présentation des scénarios Juillet 2017 Cible du SI Partagé, commune à tous les scénarios Tronc commun Juillet 2017 Etude pour le SI Partagé2 3 4 5 Contenu du document Scénarios envisagés Feuille de route générale Rappels sur les objectifs du SI Partagé et sur les besoins1 Rappels des besoins et de la situation existante2 6 Conclusions de l'étude 7 Annexes et illustrations Rappels des objectifs du SI Partagé Juillet 2017 Etude pour le SI Partagé3 Juillet 2017 Etude pour le SI Partagé4 Définition du SI Partagé PRINCIPAUX PROBLÈMES À RÉSOUDRE UTILISATEURS CIBLES AVANTAGES COMPÉTITIFS SOLUTIONS VALEUR AJOUTÉE MISE EN OEUVRE CONTENU COÛTS REVENUS / GAINS ? Pratiques de traitement et de stockage des données peu adaptées ? Perte de temps dans la recherche et le traitement de données, au profit de l?analyse ? Productions actuelles qui ne sont pas assez adaptées au web et à l?expérience usager ? Professionnaliser la gestion des données ? Faciliter la diffusion de données ? Moderniser les publications de la DREAL ? Projets de refontes de publications de la DREAL, avec optimisation de toute la chaîne et amélioration de l?expérience usager Améliorer l?accès à la connaissance des territoires Gagner en efficacité pour gérer et valoriser les données Contribuer à la transition numérique de la DREAL DREAL, sphère Etat, collectivités, agences d?urbanisme? Décideurs Chargés de mission, chargés d?études, chefs de projets Spécialistes de la donnée Grand public, journalistes, chercheurs, étudiants? ? Management de la donnée ? Entrepôt de données ? Portail d?accès Datavisualisation, tableaux de bord, cartographies ? Webservices de données, open data ? Charge humaine liée aux formations, transferts de compétences ? Charge humaine pour mettre en place le SI Partagé, ses différents composants, préparer les données et les traitements ? Charges courantes (préparer les données, maintenance) ? Achat et maintenance d?outils (ou abonnement), et d?infrastructure serveur ? Coût des formations ? Communication avec d?autres systèmes (nationaux, régionaux) ? Transposable dans d?autres DREAL et services de l?Etat ? Mieux analyser les données et mieux comprendre le territoire ? Gain de temps pour la collecte et l?intégration de données ? Gain de temps pour publier de nouvelles productions et les mettre à jour ? Gain de temps pour les usagers dans la recherche et l?accès à la connaissance ? Coûts réduits des nouveaux services proposés par la DREAL Répondre aux lois et mettre en place une stratégie Open Data Être plus proche des besoins utilisateurs Gagner en agilité 1 ? Rappel des objectifs du SI Partagé Juillet 2017 Etude pour le SI Partagé5 Le SI Partagé doit? Quels grands objectifs ? Apporter une meilleure réponse aux besoins d?accès et de valorisation de la connaissance des territoires Améliorer les méthodes de production et de diffusion de cette connaissance Être pérenne et adapté aux moyens existants et futurs, et évolutif S?intégrer de façon cohérente dans le paysage numérique de la DREAL et du ministère Être conforme vis-à-vis de la réglementation liée aux données Montrer des résultats concrets et rapides Être à niveau par rapport aux enjeux du numérique 1 ? Rappel des objectifs du SI Partagé Juillet 2017 Etude pour le SI Partagé6 Contenu du SI Partagé VALORISATION MANAGEMENT DES DONNÉES Publication web Tableau de bord Infographies, plaquettes Cartes interactives Données brutes (webservices, API, téléchargement?) Data visualisation De nouveaux moyens d?accéder à la connaissance des territoires Création des produits optimisée Evolution des pratiques de stockage et d?administration des données Optimisation des travaux de collecte et d?intégration des données Gouvernance des données Interopérabilité (outils nationaux et régionaux) Sécurité, CNIL, RIE Nouvelles pratiques (Télétravail, mobilité) Réglementation (Open data, INSPIRE?) CONTRAINTES TECHNIQUES Expérimentation, itération, résultats concrets à court terme PRINCIPES Expérience usager Souplesse du système Organisation humaine pour la valorisation des données (Comité Editorial) Penser aux nouveaux usages (ex : mobile) + + 1 ? Rappel des objectifs du SI Partagé Juillet 2017 Etude pour le SI Partagé7 Comment mettre en oeuvre le SI Partagé ? Situation existante Tronc commun Gouvernance des données Stratégie de collecte et de gestion des données Scénarios sur la stratégie «Outils» Scénario 1 OUTILS OPEN SOURCE Scénario 1 OUTILS OPEN SOURCE Plusieurs outils gratuits / open source, si possible déjà existants et maîtrisés Scénario 2 OUTILS PROPRIETAIRES Scénario 2 OUTILS PROPRIETAIRES Choix de solutions plus simples à utiliser et moins lourdes à maintenir Scénario 3 OUTILS MUTUALISÉS Scénario 3 OUTILS MUTUALISÉS Expectative de mutualisation avec des outils de projets nationaux (Prodéa, WebSI) Culture du design de service Stratégie éditoriale Mise en oeuvre itérative, par «projets» Mise en oeuvre itérative, par «projets» 1 ? Rappel des objectifs du SI Partagé Rappels de la situation existante et des besoins Juillet 2017 Etude pour le SI Partagé8 Juillet 2017 Etude pour le SI Partagé9 Les problèmes à résoudre Collecte et production de données Gestion, stockage, administration de données Traitement, analyse Partage, diffusion Données qui ne sont pas toutes capitalisées Données hétérogènes et de plus en plus nombreuses, voire complexes à obtenir Perte de temps dans la recherche de données Dépendance face à la qualité de données dont la DREAL n?est pas responsable Stockage de plusieurs données qui n?est pas dans les bonnes pratiques Risque de perte de données Accès limité aux systèmes partagés à distance (télétravail, tiers-lieux) Tâches d?administration de données de plus en plus lourdes Traitements non pérennes, peu partagés Traitements lourds du fait des problèmes de qualité et de dispersion des données Délais parfois longs pour aboutir à un produit Perte de connaissance des traitements réalisés Publications actuelles lourdes à mettre à jour Productions qui ne sont pas toutes adaptées au web et à l?expérience usager Absence de stratégie de la connaissance Modes d?accès aux données parfois complexe pour les usagers Temps de travail sur les données au profit du vrai travail d?analyse Raréfaction des compétences Doublons d?un service à un autre 2 ? Rappel de la situation existante et des besoins Les principaux besoins (voir commentaires de détail sur la diapositive suivante) Juillet 2017 Etude pour le SI Partagé10 Chargés de mission, Chefs de projets Spécialistes du traitement de la donnée Rechercher une information, un produit, une donnée Rechercher une information, un produit, une donnée Avoir une présentation rapide d?un contexte, d?un sujet Avoir une présentation rapide d?un contexte, d?un sujet Savoir quelles sont les données mobilisables en interne Savoir quelles sont les données mobilisables en interne Avoir l?information au niveau d?un territoire en particulier Avoir l?information au niveau d?un territoire en particulier Télécharger des données prêtes à l?emploi pour aller plus loin et les réutiliser Télécharger des données prêtes à l?emploi pour aller plus loin et les réutiliser Faire un export (img, pdf, tableau) pour réutiliser la connaissance Faire un export (img, pdf, tableau) pour réutiliser la connaissance Explorer facilement les données, en autonomie Explorer facilement les données, en autonomie Comparer plusieurs territoires Comparer plusieurs territoires Reproduire facilement les traitements de données Reproduire facilement les traitements de données Collecter des données de diverses sources (du fichier au webservice) Collecter des données de diverses sources (du fichier au webservice) Avoir un espace de stockage partagé Avoir un espace de stockage partagé Connaître (et renseigner) la qualité des données disponibles Connaître (et renseigner) la qualité des données disponibles Conserver la trace des traitements réalisés et les partager Conserver la trace des traitements réalisés et les partager Fluidifier la diffusion des données (avec gestion des droits) Fluidifier la diffusion des données (avec gestion des droits) Besoin correctement satisfait Besoin partiellement satisfait Besoin non satisfait (ou trop partiellement) A gauche : Géomatique A droite : Statistiques Automatiser les calculs d?indicateurs Automatiser les calculs d?indicateurs Réaliser des modèles prédictifs Réaliser des modèles prédictifs Connaître la fréquentation des publications, les commentaires Connaître la fréquentation des publications, les commentaires Construire et publier des ressources adaptées pour le web, y intégrer divers produits (cartes, graphiques?) Construire et publier des ressources adaptées pour le web, y intégrer divers produits (cartes, graphiques?) Vide = Pas de besoin 2 ? Rappel de la situation existante et des besoins Commentaires sur les principaux besoins Réponse aux besoins qui est différente selon les types de données Données géomatiques avec un contexte favorable (cadre du Ministère, équipe de la DSIT avec administration des données, catalogage...) Données statistiques qui ne présentent pas le même cadre: activité des agents de la DOES surtout concentrée sur la valorisation et la publication (partie administration de données qui se fait moins dans les règles de l?art) Pour l?utilisateur spécialiste de la donnée (ex: géomaticien, administrateur de données), le principal enjeu est d?avoir un «pot commun» de données avec les autres agents Beaucoup de tâches en doublon Mutualiser et optimiser les chaînes de traitement et de stockage des données Pour l?utilisateur non spécialiste (ex: chargé de mission), le principal souci rencontré est l?accès aux données et leur valorisation Les dispositifs existants, certes efficaces (ex: SIG Loire, Base communale), sont perçus comme trop techniques La recherche d?une donnée est complexe => Besoins exprimés autant en interne DREAL qu?en externe (partenaires). Pour les partenaires le principal souhait est un accès plus simple et en continu à des données structurées par territoire Juillet 2017 Etude pour le SI Partagé12 En tant que chargé de mission, je souhaite savoir comment se situe mon territoire sur le thème de la transition énergétique Parcours utilisateur «type» Je vais encore plus loin : je compte [faire] réutiliser les données Je vais un peu plus loin, je visualise en autonomie les données valorisées. J?accède de façon simple à la connaissance. Moteur de recherche web, site internet DREAL ou portail dédié Publication web (page web, avec dataviz, infographie, carte?) Dataviz, carte, tableau de bord? Rechercher une information, un produit, une donnée Rechercher une information, un produit, une donnée Avoir une présentation rapide d?un contexte, d?un sujet Avoir une présentation rapide d?un contexte, d?un sujet Savoir quelles sont les données mobilisables en interne Savoir quelles sont les données mobilisables en interne Avoir l?information au niveau d?un territoire en particulier Avoir l?information au niveau d?un territoire en particulier Télécharger, obtenir, des données prêtes à l?emploi pour aller plus loin et les réutiliser Télécharger, obtenir, des données prêtes à l?emploi pour aller plus loin et les réutiliser Faire un export (img, pdf, tableau) pour réutiliser la connaissance Faire un export (img, pdf, tableau) pour réutiliser la connaissance Explorer facilement les données, en autonomie Explorer facilement les données, en autonomie Cas d?usagesCas d?usagesOutils numériques Comparer plusieurs territoiresComparer plusieurs territoires Catalogue de données, lien de téléchargement depuis publication web, carte, TB ou dataviz Publication web, dataviz, carte, tableau de bord? Catalogue de données 2 ? Rappel de la situation existante et des besoins Juillet 2017 Etude pour le SI Partagé13 Parcours utilisateur «type» Gérer les donnéesCollecter et traiter des données En tant qu?administrateur de données, je souhaite collecter et intégrer des données, en vue de publier un nouveau service d?accès à des données valorisées Savoir quelles sont les données mobilisables en interne Savoir quelles sont les données mobilisables en interne Reproduire facilement les traitements de collecte et d?intégration de données Reproduire facilement les traitements de collecte et d?intégration de données Collecter des données de diverses sources (du fichier au webservice) Collecter des données de diverses sources (du fichier au webservice) Outil d?intégration / de préparation de données Avoir un espace de stockage partagé avec mes collègues Avoir un espace de stockage partagé avec mes collègues Connaître (et renseigner) la qualité des données disponibles Connaître (et renseigner) la qualité des données disponibles Conserver la trace des traitements réalisés et les partager Conserver la trace des traitements réalisés et les partager Catalogue de données Catalogue de données Outil d?intégration / de préparation de données Entrepôt / base de données Fluidifier la diffusion des données (avec gestion des droits) Fluidifier la diffusion des données (avec gestion des droits) Cas d?usagesCas d?usagesOutils numériques 2 ? Rappel de la situation existante et des besoins Juillet 2017 Etude pour le SI Partagé14 Parcours utilisateur «type» En tant que chargé d?études statistiques, je veux valoriser des données, en les rendant disponible à travers différents produits Evaluer les publications Produire et diffuser de la connaissanceRechercher des données Savoir quelles sont les données mobilisables en interne Savoir quelles sont les données mobilisables en interne Catalogue de données Automatiser les calculs d?indicateurs Automatiser les calculs d?indicateurs Réaliser des modèles prédictifs Réaliser des modèles prédictifs Connaître la fréquentation des publications, les commentaires Connaître la fréquentation des publications, les commentaires Construire et publier des ressources adaptées pour le web, y intégrer divers produits* Construire et publier des ressources adaptées pour le web, y intégrer divers produits* Outil de préparation de données Outil de statistiquesOutil d?analyse d?audience Créer des datavizCréer des dataviz Créer un tableau de bord Créer un tableau de bord Créer une carte web Créer une carte web Créer une infographie Créer une infographie Outil de dataviz Outil de reporting SIG-webOutil de PAO bureautique ou en ligne Rédiger une étude, une analyse Rédiger une étude, une analyse Outil éditorial web ou bureautique Cas d?usagesCas d?usagesOutils numériques 2 ? Rappel de la situation existante et des besoins Démarches de structuration et de diffusion de données sur le volet géomatique Une culture de la donnée qui est en place Des compétences en administration de données, et plusieurs dispositifs associés (serveurs, bases de données) Travail en mode projet avec les services Des outils de production (QGIS), de traitement (QGIS, ETL Kettle) et de diffusion (SIG Loire, Base communale) maîtrisés et qui font leur preuve Mise à disposition auprès de certains services de dispositifs de collecte et de traitement de données (ex : formulaires sur QGIS, scripts ETL), pour une gestion des données en autonomie ?Des démarches qui s?inscrivent dans le cadre du Ministère (ou en projet, comme l?offre national PostGIS) Projet de refonte de la charte graphique du site internet de la DREAL De premières étapes ont déjà été remplies : Un existant qui répond déjà en partie aux problèmes et aux besoins Juillet 2017 Etude pour le SI Partagé15 2 ? Rappel de la situation existante et des besoins Cible du SI Partagé Tronc commun Juillet 2017 Etude pour le SI Partagé16 Contenu du tronc commun Juillet 2017 Etude pour le SI Partagé17 3 ? Cible du SI Partagé ? Tronc commun Tronc commun Une nouvelle organisation Juillet 2017 Etude pour le SI Partagé18 Gouvernance des données Juillet 2017 Etude pour le SI Partagé19 Niveau décisionnel CODIR ou Direction Niveau tactique Niveau opérationnel Production de données, qualification, lancement de traitements de données préconfigurés?) Superviseur des données A mettre en oeuvre dans le SI Partagé : ? Valider la note de gouvernance des données ? Identifier une instance qui réunie des référents sur la donnée pour échanger sur les pratiques, les actions ? Rédiger une note sur la politique de la gouvernance des données, faire le lien avec le processus qualité ? Identifier un superviseur ? Formaliser le rôle d'un centre de services autour de la donnée et de la connaissance des territoires ? Formaliser les rôles de Gestionnaires de données dans les services et les fiches de poste ACTEURS RÔLES Gestionnaires de données (tous les services) Spécialistes de la donnée (administrateur, scientifique de la donnée) Traitements avancés, accompagnement des services, gestion des bases de données, analyses complexes Groupe Données Fournit le cadre sur les données, conseil sur les bonnes pratiques. S'assure de la cohérence des différentes actions sur les données Valide la stratégie et les orientations Confirme les moyens Une stratégie sur les données, de leur collecte à leur valorisation Une mise en oeuvre progressive, par thématique 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Juillet 2017 Etude pour le SI Partagé20 Répartition des rôles (fonctions) Collecte et production de données Administration des données Traitement, analyse Partage, diffusion Gestionnaires de données Administrateur de données Scientifique de la donnée Analyste de données (statistique et géomatique) Superviseur des données Ingénieur de la donnée Groupe sur la gouvernance des données Chef de produit 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Juillet 2017 Etude pour le SI Partagé21 Organisation Niveau décisionnel Niveau gouvernance Niveau opérationnel Direction / CODIR Gestionnaires de données Note sur la politique de gouvernance de la donnée Valide Superviseur des données Administrateurs des données Groupe Données Lettre de mission Anime Conseille 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Rôles Responsabilité sur les données produites dans le domaine d?activité du service Mise à jour des données Maintenir et communiquer sur la connaissance des données Vérifie la qualité des données Où ? Dans tous les services Compétences Connaissance des bonnes pratiques sur la donnée Maîtrise de l?outil servant à produire les données Juillet 2017 Etude pour le SI Partagé22 Gestionnaire de données Chaque service est responsable de ses données Selon les cas : peut être amené à lancer des traitements d?intégration de données (traitements créés en amont par un administrateur de données) Qualité Mise à jour Description ? Formaliser ce rôle dans les services ? Sensibiliser les responsables de services et de division ? Accompagnement régulier (conseil sur les bonnes pratiques, communication sur la gouvernance) A mettre en oeuvre pour le SI Partagé : 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Rôles Centralise les données et leurs métadonnées, organise leur diffusion Prépare les traitements (intégration, aide au contrôle qualité, calculs d?indicateurs) Responsable de l?intégrité des données, de la cohérence entre les référentiels et les données Où ? DSIT / DOES (Centre de service) Dans certains services souhaitant superviser leurs données Compétences (principales) Base de données : SGBDR, outils d?administration associés, SQL et opérateurs, architecture décisionnelle Outils d?intégration et de transformation de données : ETL, scripts Catalogue de données : normes et standard, outil de catalogage Juillet 2017 Etude pour le SI Partagé23 Administrateur de données ? Formaliser les compétences ciblées sur les outils retenus dans le scénario pour le SI Partagé, afin de les pérenniser A mettre en oeuvre pour le SI Partagé : Liste précise des compétences qui dépend des scénarios 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Rôles Collecte des données difficilement utilisables en l?état, et prépare les traitements associés Réalise les traitements statistiques à haute valeur ajoutée Participe à la création de produits (datavisualisation) Où ? Centre de service (DSIT / DOES) Compétences (principales) Statistiques, élaboration de modèles prédictifs Maîtrise des bases de données (NoSQL, SGBDR, décisionnel) Construction d?algorithmes, programmation Maîtrise des outils de datavisualisation Juillet 2017 Etude pour le SI Partagé24 Scientifique de la donnée ? Formaliser les compétences ciblées sur les outils retenus dans le scénario pour le SI Partagé, afin de les pérenniser ? Communiquer sur les fonctions de scientifique de la donnée, et sur le fait que les autres services de la DREAL puissent en bénéficier A mettre en oeuvre pour le SI Partagé : Liste précise des compétences qui dépend des scénarios et des outils retenus 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Rôles Valoriser des données par la création de divers produits : datavisualisation, tableau de bord, cartographies Publication des productions Réalisation et rédaction des analyses, des interprétations Où ? Centre de service (DSIT / DOES) Services de la DREAL Compétences (principales) Statistiques Géomatique, analyse spatiale Maîtrise des outils de production : outil de statistique, outil de cartographie, outil de datavisualisation? Capacité d?analyse et de rédaction, sens de la communication Juillet 2017 Etude pour le SI Partagé25 Chargés d?études ? Formaliser les compétences de ces profils, pour être en mesure de créer les produits attendus ? Communiquer sur les fonctions de ces profils à destination des services de la DREAL (offre de service) ? Montée en compétences sur les nouveaux outils A mettre en oeuvre pour le SI Partagé : Liste précise des compétences qui dépend des scénarios Selon le scénario, donner la possibilité à certains services de produire eux-mêmes des rendus 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Rôles Animateur et garant de la gouvernance Diffuse les bonnes pratiques sur les données Fait le lien entre les différents métiers de la donnée (gestionnaires, administrateurs, responsable CIL, responsable PRADA?), et coordonne leur implication Où ? Centre de service (DSIT / DOES) Juillet 2017 Etude pour le SI Partagé26 Superviseur des données Profils transverses Rôles Equivalent d?un chef de projet pour la création d?un produit (traitement, datavisualisation, publication web?) Fait le lien avec les utilisateurs et/ou le service demandeur, analyse les besoins Traduit les besoins en actions, priorise Coordonne les différents intervenants («client», utilisateurs, «producteurs») Où ? Centre de service (DSIT / DOES) Profil qui intervient en mode «projet» Chef de produit 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Management de la données Piloter et animer la gouvernance des données, faire le lien avec les métiers Architecture de la donnée (administration des données, urbanisation, intégration) Juillet 2017 Etude pour le SI Partagé27 Centre de services qui regroupe les expertises de DSIT et DOES Principe : => Pas une rupture, mais une réaffirmation des rôles => Permettre un fonctionnement agile en équipe projet Valorisation des données Fonctions : - Analyse de données (statistiques ET cartographiques) - Science de la donnée (ex: modèles prédictifs, traitements statistiques avancés, identifier de nouvelles données et organiser leur acquisition) Mise en place d?un centre de services autour de la donnée Les fonctions : 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Juillet 2017 Etude pour le SI Partagé28 Se repositionner Quelle organisation pour DSIT et DOES ? Géomatique Management de données Centre de services Statistique Valorisation de données ? Equipes «projet» Contexte de doubles compétences et fonctions parfois spécifiques à une personne (ex : secret statistique) Projet de service ? Gestionnaires des données Agents qui produisent des données Evolution des méthodes 3 ? Cible du SI Partagé ? Tronc commun ? Une nouvelle organisation Tronc commun Stratégie de collecte et de gestion des données Juillet 2017 Etude pour le SI Partagé29 Privilégier la production de données avec des modèles de saisie Application métier de saisie (locale ou nationale) qui alimente une base de donnée métier Formulaire de saisie QGIS Structure de fichier (tableur) formalisée et à respecter par le producteur, à intégrer ensuite en base (pour partage et valorisation) Juillet 2017 Etude pour le SI Partagé30 Pour les données produites par la DREAL Recommandations pour la collecte et la production de données Valorisations (diffusion web, data visualisation, cartographies?) Entrepôt de données partagé Sécurité des données Divers fichiers de données (SIG, tableurs) Bases de données métier Outils de production SIG + formulaire de saisie Outils nationaux Applications régionalesCible : Possible mais à limiter à terme : 3 ? Cible du SI Partagé ? Tronc commun ? Stratégie de collecte des données Recommandations pour la collecte et la production de données Juillet 2017 Etude pour le SI Partagé31 A mettre en oeuvre dans le SI Partagé : Pour les données produites par la DREAL Par SCTE : Initialisation d'un entrepôt de données avec les référentiels Enrichissement progressif par des données thématiques, au fur et à mesure des projets Mettre en place une structure des données adaptée pour la valorisation Mise en place de l'architecture serveur Pour les services qui le souhaitent : Avoir un accompagnement pour lancer des traitements d?intégration de données, pour fiabiliser le processus et permettre aux services de gagner du temps Légitimer le rôle de l'entrepôt de données, comme point de passage privilégié pour la valorisation 3 ? Cible du SI Partagé ? Tronc commun ? Stratégie de collecte et de gestion des données Tronc commun Accompagnement au changement et une mise en oeuvre agile Juillet 2017 Etude pour le SI Partagé32 Profiter des projets de prototypes pour lancer la montée en compétences (formation, tutorat) Permettre une mise en application rapide des acquis, par de la pratique Permettre une appropriation progressive Deux sujets de montée en compétences dans le tronc commun : Savoir gérer une base de données, intégrer des données, lancer des traitements automatisés, qualifier les données Implique une montée en compétences sur les notions (base de données, SQL, métadonnées) et les outils retenus Compétences déjà existantes à DSIT ? Besoin de formation plus pertinent pour DOES Montée en compétence qui peut être intéressante pour certains services de la DREAL, sur certaines étapes de la chaîne (ex : lancer un traitement d?intégration de données ? préparé en amont par des spécialistes) Appliquer les méthodes agiles et de design de service pour des projets Plus qu?une maîtrise des techniques, l?objectif est d?adopter l?état d?esprit de ces méthodes, afin de favoriser la réussite des projets Périmètre du tronc commun : la structuration de données et la mise en oeuvre de méthodes inspirées de l?agilité Chaque scénario intègre une montée en compétences supplémentaire (spécificités liées aux outils des scénarios) Une montée en compétences des agents Juillet 2017 Etude pour le SI Partagé33 3 ? Cible du SI Partagé ? Tronc commun ? Accompagnement au changement et méthodes agiles Avoir des résultats concrets rapidement Améliorer l?expérience utilisateur Être plus efficace Adopter une organisation en mode projet inspirée de l?agilité Juillet 2017 Etude pour le SI Partagé34 A mettre en oeuvre dans le SI Partagé : Equipes (composition et nombre d'acteur fonction du projet) Equipe projet Chef de produit Spécialistes Utilisateur ou représentant utilisateur Appliquer les méthodes de design. Avoir un accompagnement sur ces méthodes lors de la mise en oeuvre des prototypes Idéation avec les utilisateurs Maquetter Tester avec les utilisateurs Progression par prototypes itératifs : éviter l?effet tunnel et co-construire avec l?utilisateur ou le «client» + Faire des retours d?expérience Itération REX* 3 ? Cible du SI Partagé ? Tronc commun ? Accompagnement au changement et méthodes agiles Plusieurs productions sont à moderniser Esthétisme, sémiologie Manque d?identité visuelle Adapté pour le web et pour les usages mobiles Valeur ajoutée Accès plus simple aux données L?outil n?est pas la seule solution, mais aussi l?usage qu?on en fait Juillet 2017 Etude pour le SI Partagé35 Pourquoi ? Développer la culture du design de l?expérience usager ? Accompagnement des agents sur la prise en compte de l?expérience usager dans leurs productions ? Appliquer / s?inspirer des méthodes de design d?expérience utilisateur ? Faire appel aux bonnes expertises au bon moment ? Mettre en place ou conforter le rôle d?un Comité Editorial A mettre en oeuvre pour le SI Partagé : Voir les commentaires de la diapositive pour plus de détails. 3 ? Cible du SI Partagé ? Tronc commun ? Accompagnement au changement et méthodes agiles Développer la culture du design de l?expérience usager Appliquer un état d?esprit et des méthodes qui s?inspirent du design d?expérience utilisateur Principes à appliquer aux productions de la DREAL (articles, graphiques, cartes...) Plusieurs sujets qui peuvent être traités: discours à faire passer, quantité d?informations, sémiologie graphique, sémantique des graphiques, fonctionnalités (export, impression, partage, filtre?) adaptées au public cible Enjeu de penser à des productions courtes et efficaces, également adaptées pour une consultation mobile Souci aujourd?hui d?avoir un discours très «expert» et au final trop technique pour le public cible => Un chantier sur le long terme, mais sera bénéfique Comment mettre en oeuvre ces pratiques? Co-construction avec les utilisateurs cibles (ou à défaut les agents capable de traduire la vision des utilisateurs, des futurs lecteurs?) Dans les projets du SI Partagé, se faire accompagner par une personne sensible au design d?expérience utilisateur SGMAP qui publie des des documents sur les méthodes de design de service* Création d?un Comité Editorial (ou désignation d?une instance existante qui porte ce rôle), pour discuter de la stratégie de contenu des productions de la DREAL et homogénéiser les pratiques Scénarios sur la stratégie «outils» Juillet 2017 Etude pour le SI Partagé37 Les types d'outils : Privilégier les outils open source et à coûts d?acquisition limités* (voire nuls) OU Acquérir un ou plusieurs outils éditeurs, couvrant plusieurs étapes de la chaîne et avec des fonctionnalités plus abouties que celles des outils open source La mutualisation avec le niveau national : Avancer plus vite en déployant ses propres solutions (en anticipant au mieux sur la cohérence avec des démarches nationales) OU Attendre la généralisation de démarches nationales au niveau régional, pour se doter des mêmes outils Juillet 2017 Etude pour le SI Partagé38 Des scénarios sur la stratégie «Outils», selon plusieurs approches : Scénarios envisagés Pourquoi ces critères ? ? Impact sur le plan d?actions et de formation ? Impact les coûts d?investissement et les coûts de maintenance ? Complexité variable pour s?approprier la solution ? Réponse variable aux besoins ? Mise en oeuvre plus ou moins simple et rapide selon l?approche *N?intègre pas les coûts humains liés au paramétrage, au développement? 4 ? Scénarios sur la stratégie «outils» Juillet 2017 Etude pour le SI Partagé39 Une nécessaire multitude d?outils (et donc de compétences) pour maîtriser tout le cycle de vie des données Collecte et production de données Administration des données Traitement, analyse Partage, diffusion Entrepôt de données Outils de préparation et d?intégration Outils d?administration et de supervision Catalogue de données Outil création de datavisualisation Outil création de cartes web Outil d?analyses statistiques Site internet DREAL SIG + formulaire de saisie Outils nationaux Applications régionales Données web, open data Données partenaires Outil SIG Choix selon les scénarios Tronc commun (en partie existant ou à améliorer) Portail d?accès aux données 4 ? Scénarios sur la stratégie «outils» Choix pour l?administration des données Voir commentaires de la diapositive Juillet 2017 Etude pour le SI Partagé40 Entrepôt de données Outils de préparation et d?intégration PostgreSQL/PostGIS Dans la continuité de ce qui a été mis en oeuvre à la DREAL => déjà des compétences en interne Offre PostGIS au niveau national prévue Technologie très répandue, qui n?a plus besoin de faire ses preuves (facile de trouver des compétences dessus) Solution retenue : Solution identifiée, non prévue à court terme, à avoir en tête à l?avenir: «Lac de données» (Data Lake) Base noSQL, dont le principe est de stocker tout type de données avant même de déterminer la structure Nécessite une architecture spécifique, à haut niveau de compétence (architecture Big Data) De plus en plus répandue dans les grandes entreprises privées. Moins dans le public (appel à projet du SDES) Utilisation conjointe de l?ETL Geokettle et de R Dans la continuité de l?utilisation de Kettle à la DREAL. GéoKettle est à privilégier pour les traitements de données géographiques. Utilisation de scripts R pour certaines données statistiques Faire un retour d?expérience après utilisation. Outils payants, proposant des fonctions plus simples d?accès Outils tels que Talend Data Preparation ou Dataiku : ces outils permettent de générer des traitements avec un niveau de complexité moindre qu?un ETL, et sans ligne de code Outils aux coûts de licence / abonnement élevés (jusqu?à 50 K¤ HT par an) 4 ? Scénarios sur la stratégie «outils» Choix sur des outils de traitements et d?analyse Juillet 2017 Etude pour le SI Partagé41 Outil création de cartes web Outil d?analyses statistiques Solution retenue : Solution identifiée, écartée : R Dans la continuité des usages actuels à la DREAL Présence d?un parcours de formation interne au Ministère A réserver à des spécialistes Solution de science de la donnée Plateforme complète de collecte et de traitement de données statistiques, sans ligne de code Possibilité de partager les traitements entre utilisateurs Principale contrainte : coûts de licence très élevés (50 K¤ HT / an) SIG-Loire Solution déjà existante pour des cartes web (très orientées SIG, et moins «carto visualisation» ou cartes web «communicantes») Création de cartes réservée aux administrateurs de SIG Loire A noter : présence de QGIS sur plusieurs postes pour la production de cartes (non web) Pour les «cartes communicantes» web, cf slide suivante Solution identifiée, non prévue à court terme, à avoir en tête à l?avenir : 1) Outil dédié de création de cartes web Solution le plus souvent payante, mais très accessible pour créer et publier des cartes web simples (ex : Carto.com) 2) Utilisation d?outils open source et gratuits Outils tels que Umap ou création de cartes web à partir de zéro par développement sur Leaflet Pour 1) et 2), pratiques que l?on retrouve beaucoup sur des sites d?information (journalisme) 4 ? Scénarios sur la stratégie «outils» Focus sur les deux types d'outils qui font l'objet de choix au sein des scénarios Juillet 2017 Etude pour le SI Partagé42 Outil de datavisualisation et de valorisation (graphiques, cartes, tableaux, rapports et analyses) Portail de recherche, d?accès et de téléchargement des données Automatiser la création de produits à haute valeur ajoutée (initialement lourds et complexes à créer avec des outils classiques ? Calc, QGIS?) S?appuyer sur les données de l?entrepôt Exemples : ?Portrait de territoire ?Statistiques sur les logements, avec filtres / tri par entité administrative ?Indicateurs et cartographies par bassin- versant Faciliter le partage de ces productions dans un format web Une fois les données stockées dans un entrepôt, l?objectif est aussi de les rendre accessibles. Utilité d?un portail qui peut à la fois servir aux agents DREAL, aux partenaires, au grand public (avec gestion des droits) Logique de portail «open data» qui permet : ?D?avoir un guichet unique pour obtenir des données pour/de la DREAL ?Répondre aux lois sur l?ouverture des données Téléchargement des données API (accès aux données sans avoir à les télécharger) 4 ? Scénarios sur la stratégie «outils» Scénarios envisagés Juillet 2017 Etude pour le SI Partagé43 Scénario 1 Outils open source, sans achat de licence Scénario 2 Outils propriétaires Scénario 3 Outils mutualisés Nécessite montée en compétences sur R Dataviz Catalogue existant (SIG Loire) + développer une API d?accès aux données Portail de données Cf. Exemples de rendus en annexe Catalogue Open Data + API «clés en main» Utilisation d?outils nationaux (transcrits au niveau régional) tels que Statinfo, WebSI (SDES) et Prodéa (MIG), voire sphère SGMAP Visualisation simple des données OU Analyses de données pour tout utilisateur + boîtes à outils de dataviz Web Papier, image Calc (Exemple) Scénario 1 + Solution générique Solution complète+ Diffusion de données dans l'esprit INSPIRE, technique 1 seul agent sur RScénario 0 ? Maintien de la solution existante Calc Restitutions figées: 4 ? Scénarios sur la stratégie «outils» Seul le tronc commun est mis en place dans ce scénario Avec ce scénario, il n?y a pas d?évolution pour la diffusion et la valorisation des données et de la connaissance Implique de s?appuyer seulement sur des outils existants Utilisation de SIG-Loire Diffusion de données dans une logique «technique» et «INSPIRE» Veiller à remplir les fiches de métadonnées de sorte à ce qu?elles soient compréhensibles par des non spécialistes d?INSPIRE Pour presque tous les agents, utilisation des outils bureautiques traditionnels (Calc) Principale limite : des restitutions dans des formats figés, pas la possibilité de pointer directement sur les données de l?entrepôt Pour quelques spécialistes, utilisation de R Avec des restitutions figés (pas de produits interactifs) Scénario 0 ? Maintien de la situation existante Juillet 2017 Etude pour le SI Partagé44 Portail de données Dataviz 4 ? Scénarios sur la stratégie «outils» Compléter l?existant par l?introduction de nouveaux composants / outils Objectif de rester pragmatique dans les évolutions à apporter (limiter les coûts) Cibler les évolutions là où il y a des manques pour répondre aux besoins Utilisation de SIG-Loire + mise en place d?une API pour l?accès aux données S?inspirer des API mises en oeuvre dans des démarches open data API qui constitue le lien entre l?entrepôt de données et les outils de dataviz API qui retourne des données structurées par territoire Veiller à documenter l?API et faciliter son usage par des spécialistes Doter les spécialistes d?outils de dataviz web Utilisation de librairies sur R (Rshiny pour les graphiques interactifs web et Rmarkdown pour la publication HTML), avec coûts de licence mineurs Outils qui exploiteront l?API d?accès aux données Scénario 1 ? Choix d?outils essentiellement open source et/ou à faible coût de licence Juillet 2017 Etude pour le SI Partagé45 Portail de données Dataviz 4 ? Scénarios sur la stratégie «outils» Création d?un portail propre à la connaissance et aux données sur les territoires (site internet) Portail qui s?appuiera sur le contenu de SIG-Loire Objectifs : S?inspirer de démarches open data, où plusieurs sites/portails ont été créés pour apporter plus de visibilité Proposer une interface plus moderne et plus accessible (que n?offre pas un SIG-Loire) Solutions possibles : Développement d?un portail web (par prestation externalisée : prévoir entre 50 et 100 K¤ HT minimum) S?appuyer sur des composants mis en oeuvre au niveau national (data.gouv.fr, Umap) ou sur des outils open source (Ckan, Dkan), et rendre les développements réutilisables par d?autres structures publiques (objectif de transposition à d?autres services de l?Etat) Pourquoi cette piste est écartée à court terme ? Engage la DREAL dans un projet de développement conséquent, et toutes les contraintes que cela comporte (temps de suivi, de spécification, de recette, risques, coûts de prestation élevés?) Choix stratégique à mûrir, car ajout d?un nouveau site internet dans le paysage numérique de la DREAL et du Ministère de la transition écologique ? Peut être perçu comme un doublon Scénario 1 ? Alternative pouvant être envisagée à terme. Juillet 2017 Etude pour le SI Partagé46 4 ? Scénarios sur la stratégie «outils» Acquérir une (ou plusieurs) solution propriétaire, dont le principe est d?avoir : Un outil «clé en main» (très peu de développements pour la mise en place, une administration accessible) Des interfaces orientées sur l?expérience utilisateur, pour ouvrir les usages à des agents non spécialistes Portail de la gamme OpenDataSoft Permet d?avoir un portail / catalogue de données accessible, s?appuyant en plus sur le contenu de SIG-Loire (moissonnage des métadonnées) Avantage de proposer une API d?accès aux données Très répandu dans des structures publiques qui ouvrent leurs données Ne fait pas nécessairement doublon avec SIG-Loire qui conserve son rôle de catalogue géographique et INSPIRE Scénario 2 ? Choix d?outils propriétaires (1/2) Juillet 2017 Etude pour le SI Partagé47 Portail de données 4 ? Scénarios sur la stratégie «outils» Pour les usages de datavisualisation, deux orientations dans ce scénario 1) Permettre une visualisation «simple» de données, avec les fonctionnalités du portail Solution OpenDataSoft qui permet de visualiser des tableaux, cartes et graphiques de façon générique : il ne s?agit pas de valorisation, mais d?une consultation des données Pour les spécialistes, ajouter les outils proposés dans le Scénario 1 (boîte à outils de dataviz, à savoir Rshiny et Rmarkdown) 2) Acquérir en plus du portail une solution de data visualisation complète Principe de ce type de solution : pouvoir créer et publier des rendus interactifs sans ligne de code (sans avoir le niveau requis contrairement aux outils de dataviz du Scénario 1 tels que R) Nécessité d?aller vers une solution propriétaire complète et donc payante, plutôt qu?un simple outil gratuit, par soucis d?intégration avec l?entrepôt de données : Une solution complète sera capable d?exploiter le contenu de l?entrepôt de données voire même une API Une solution gratuite ne sera généralement compatible qu?avec des fichiers textes ou tableurs Solutions qui sont toutefois peu répandues dans le public, se rapprochant parfois de la Business Intelligence Ne fait pas nécessairement doublon avec SIG-Loire qui conserve son rôle de catalogue géographique et INSPIRE Exemples de gammes de solutions : Plotly, Dataiku, Coheris, Tableau Software, Qlik Scénario 2 ? Choix d?outils propriétaires (2/2) Juillet 2017 Etude pour le SI Partagé48 Dataviz 4 ? Scénarios sur la stratégie «outils» S?inscrire dans des démarches nationales, pour bénéficier des outils (et des dispositifs associés) mis en place Contexte de projets au niveau du Ministère de la transition écologique, notamment dans le cadre d?appels à projets, sur la diffusion et la valorisation de données Projet «WebSI» du SDES Projet «Prodéa» de la MIG Opportunités offertes par ces projets : Pour ces deux projets, il y a la notion de portail de données, offrant les fonctions attendues (recherche, catalogage, services web d?accès aux données?) Projets qui proposent des fonctions de visualisation générique de données (pas une vraie valorisation) Permet de mutualiser les compétences et les moyens pour la mise en oeuvre et l?administration de ces solutions Point de vigilance : il ne s?agit que de projets présentant leur propre calendrier, et dont les premiers objectifs ne sont pas de satisfaire les besoins d?une DREAL (priorité aux services centraux) Scénario 3 ? Utilisation d?outils nationaux et/ou mutualisés Juillet 2017 Etude pour le SI Partagé49 Portail de données Dataviz 4 ? Scénarios sur la stratégie «outils» Constat : il est simple aujourd?hui de publier un graphique interactive, une carte dynamique, grâce à de petits outils gratuits en ligne Solutions telles que Infogram, Carto.com, Datawrapper, et tant d?autres Outils qui sont partiellement gratuits : la version gratuite permet un usage limité Produits d?appel pour un abonnement ensuite à des coûts plus élevés Outils de plus en plus utilisés : particuliers, services de communication, sites journalistiques? Partir du principe que ces outils seront quoi qu?il arrive utilisés par des agents, pour répondre à des besoins rapidement (ne pas avoir le sentiment d?attendre) Renvoi vers le syndrome de «l?informatique de l?ombre» (Shadow IT) Préconisations : Ce ne sont que des outils : le point de vigilance à avoir porte plus sur les données et sur le discours Sur les données : bien acculturer les agents sur les droits de diffusion (attention aux données personnelles ou aux données sensibles). Aucune contrainte si c?est de la donnée publique (de toute façon, si la DREAL ne valorise pas ces données, un tiers le fera quoi qu?il arrive) Sur le discours : importance de l?équivalent d?un Comité Editorial à la DREAL Quid de l?utilisation d?outils gratuits, simples d?accès Gagner en souplesse tout en restant dans les bonnes pratiques Juillet 2017 Etude pour le SI Partagé50 4 ? Scénarios sur la stratégie «outils» Juillet 2017 Etude pour le SI Partagé51 Scénario Entrepôt de données Outils intégrat° Catalogue de données Outil de data viz Outil de carto web Portail d?accès aux données 1) Outils en majorité Open Source ou sans coût de licence SGBDR (Postgre PostGIS) ETL Géokettle + R + Rshiny + Librairie R pour cartes simples SIG-Loire pour SIG- web Site internet DREAL + 1bis) Alternative avec création d?un nouveau portail Ou composants de data.gouv.fr Scénario 1 + fonctions cartographiques classiques du portail Scénario 1 + fonctions cartographiques classiques du portail Site internet DREAL + 2) Outils propriétaires + Outils Scénario 1 + Outils Scénario 1 + Site internet DREAL + 2bis) Alternative avec solution complète de data visualisation + Outils Scénario 1 + 3) Mutualisé Selon choix du projet Avec WebSI : Data lake (base NoSQL) Selon les choix du projet Selon choix du projet Ex avec WebSI : Selon choix du projet Prévoir outils du Scénario 1 pour les spécialistes Selon choix du projet Selon choix du projet Ex avec WebSI : Cartographie des outils selon les scénarios Exemple Exemple 4 ? Scénarios sur la stratégie «outils» Juillet 2017 Etude pour le SI Partagé52 Intérêts et impacts des scénarios 4 ? Scénarios sur la stratégie «outils» Scénario 1 Open source Scénario 3 Outils mutualisés Permet de valoriser une partie de l?existant (régional et national) Création d?une API qui apporte de la valeur ajoutée, et un fort intérêt à être transposée à d?autres DREAL Haut niveau de compétence à maintenir (développement web API) ou faire appel à prestations Réservé à des spécialistes Création de portail «Open Data» et d?API «maison» constitue un projet informatique conséquent Gains Coûts outils Scénario 2 ? Outils propriétaires Rapide à mettre en oeuvre pour le portail Chaîne optimisée pour la diffusion de données - Gains Coûts outils Autonomie des utilisateurs pour l?analyse Besoin de compétences techniques moins critique Gains Abonnement logiciel Pas une totale autonomie des utilisateurs pour des usages de valorisation plus poussés Solution peu répandue dans le public Engagement auprès d?un éditeur Difficile à transposer Capitalisation avec des démarches nationales Bénéficier de l?expertise du niveau national pour déployer et utiliser les outils Pas de garantie sur la disponibilité de ces outils (WebSI et Prodéa) Pas de vraie coordination SOeS/MIG pour ces projets Mutualisation qui ne traite pas les usages de dataviz pour la DREAL Gains Coûts outils Coûts humains Solution générique Solution complète Coûts outils Coûts humains Coûts humains Juillet 2017 Etude pour le SI Partagé53 Comparaison des scénarios 4 ? Scénarios sur la stratégie «outils» Trajectoires possibles entre les scénarios Juillet 2017 Etude pour le SI Partagé54 Court terme Moyen terme Long terme Scénario 1 Scénario 3 Expectative de mutualisation avec outils nationaux Scénario 2 Voir si l?acquisition de l?outil de portail open data peut se faire avec le SDES + Contribution aux démarches WebSI et Prodéa Scénario 0 Maintien du fonctionnement existant 4 ? Scénarios sur la stratégie «outils» Feuille de route Juillet 2017 Etude pour le SI Partagé55 Appliquer avec le scénario retenu sur des projets concrets Faire la preuve du concept Montrer aux acteurs interrogés des résultats Monter en compétences l?équipe DSIT/DOES sur les méthodes et les outils Trois exemples de projets identifiés (cf. diapos suivantes) Réaliser un retour d?expérience à l?issue de la mise en oeuvre des prototypes Objectif : résultats fin 2017 Réalisation de prototypes Feuille de route à court terme Juillet 2017 Etude pour le SI Partagé56 5 ? Feuille de route 1 Tableau de bord sur la qualité de l?eau Juillet 2017 Etude pour le SI Partagé57 Proposition de projet : Améliorer le stockage des données, et le processus d?intégration puis de calcul des indicateurs Avoir une restitution interactive (synchronisée avec l?entrepôt de données), plus simple à mettre à jour Rappel de la situation actuelle Chaîne de traitement des données lourde, et risquée (perte de données) Création des restitutions chronophage pour les agents (DERM) Objectif de performance : Investir 30 j.h DSIT/DOES + 5-10 j.h pour la DERM Gagner 15 à 20 j.h par an pour la DERM 5 ? Feuille de route 2 Fiabilisation de la collecte et de la valorisation de données web sur les logements (SIclop) Juillet 2017 Etude pour le SI Partagé58 Améliorer la collecte des données Informations sur les logements à récupérer sur le web (Ouest-France Immo, Leboncoin...) Traitement des données et calcul des indicateurs Consolidation des données par territoire, par thématique Secrétisation Qualification Restituer les données Objectifs de performance : Investir 10-15 j.h DSIT/DOES + groupe de stagiaires ENSAI Gain de temps pour le SIAL pour la récupération des données et leur traitement (20 j.h de gagnés par an) Données web Chaîne de collecte et de traitement Stockage Valorisations 5 ? Feuille de route 3 Portrait de territoire et Indicateurs DREAL Juillet 2017 Etude pour le SI Partagé59 Améliorer le circuit des données : Collecte des données (sources très variées) Traitement des données et calcul des indicateurs Consolidation des données par territoire, par thématique Secrétisation Qualification Portrait de territoire et Indicateurs DREAL Des données stockées dans l?entrepôt de données Un portrait de territoire accessible sur le web avec : ?Data visualisations ?Liens de téléchargement des données Circuit d?intégration des données et de calcul des indicateurs optimisé (indicateurs DREAL) Objectifs de performance : Investir 20-30 j.h DSIT/DOES En profiter pour la montée en compétences d?agents DOES Gagner 10 à 20 j.h par an pour l?actualisation des portraits de territoire Rendre des données + facilement accessibles pour la DREAL et les partenaires (surtout DDTM) 5 ? Feuille de route Estimation des coûts Juillet 2017 Etude pour le SI Partagé60 Coûts (jours homme) qui doivent s'intégrer dans le plan de charge actuel des agents Majorité des coûts qui concerne la mise en oeuvre des projets (travaux sur les données, création des produits), et moins la mise en place des outils Estimation des coûts de fonctionnement difficile à réaliser, car s?intègre dans les missions actuelles des agents (ex : administrateur de données) Estimations à considérer comme des ordres de grandeur Il est toujours possible de consacrer plus de temps qu'estimé (pour aller encore plus loin) : le coût estimé correspond au temps le plus raisonnable à consacrer En cas de prestations externalisées ou d?achat de logiciels Coûts exprimés en K¤ HT Ordre de grandeur et coûts publics (sans mise en concurrence) Juillet 2017 Etude pour le SI Partagé61 Précisions sur les coûts 4 ? Scénarios ? Estimation des coûts Tronc commun Juillet 2017 Etude pour le SI Partagé62 Tronc commun Investissement Actions Contenu Charge j/h Coût K¤ HT Gouvernance des données Rédaction note de gouvernance Mise en place et animation (comptabilisé dans les jours des projets) 5 Achat et installations serveurs Serveur pour la base de données Serveur pour les applicatifs web 5 5 Accompagnement NAOMIS Prévu dans l'appel à projet Entrepôt de données Installation et paramétrage initial PostgreSQL/PostGIS Modélisation Intégration des référentiels 15 Total Initialisation 25 5 Pour les serveurs, hypothèse d?achat de serveurs physiques. Mais les prix indiqués peuvent être revus si des serveurs sont déjà disponibles (ex : pour une virtualisation). Pour la gouvernance des données, considérer que c?est tout premier temps à consacrer, mais qu?ensuite, le «Superviseur des données» devra y passer plus de temps (animation, accompagnement). Ce type de poste requiert dans des structures à taille similaire entre 0,5 et 1 ETP. 4 ? Scénarios ? Estimation des coûts Scénario 1 ? Outils majoritairement open source ou à faible coût de licence Juillet 2017 Etude pour le SI Partagé63 Coûts scénario 1 Investissement Fonctionnement annuel Actions Contenu Charge j.h Coût K¤ HT Financement appel à projet K¤ HT Charge j.h Coût K¤ HT Tronc commun Cf. slide précédente 25 5 Accompagnement Accompagnement à la mise en place de la gouvernance des données et aux prototypes 25 Portail d?accès aux données Mise en place d?une première API d?accès aux données 35 5 Outil de data visualisation Abonnement (ex : Rshiny, Highchart?) 5 Projets prototypes Tableau de bord qualité de l?eau 30 5 Collecte de données web sur les logements (projet Siclop) 15 5 Portraits de territoires 20 10 Montées en compétences Formations (achat, participation) 40 15 Total Scénario 1 165 j.h 5 K¤ HT 40 K¤ HT 25 j.h / an 5 K¤ HT / an En cas de mise en oeuvre d?un portail (Scénario 1bis) : ajouter entre 50 et 100 K¤ HT de prestation (selon périmètre) ou prévoir 60 j.h interne de paramétrage, installation, développements? 4 ? Scénarios ? Estimation des coûts Scénario 2 ? Outils propriétaires pour le portail d?accès aux données Juillet 2017 Etude pour le SI Partagé64 Coûts scénario 2 Investissement Fonctionnement annuel Actions Contenu Charge j.h Coût K¤ HT Financement appel à projet K¤ HT Charge j.h Coût K¤ HT Tronc commun Cf. slide précédente 25 5 Accompagnement Accompagnement à la mise en place de la gouvernance des données et aux prototypes 25 Portail d?accès aux données Abonnement portail propriétaire (ex : Opendatasoft) 5 10 Outil de data visualisation Abonnement (ex : Rshiny, Highchart?) 5 Projets prototypes Tableau de bord qualité de l?eau 30 5 Collecte de données web sur les logements (projet Siclop) 15 5 Portraits de territoires 20 10 Montées en compétences Formations (achat, participation) 40 5 10 Total Scénario 2 140 j.h 10 K¤ HT 35 K¤ HT 25 j.h / an 15 K¤ HT / an 4 ? Scénarios ? Estimation des coûts Scénario 2bis ? Outils propriétaires pour le portail d?accès aux données et de data visualisation Juillet 2017 Etude pour le SI Partagé65 Coûts scénario 2 Investissement Fonctionnement annuel Actions Contenu Charge j.h Coût K¤ HT Financement appel à projet K¤ HT Charge j.h Coût K¤ HT Tronc commun Cf. slide précédente 25 5 Accompagnement Accompagnement à la mise en place de la gouvernance des données et aux prototypes 25 Portail d?accès aux données Abonnement portail propriétaire (ex : Opendatasoft) 5 10 Outil de data visualisation Acquisition et abonnement outil propriétaire (Tableau, Dataiku, Plotly?) 10 35 Projets prototypes Tableau de bord qualité de l?eau 20 2 Collecte de données web sur les logements (projet Siclop) 10 3 Portraits de territoires 15 5 Montées en compétences Formations (achat, participation) 40 15 10 Total Scénario 2 125 j.h 15 K¤ HT 10 K¤ HT 10 j.h / an 45 K¤ HT / an 4 ? Scénarios ? Estimation des coûts Scénario 3 ? Outils mutualisés Juillet 2017 Etude pour le SI Partagé66 Coûts scénario 3 Investissement Fonctionnement annuel Actions Contenu Charge j.h Coût K¤ HT Financement appel à projet K¤ HT Charge j.h Coût K¤ HT Tronc commun Cf. slide précédente 25 5 Accompagnement Accompagnement à la mise en place de la gouvernance des données et aux prototypes 25 Portail d?accès aux données Selon choix du projet (difficile à estimer) 5 5 ? 10 ? Outil de data visualisation Selon choix du projet (difficile à estimer) 5 5 ? 10 ? Projets prototypes Tableau de bord qualité de l?eau 25 5 Collecte de données web sur les logements (projet Siclop) 15 5 Portraits de territoires 15 5 Montées en compétences Formations (achat, participation) 40 15 Total Scénario 3 130 j.h 5 K¤ HT 40 K¤ HT 15 j.h / an 10-15 K¤ HT / an (?) Compte tenu du fait que les outils mutualisés ne sont pas encore choisis et déployés, il est difficile de s?avancer sur des montants et les charges. 4 ? Scénarios ? Estimation des coûts Formations qui ont pour but de transmettre les bases sur les méthodes et les outils Il faut considérer que la montée en compétences ne se limite pas seulement à des formations La réalisation des projets prototypes est un moyen supplémentaire pour continuer à apprendre sur les outils et les méthodes Sur certains sujets (ex : gestion de base de données ou utilisation de R), il y a des déjà des compétences au sein de la DREAL : penser au tutorat pour accompagner plus facilement les ajouts qui découvrent ces techniques En cas de formation réalisée par un intervenant externe, penser qu?il faut que la DREAL devra ensuite être autonome pour dispenser à son tour les acquis Penser que certaines formations pourraient s?intégrer dans un catalogue national Modalités de réalisation des formations Selon les scénarios (scénario 2), certaines formations seront nécessairement externalisées (afin de prendre en main l?outil propriétaire) Pour les sujets où il y a déjà des compétences en interne, possible d?imaginer une formation par un binôme d?intervenant (intervenant externe + DREAL) pour la connaissance des métiers, du contexte, des procédures propres à la DREAL Charge de travail pour les formations similaire d?un scénario à l?autre Le nombre d?outils à maîtriser est relativement identique d?un scénario à l?autre. La principale différence se situe au niveau des modalités de réalisation (le scénario 2 nécessite de plus faire appel à des prestations externes, pour maîtriser l?outil éditeur) Précisions sur la montée en compétences Juillet 2017 Etude pour le SI Partagé67 4 ? Scénarios ? Estimation des coûts Juillet 2017 Etude pour le SI Partagé68 Formations identifiées Type de formation Pourquoi ? Scénarios Type intervenant Coût K¤ HT (si externe) Gérer une base de données Postgre/PostGIS Renforcer les ressources existantes Intégrer certains collaborateurs DOES dans ce processus TOUS Externe (accord- cadre appel à projet) et DREAL 5 Intégrer des données dans l?entrepôt de données et automatiser des traitements (ex : calculs d?indicateurs) Renforcer les ressources existantes Permettre à certains collaborateurs DOES de participer à l?intégration Connaître les outils d?intégration possibles (ETL, script R) TOUS Externe (accord- cadre appel à projet) et DREAL 5 Gérer le catalogue de données Intégrer certains collaborateurs DOES dans ce processus Selon le scénario, prise en main d?un nouvel outil de catalogage (en plus de SIG Loire) TOUS Tous scénarios : DREAL (pour SIG- Loire) Scénario 2 : Externe (éditeur) 3 Management des données Pour la mise en oeuvre du tronc commun et des scénarios 4 ? Scénarios ? Estimation des coûts Juillet 2017 Etude pour le SI Partagé69 Formations identifiées Pour la mise en oeuvre du tronc commun et des scenarios Type de formation Pourquoi ? Scénarios Type intervenant Coût K¤ HT (si externe) Utilisation de l?API d?accès aux données Savoir utiliser des données avec l?API (extraire des données, les valoriser dans un outil?) TOUS Externe 5 Administration du portail d?accès aux données Savoir administrer le portail Scénario 1bis et 2 Externe 3 Management des données 4 ? Scénarios ? Estimation des coûts Juillet 2017 Etude pour le SI Partagé70 Formations identifiées Pour la mise en oeuvre du tronc commun et des scenarios Type de formation Pourquoi ? Scénarios Type intervenant Coût K¤ HT (si externe) Créer et publier une datavisualisation Généraliser cette compétence à DSIT/DOES (au moins 2-3 agents) TOUS Scénario 1 : DREAL Scénario 2 : Externe (Editeur) Scénario 3 : selon le projet 5 Utiliser R pour des analyses statistiques Généraliser cette compétence à DOES TOUS DREAL - Valorisation des données 4 ? Scénarios ? Estimation des coûts Juillet 2017 Etude pour le SI Partagé71 En synthèse sur les coûts des scénarios 4 ? Scénarios ? Estimation des coûts Hypothèses des coûts de mise en oeuvre des outils et de maintenance, pour le périmètre des trois projets proposés Investissement ? Charge de travail Scénario 1 Open source Scénario 2 Scénario 3 Mutualisé Portail propriétaire Portail et Data visualisation propriétaires Tronc commun (note gouvernance, initialisation entrepôt données) 25 25 25 25 Portail d'accès aux données (installation et/ou développement) 35 10 5 5 Outil de data visualisation (installation) 10 5 Projet Tableau de bord qualité de l'eau 30 30 20 25 Projet fiabilisation SIclop 15 15 10 15 Projet Portrait de territoire 20 20 10 15 Montées en compétence DSIT/DOES 40 40 38 38 TOTAL 165 j.h 140 j.h 118 j.h 128 j.h Serveurs (achat si besoin) 5 K¤ HT Accompagnement (financement CGDD): méthode, formations 25 à 50 K¤ HT Fonctionnement annuel Par an: Administration / mise à jour des projets (tableau de bord eau, portrait territoire, Siclop?) et des outils 25 j.h 20 j.h 10 j.h 15 j.h Coûts abonnement / maintenance des outils 1-3 K¤ HT (data visualisation) 10-15 K¤ HT (portail de données) 30-45 K¤ HT (portail + data visualisation) 10-15 K¤ HT (hypothèse) DREAL Pays de la Loire qui bénéficie d?un contexte favorable, car il y a déjà des agents en interne qui assurent ces missions Les temps estimés ci-dessous sont déjà effectifs La charge supplémentaire ? estimée dans les scénarios ? correspond à ce qui est nouveau dans le plan de charge (nouvelles tâches) La charge nécessaire dépend de la quantité des données et des produits, ainsi que de la taille de la structure Les chiffres ci-dessous sont à considérer comme un point de départ pertinent pour une démarche réussie, correctement animée et administrée Il s?agit de fonctions, et non de postes Pour mettre en oeuvre le SI Partagé tel que présenté, il y a un socle minimal de ressources humaines à avoir Coûts de fonctionnement humain du SI Partagé Juillet 2017 Etude pour le SI Partagé72 4 ? Scénarios ? Estimation des coûts Administrateur de données Scientifique de la donnée Analyste de données (statistique et géomatique) Superviseur des données Chef de produit 0,5 ETP 0,5 ETP 0,5 ETP 1 ETP 0,25 ETP Conclusions de l?étude Juillet 2017 Etude pour le SI Partagé73 Résultats synthétiques de l?étude Juillet 2017 Etude pour le SI Partagé74 6 ? Conclusions de l?étude Définition d?une nouvelle organisation ? Une gouvernance des données ? L?évolution des divisions géomatiques et statistiques (DSIT et DOES) en centre de services autour de la donnée Une offre logicielle, majoritairement open source (choix du Scénario 1) Pour les spécialistes de la donnée : ?Un entrepôt de données partagé ?Une diffusion via une API d?accès aux données ? structurées par territoire (à développer) et un portail (SIG Loire ? ou site ex nihilo à créer) ?Une boîte à outils pour la création de data visualisation (sur R) ?Un catalogue de données normé (SIG Loire) ?Une boîte à outils de création de traitements sur les données (ETL et R) Pour les utilisateurs internes et externes : ?Un accès plus simple à des données (portail), téléchargeables et réutilisables (API) ?Des produits avec un rendu plus graphique et plus interactif ?La possibilité de demander au centre de services une fiabilisation des données (structuration dans l?entrepôt, automatisation de l?intégration et des traitements) => Un gain de temps dans la gestion et la recherche de données internes DREAL Identification de trois projets de prototypes ? Tableau de bord sur la qualité de l?eau ? Collecte de données web sur les logements ? Portraits de territoires Définition d?un accompagnement au changement et de méthodes ? Professionnaliser sur le management des données et la data visualisation ? Appliquer les méthodes inspirées de l?agilité et du design Des constats partagés sur les enjeux ? Moderniser la gestion et la valorisation des données ? Professionnaliser les pratiques sur les données ? Concourir à la transition numérique de la DREAL Des besoins identifiés, portant essentiellement sur : ? L?amélioration de l?accès aux données et aux valorisations associées, pour des non spécialistes ? L?optimisation de la chaîne de collecte, de gestion et de traitement des données ? aller dans le sens des bonnes pratiques ? Réutiliser plus facilement les données «territorialisées», autant pour des utilisateurs internes qu?externes Un existant au sein de la DREAL qui répond déjà à certains besoins, mais qui nécessite des compléments / améliorations ? Volet géomatique structuré, avec toutefois des restitutions essentiellement «techniques» ? Volet statistique qui nécessite une amélioration des pratiques de gestion (en plus d?une homogénéisation avec la partie géomatique) ? Des pratiques dans les services qui nécessitent d?être professionnalisées et optimisées Résultats de l?étude (1/3) Juillet 2017 Etude pour le SI Partagé75 6 ? Conclusions de l?étude Définition d?une organisation humaine sur les données (gouvernance) ? Réaffirmer les rôles remplis par plusieurs agents (administration de données, production de données, science de la donnée) ? Rendre à la «donnée» plus d?importance dans les réflexions et les discours, impliquer les décideurs et les services ? Mettre en place un centre de services sur la donnée et la connaissance des territoires ? De nouveaux rôles : superviseur de la donnée, chef de produit Professionnaliser la gestion des données ? Rôle d?un centre de service autour de la donnée : conseil, réalisation pour les autres services DREAL, accompagnement, et gestion d?un entrepôt de données partagé ? Réaffirmer le rôle d?un entrepôt de données, point de passage privilégié avant diffusion et valorisation ? Monter en compétences les agents sur la gestion d?un entrepôt de données et la valorisation de données (data visualisation), avec un démarrage pour DSIT/DOES S?inspirer des méthodes agiles et de design de service ? Changement d?état d?esprit, pour des productions plus efficaces et plus modernes Résultats de l?étude (2/3) Juillet 2017 Etude pour le SI Partagé76 6 ? Conclusions de l?étude Des scénarios sur la stratégie de choix d?outils ? Choix entre le choix d?outils essentiellement open source (ou à faible coûts de licence), des outils propriétaires et des outils mutualisés avec le niveau national ? Stratégie qui impacte la diversité des compétences à maintenir, les coûts de maintenance et l?expérience utilisateur (selon l?efficacité des outils) ? Scénario 1 ? Outils majoritairement open source, qui est privilégié et qui s?inscrit dans la continuité de ce qui a été réalisé jusqu?à aujourd?hui ? Scénario 2 ? Outils propriétaires non retenu, mais qui a permis de montrer ce qu?il est possible de réaliser aujourd?hui (malgré les coûts requis) ? Scénario 3 ? Outils mutualisés : un scénario difficile à réaliser à court terme, car dépendant du calendrier de mise en oeuvre d?outils nationaux Des projets de prototypes identifiés ? Preuves de concept avec en sortie un retour d?expériences, à des fins d?amélioration continue ? Avancer pas à pas avec les utilisateurs ? Montrer des résultats rapidement Résultats de l?étude (3/3) Juillet 2017 Etude pour le SI Partagé77 6 ? Conclusions de l?étude Bilan sur le déroulement de l?étude Juillet 2017 Etude pour le SI Partagé78 Une dynamique Une appropriation sur des méthodes plus souples pour définir des projets Un plan d?action pragmatique : possibilité d?avoir une solution à court terme, avec des coûts mesurés Des échanges durant l?étude entre les acteurs qui contribuent à la conduite du changement Résultats obtenus Points positifs, à s?inspirer pour d?autres études : Points de vigilance : Co-construction S?appuyer sur des supports visuels, montrer du concret pour les échanges et mieux se projeter Impliquer le niveau décisionnel Echanges qui vont rapidement sur les outils Risque de déception des acteurs interrogés Cadre national, restrictions de moyens qui peuvent contraindre des choix et des évolutions (qui répondraient pourtant aux besoins 6 ? Conclusions de l?étude Contacts DREAL Pays de la Loire ? SCTE : Chefs de service : Thomas Zamansky Christian Rincé Chefs du projet : Catherine Chamard-Bois (DSIT) Maël Theulière (DOES) Contact NAOMIS : Yohann Bertrand ? y.bertrand@naomis.fr Contacts Annexes - exemples ? de portails d?accès aux données ? d?outils de datavisualisation ? de tableaux de bord ? d?entrepôt de données et fonctions d?administration et d?intégration associées - «data lake» Juillet 2017 Etude pour le SI Partagé80 Juillet 2017 Etude pour le SI Partagé81 Exemple de portail d?accès aux données data.gouv.fr ? Scénario 1bis 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé82 Exemple de portail d?accès aux données Ckan ? Scénario 1bis 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé83 Exemple de portail d?accès aux données Dkan ? Scénario 1bis 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé84 Exemple de portail d?accès aux données OpenDatasoft ? Scénario 2 7 ? Annexes et illustrations Catalogue/Portail de données Téléchargement API Accès aux données Juillet 2017 Etude pour le SI Partagé85 Types d?outils de création de datavisualisation Gains, valeur ajoutée Complexité de mise en oeuvre et de fonctionnement Librairie / boîte à outil de développement de datavisualisation Outil avec interface de création de dataviz Souplesse et adaptabilité Réutilisation Nécessite compétences en développement (ex : javascript) Pas forcément gratuit pour autant ! + difficile à mutualiser et transposer Fonction générique de datavisualisation dans un outil ayant un périmètre plus large Cas Opendatasoft Permet d?offrir des fonctions de datavisualisation tout en répondant à d?autres besoins (ex : recherche et exploration de données) Utilisé pour le futur WebSI => pistes de mutualisation ? Générique : difficile d?avoir une dataviz sur mesure (l?utilisateur doit tout faire lui- même) Le plus souvent payant (et cher !) + difficile à mutualiser et transposer Pas nécessaire d?avoir des compétences en développement pour les dataviz les plus simples 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé86 Exemple de fonction de datavisualisation Fonction générique de datavisualisation dans un outil ayant un périmètre plus large Cas Opendatasoft 7 ? Annexes et illustrations Autour de 10 K¤ par an pour une solution d?entreprise (1,5 K¤ pour un usage simple), et gratuit si c?est de la donnée publique (aucune sécurité) Il est question ici de «carto visualisation», et moins de SIG-web : la logique n?est pas la même, car il s?agit de communiquer, de présenter simplement un sujet (un SIG-web sera plus complet mais aussi plus technique). Carto Exemple d?outil de «data visualisation» cartographique Juillet 2017 Etude pour le SI Partagé87 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé88 Exemple de boîte à outil de datavisualisation Librairie / boîte à outil de développement de datavisualisation Dans les 400 à 600 ¤ HT par an pour un utilisateur «créateur» Et aussi : R-Shiny, opengov 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé89 Exemple d?outil de datavisualisation Solution d?entreprise avec interface de création de dataviz, sans ligne de code DSS Community edition : version gratuite compatibles principaux formats (PostgreSQL compris), mais annoncé pour découvrir l?application Version payante : + de formats et + de collaboratif 50 K¤ HT / an pour 1 Data scientist et 5 Data Analysts 7 ? Annexes et illustrations Création de data visualisation en ligne Payant pour un partage des résultats (abonnement) Capable de charger des données depuis une url (API) Juillet 2017 Etude pour le SI Partagé90 Infogram 7 ? Annexes et illustrations Exemple d?outil de data visualisation en ligne Gratuit, mais ne s?appuie que sur des données chargées à un instant T (tableurs), et pas des webservices ou une base de données Juillet 2017 Etude pour le SI Partagé91 Datawrapper 7 ? Annexes et illustrations Exemple d?outil de data visualisation en ligne Juillet 2017 Etude pour le SI Partagé92 Plotly Solution dite complète, dans le sens où elle peut s?intégrer dans le système d?information (lien avec l?entrepôt de données) Coûts d?abonnement à hauteur de 10 K¤ par an minimum 7 ? Annexes et illustrations Exemple de solution complète de data visualisation Moins demandé par les utilisateurs Data visualisation qui est plus adaptée, plus souple Répondre à des besoins exprimés à un instant T Intéressant pour de la valorisation de données de façon «périodique», récurrente Peut être utilisé pour supplanter une datavisualisation Plus difficile à mutualiser et à transposer, car nécessite plus de compétences dédiées Système de «Business Intelligence» Juillet 2017 Etude pour le SI Partagé93 Non retenu dans le premier périmètre du SI Partagé Outil de tableau de bord Juillet 2017 Etude pour le SI Partagé94 Outil de tableau de bord Gains, valeur ajoutée Complexité de mise en oeuvre et de fonctionnement Outil de reporting open source Ex : Pentaho Cohérent avec le choix ETL DREAL Compétences existantes Nécessite compétences en développement + construction d?entrepôt de données décisionnel Interface permet de faire des choses, mais la version gratuite de Pentaho est plus conseillée pour des développeurs Outil de reporting éditeur / payant Gain pour les agents en charge de la création des tableaux de bord : interface plus adaptée Coûts très élevés (licence, maintenance) Juillet 2017 Etude pour le SI Partagé95 Exemple tableau de bord Avant Après Juillet 2017 Etude pour le SI Partagé96 Exemple de tableau de bord www.datagence.eu ? Construit avec Pentaho http://www.datagence.eu/ Juillet 2017 Etude pour le SI Partagé97 Entrepôt de données et fonctions d?administration et d?intégration associées Gains, valeur ajoutée Complexité de mise en oeuvre et de fonctionnement Entrepôt de données «classique» (SGBDR) Noyau de compétences à la DREAL déjà existant Evolutif Pas une seule base : un entrepôt de données «globale» puis plusieurs espaces (ou Datamart) dédiés à des valorisations Plus rigide : tout le process de modélisation, intégration, schémas en étoile, etc? «Lac de données» (Data lake) Expérimenter en local Un concept : tout stocker Plus souple pour répondre à de nouveaux besoins, à l?imprévu Des technologies nouvelles et complexes (Hadoop, NoSQL) 7 ? Annexes et illustrations Espace de stockage de données qui ne remplace pas les autres bases de données (entrepôt de données décisionnel, base de production) Il se situe en amont d?entrepôts de données décisionnels (structurés pour des besoins de valorisation bien définis) Il se situe ? éventuellement - en aval des bases de production, pour , pour la diffusion des données Data Lake : Explications Juillet 2017 Etude pour le SI Partagé98 Source : http://www.decideo.fr/Le-Data-Lake-est-il-le-nouveau-Data-Warehouse_a9336.html 7 ? Annexes et illustrations Juillet 2017 Etude pour le SI Partagé99 Data Lake : Explications 7 ? Annexes et illustrations Source : https://fr.slideshare.net/softcomputing/data-lake Juillet 2017 Etude pour le SI Partagé100 Data Lake : Explications 7 ? Annexes et illustrations Source : https://fr.slideshare.net/softcomputing/data-lake  Diapo 1  Diapo 2  Diapo 3  Diapo 4  Diapo 5  Diapo 6  Diapo 7  Diapo 8  Diapo 9  Diapo 10  Diapo 11  Diapo 12  Diapo 13  Diapo 14  Diapo 15  Diapo 16  Diapo 17  Diapo 18  Diapo 19  Diapo 20  Diapo 21  Diapo 22  Diapo 23  Diapo 24  Diapo 25  Diapo 26  Diapo 27  Diapo 28  Diapo 29  Diapo 30  Diapo 31  Diapo 32  Diapo 33  Diapo 34  Diapo 35  Diapo 36  Diapo 37  Diapo 38  Diapo 39  Diapo 40  Diapo 41  Diapo 42  Diapo 43  Diapo 44  Diapo 45  Diapo 46  Diapo 47  Diapo 48  Diapo 49  Diapo 50  Diapo 51  Diapo 52  Diapo 53  Diapo 54  Diapo 55  Diapo 56  Diapo 57  Diapo 58  Diapo 59  Diapo 60  Diapo 61  Diapo 62  Diapo 63  Diapo 64  Diapo 65  Diapo 66  Diapo 67  Diapo 68  Diapo 69  Diapo 70  Diapo 71  Diapo 72  Diapo 73  Diapo 74  Diapo 75  Diapo 76  Diapo 77  Diapo 78  Diapo 79  Diapo 80  Diapo 81  Diapo 82  Diapo 83  Diapo 84  Diapo 85  Diapo 86  Diapo 87  Diapo 88  Diapo 89  Diapo 90  Diapo 91  Diapo 92  Diapo 93  Diapo 94  Diapo 95  Diapo 96  Diapo 97  Diapo 98  Diapo 99  Diapo 100