Loading repository data…
elouardyabderrahim / repository
Ce projet vise à collecter, transformer et gérer les données de transport public en utilisant les services Azure tels que Azure Data Lake Storage Gen2 et Azure Databricks.
Ce projet vise à collecter, transformer et gérer les données de transport public en utilisant les services Azure tels que Azure Data Lake Storage Gen2 et Azure Databricks.
Les données originales comprennent des informations sur les voyages, notamment la date, le type de transport, l'itinéraire, l'heure de départ et d'arrivée, le nombre de passagers et les retards.
Les données ont été transformées en trois tables distinctes pour une analyse plus approfondie :
Table Principale: Contient des informations détaillées sur les voyages, y compris les retards, la durée, etc.
Table d'Analyse des Itinéraires: Fournit des statistiques agrégées par itinéraire, telles que le retard moyen et le nombre de passagers moyen.
Table d'Analyse des Heures de Pointe: Identifie les heures de pointe en fonction du nombre de passagers et des retards.
Diverses transformations ont été appliquées aux données brutes pour les préparer à l'analyse, notamment l'extraction de l'année, du mois et du jour à partir de la date, la catégorisation des retards, etc.
Les données proviennent de TransportMa et ont été traitées à l'aide d'Azure Databricks. Le lien de lignage des données est le suivant : "Données provenant de TransportMa et traitées à l'aide d'Azure Databricks."
Les données transformées peuvent être utilisées pour divers cas d'utilisation, notamment l'analyse des performances de transport, l'optimisation des itinéraires et la planification des heures de pointe. Assurez-vous de comprendre les catégories de retard pour une interprétation correcte.
Nous avons automatisé la politique de conservation des données en archivant les fichiers les plus anciens à intervalles réguliers. De plus, des données supplémentaires sont générées à intervalles de lots pour enrichir les données existantes.
Le traitement par lots est effectué pour maintenir les données à jour. Un job est créé pour exécuter le notebook de traitement à des intervalles spécifiques, garantissant ainsi des données fraîches pour l'analyse.
Ce projet a été réalisé par Abderrahim Elouardy dans le cadre de Projet ETL avec Azure Databricks.
Pour toute question ou assistance, veuillez me contacter à elouardy.abderrahim07@gmail.com
Merci d'utiliser ce projet !
Selected from shared topics, language and repository description—not editorial ratings.
MaelTremouille /
Ce projet vise à mettre un cours de l'ENSAE Paris de 2ème année (niveau M1). Le but est de se familiariser avec python pour réaliser des statistiques descriptives et modéliser.
Ahhj93 /
Ce projet vise à afficher l'évolution des candidats sur Parcoursup pour l'année 2023.
JunENSAI /
Ce projet vise à pratiquer l'exploitation de données publiques ouvertes sur le prix des carburants en France. L'architecture repose sur PostgreSQL pour le schéma relationnel et Python pour la collecte (API/XML) et le traitement. L'objectif est d'expérimenter l'ingestion de données pour bâtir une base pérenne, contrôlée et performante.
EhudDuhe /
Ce projet vise a renforcer ma compréhension en Python
Hermann19022002 /
Ce dépôt GitHub contient un projet de data science réalisé dans le cadre du cours. Il vise à répondre à une problématique à partir de données réelles, en combinant collecte, analyse, visualisation et modélisation.
alexandreSeverien /
Ce dépôt regroupe des projets et exercices réalisés dans le cadre de mon apprentissage en data science, développement Python et compétences informatiques. Chaque projet vise à renforcer mes connaissances en analyse de données, statistiques, programmation orientée objet et algorithmie.