Contexte de la mission :
La direction technique du Numérique de France Télévisions mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data.
En pleine expansion, nous souhaitons renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud.
Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration.
La stack inclut aussi d’autres services de la Google Cloud Platform.
Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme est aujourd’hui composée d’un Data Lake et d’un Data warehouse.
MISSIONS
– Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse
– Mettre en place et maintenir des infrastructures scalables (orchestration, stockage, distribution, notamment) capables de répondre aux besoins des équipes data et à l’accroissement rapide du volume de données
– Construire et maintenir des workflows GitLab CI/CD pour aider l’équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production
– Développer des composants internes configurables d’ingestion et de traitement de données (ETL, API Rest)
– Collaborer avec les autres data engineers dans l’équipe pour appliquer les bonnes pratiques en vigueur, identifier les besoins et contribuer à notre stratégie data et notre roadmap
– Assurer l’évolutivité, la sécurité, la stabilité et la disponibilité des données de la plateforme data
– Contribuer et veiller à la mise à jour de la documentation
– Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code
– Contribuer à la montée en compétence des profils juniors dans l’équipe
– Faire une veille technologique permanente dans le domaine
Expertises requises pour réaliser la prestation :
Pour mener à bien la prestation, le prestataire devra maitriser les expertises suivantes :
– Expertise data : structures de données, code, architecture
– Expériences professionnelles en tant que data engineer notamment dans le développement des pipelines data
– Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP
– Excellente maîtrise des langages/frameworks : Python, SQL, Spark
– Expérience dans l’orchestration des workflows data avec Airflow : création des DAGs, refactoring
– Expérience Architecture as Code, idéalement sur Terraform
– Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution
– Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.
– Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery
– Capacité à vulgariser et à communiquer sur des aspects purement techniques
– Expérience professionnelle en méthode Agile (Scrum, Kanban)
Une séniorité d’au minimum 3 ans est demandée.
L’entreprise
Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de l’industrie, de la Grande distribution & e-commerce, et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Benin Digital accompagne ses clients dans la chaine de valeur de leurs activités en leur mettant à disposition son expertises à travers des consultants hautement qualifiées pour des projets et des missions diversifiées en Afrique et en Europe.
