Contexte de la mission :
En tant qu’administrateur Hadoop avec une expérience de Google Cloud et Snowflake, la ressource rejoint une équipe de gestion de la plateforme Hadoop au sein du département Data Solution du client
Elle sera responsable de la conception, de l’implémentation et de la maintenance de l’infrastructure Hadoop ainsi que les plateformes Google Cloud et Snowflake
Elle travaillera au sein de l’équipe technique gérant la mise à disposition des données pour assurer la disponibilité, la performance et la sécurité des plateformes et de leurs traitements
MISSIONS :
- Gérer les comptes utilisateur, les rôles et les privilèges pour garantir la sécurité et le contrôle des données
- Optimiser les performances des différentes plateformes en surveillant et en ajustant les paramètres de configuration
- Effectuer une veille technologique régulière pour rester à jour sur les dernières avancées dans le domaine de Hadoop, Google Cloud et Snowflake, et proposer des améliorations pertinentes
- Collaborer avec les équipes de développement pour fournir des conseils et une assistance technique sur l’utilisation de Hadoop, Google Cloud et Snowflake
- Participer à la mise en place des plan de continuité des activités et plan de reprise des activités sur la plateforme Hadoop
- Surveiller proactivement les problèmes et les erreurs, en mettant en place des alertes et des mécanismes de détection des anomalies pour garantir la stabilité des plateformes
- Participer à la stratégie de migration progressive pour transférer les flux de données et les traitements de la plateforme Hadoop vers Snowflake, en minimisant les perturbations opérationnelles
- Collaborer avec les équipes de développement et les analystes de données pour comprendre les besoins métier et adapter les processus d’intégration des données dans Snowflake, en exploitant les avantages des fonctionnalités de traitement analytique de Snowflake
- Mettre en place des mécanismes de validation et de test pour s’assurer de l’intégrité des données migrées et de la qualité des résultats obtenus dans Snowflake
- Documenter les étapes de migration, les décisions prises et les défis rencontrés, afin de créer une référence pour les migrations futures et d’améliorer les processus de migration
- Évaluer les avantages et les gains obtenus grâce à la migration des outils d’intégration de données et de traitements vers Snowflake sur Google Cloud, en mesurant les améliorations de performances, la réduction des coûts ou d’autres avantages opérationnels
- Participer à la conception et la réalisation de briques techniques transverses à destination des projets sur les plateformes
- Participer à la résolution des problèmes liés à ces trois briques en N+3 si besoin en communiquant avec les fournisseurs de services (Cloudera, Google et Snowflake) et leurs équipes d’assistance
Compétences recherchées :
– Obligatoires :
- Expérience professionnelle avérée en tant qu’expert Hadoop, avec une solide compréhension de l’architecture et des composants du système Hadoop (DAS, Hue, Impala, Spark, Yarn, hdfs, Hive, Knox, Livy, Ranger, Solr, Sqoop, Zookeeper)
- Maîtrise des services et des outils de Google Cloud, tels que BigQuery, Cloud Storage, Dataproc, Dataflow, Compute Engine, Cloud SDK, Google Kubernetes Engine ainsi que Terraform
- Connaissance de Snowflake et de ses différentes briques (Snowpipe, Snowpipe Streaming, Snowgrid, Snowpark, Snowsight)
- Compétences avancées en programmation, en particulier dans les langages utilisés avec Hadoop, tels que Java, Scala ou Python
- Maîtrise de Linux et Shell
- Expérience dans la configuration et le réglage des clusters Hadoop pour une performance optimale
- Connaissance des bonnes pratiques en matière de sécurité des données et de la confidentialité, en particulier dans un environnement cloud
- Excellentes compétences en résolution de problèmes, en dépannage et en gestion des incidents
- Solides compétences en communication, avec la capacité de travailler efficacement en équipe et de collaborer avec des parties prenantes techniques et non techniques
Expérience nécessaire : 5 années minimum sur un poste similaire
Langues : Français
L’entreprise
Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de l’industrie, de la Grande distribution & e-commerce, et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Benin Digital accompagne ses clients dans la chaine de valeur de leurs activités en leur mettant à disposition son expertises à travers des consultants hautement qualifiées pour des projets et des missions diversifiées en Afrique et en Europe
