Data Engineer Spark/Scala - H/F - CDI
Talan
- Rennes, Ille-et-Vilaine
- CDI
- Temps-plein
- Le Conseil en Management et Innovation (320 Consultants en France)
- La valorisation des données, leurs structurations, et leurs usages (Data et Technologies)
- L'intégration de solutions logicielles (Cloud et Applications Services)
- Vous développez les pipelines de données et les mettez à disposition de différents utilisateurs
- Vous intervenez sur les différentes phases de réalisation de PoC et/ou projets BI et Big Data
- Vous mettez en place les processus de collecte des données, chargement, exploration et vérification des données de différents types (structurées ou non), concevez les modèles de données les plus pertinents en travaillant étroitement avec les Data Scientists et Architectes
- Vous concevez et mettez en œuvre les processus d'industrialisation des solutions grâce aux outils DevOps
- Vous documentez et présentez les travaux réalisés lors de temps d'échange (REX, ateliers, etc.)
- Vous aidez à l'acculturation des concepts Big Data au sein du pôle Data.
- Maîtrise du développement logiciel (Java, Scala, Python) et vous disposez de solides expériences dans la mise en place de pipeline de données
- Maîtrise du Framework Spark (ou autre framework distribué) et de son optimisation
- Vous êtes familier avec une des solutions Cloud parmi Amazon Web Services (AWS), MS Azure, GCP
- Vous avez évolué dans un environnement DevOps et avez une logique d'automatisation et de monitoring des application développées et vous avez entendu parler de Ansible, Git, Jenkins ou encore Azure DevOps
- Connaissance approfondie de SQL et au moins une base de données NoSQL : HBase, Cassandra, MongoDB, ElasticSearch.