Consultant Data Engineer, PYTHON, JAVA & SCALA – H/F
Cat-Amania
- Paris
- CDI
- Temps-plein
- Participer à la réalisation de projets décisionnels et au développement des processus d'intégration de Data Hub, de DataWarehouses ou Data Lakes en architecture On Premise ou Cloud & Hadoop.
- Accompagner les Métiers dans l'expression de leurs besoins en termes de conception de flux de données et modélisation des traitements.
- Définir et produire les dossiers de conception fonctionnelle et technique des flux de données et des traitements.
- Définir et produire les scripts de traitements de données structurées ou NO-SQL: Data Prep, Data Quality Management, Calculs et traitements de données en mode batch et/ou real-time, interfaces exports/imports, interfaces API …
- Définir et produire les processus d'exploitation IT des traitements de données : supervision, scheduling, sécurité, gestion des log …
- Concevoir les protocoles de tests. Organiser et réaliser les plans de tests. Réaliser des tests unitaires et de recettes
- Rédiger des manuels utilisateurs et former les utilisateurs
- Développer des requêtes PYTHON et/ou JAVA et/ou SCALA
- Être en support aux Data Analystes pour réaliser des études statistiques et des échantillons : profil et segmentation client, analyse de questionnaires …
- Diplômé·e d'un cursus ingénieur en Informatique, vous justifiez d'une première expérience de plus de 3 ans dans les activités de Data Intégration, Data Ingénierie et de développement PYTHON, JAVA, SCALA
- Vous maîtriser le framework HADOOP, SPARK
- Vous maîtriser les outils Big Data suivants : YARN, PIG, HIVE, KAFKA ; FLINK, SPLUNK
- Vous avez conçu, développé et déployé en production des traitements de différentes natures : Processus d'export, Processus d'import, Migration/reprise d'historique
- Vous maîtriser les problématiques de Data Intégration dans un contexte multi-technologie : DB2, ORACLE, SQL SERVER, HDFS …
- Vous maîtriser les problématiques de Data Intégration dans un contexte multi-technologie NOSQL : MONGODB, NEO4J, COUCHBASE, HBASE, CASSANDRA
- Une première expérience des méthodes agiles & Devops serait un plus