Jobs search

Data Engineer : Nifi Communautaire & Cloudera - Apache Kafka - WSO2

Sparagus • France • 1w ago

Télétravail

4j/sem

Zone géographique

Nantes

Type de profil

Data Engineer

Description de la mission

Localisation : Nantes 2 fois / mois

Démarrage : Début septembre

Contexte : Direction I-Team (DSI transverse) / Département « Socles, outils et activités mutualisés des études » (SAM) / Service SAOM en charge du socle d’échange

Mission : Accompagnement (bonnes pratiques) pour répondre aux besoins des projets nécessitant une brique d’architecture de médiation, permettant d’effectuer des synchronisations d’information d’une source de données vers une autre

Environnement tech :

ETL -

Nifi Communautaire & Cloudera

Apache Kafka

APIM WSO2

Définition des infrastructures Data

Maintien des différents socles d’échange de données Data déployées en production

Conçoit des plateformes permettant le traitement de volumes importants de flux de données

Accompagne les équipes projet dans la structuration des bases de données (sémantique,format, etc.)

Participation au support N3 des socles d’échange

Assurer l’intégration des données

Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur des différentes branches du Groupe

Assure en délégation la supervision et/ou l’intégration des données de diverse nature qui proviennent de sources multiples et vérifie la qualité des données qui entrent dans un Data Lake, entrepôt de donnée

Nettoie, en délégation, la donnée (élimination des doublons, …) et la valide pour une utilisation aval

Veille à ce que les pipelines de données déployés soient suffisamment sécurisés et clairs pour être analysés puis transformés

Superviser le flux de données de bout en bout

Propose et met en œuvre des solutions de supervision applicative de bout en bout du flux de données

Préconise les indicateurs à mettre en œuvre

Assurer une veille des technologies Data

Définit les technologies permettant le traitement de la manipulation de la donnée

Fait évoluer les architectures Data en place

Communication vers les utilisateurs

Participer aux communications sur les socles d’échanges et d’analyse, ainsi que de leur RoadMap

Veille à l’information des utilisateurs quant à la vie courante des socles

Livrables / Résultats attendus