Le poste correspondant à cette offre d'emploi a été pourvu.
Data engineer - GCP BigQuery Spark Scala H/F
Ile de France, Paris (75001)
Originellement mis en ligne le 26 juin 2024 - Remontée le 20 août 2024 par Marie Calvert (+ d'offres)
NexorisType de contrat :Freelance
Métier :Développeur informatique
Expérience :5 ans minimum
Type d'entreprise :Autre type d'entreprise (client final)
Localisation :Ile de France, Paris (75001)
Télétravail :Télétravail partiel
Poste à pourvoir
Notre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.
Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.
Tâches et activités de la mission :
- Récupérer les données issues de sources externes
- Utiliser la puissance du datalake pour le traitement des données
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
- Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake
- Développer en respectant les règles d'architecture définies
- Développer et documenter les user stories avec l'assistance du Product Owner
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d'exploitation
- Participer à la mise en œuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels
Livrables
- Agrégats de données journaliers, hebdomadaires et mensuels
- Scripts de déploiement
- Documentation des user stories
Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.
Tâches et activités de la mission :
- Récupérer les données issues de sources externes
- Utiliser la puissance du datalake pour le traitement des données
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
- Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake
- Développer en respectant les règles d'architecture définies
- Développer et documenter les user stories avec l'assistance du Product Owner
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d'exploitation
- Participer à la mise en œuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels
Livrables
- Agrégats de données journaliers, hebdomadaires et mensuels
- Scripts de déploiement
- Documentation des user stories
Profil recherché
Développeur Data / Data Engineer-5 ans dans des rôles similaires
- Plateforme et environnement GCP (indispensable)
- Environnement GKE
- Développement d'API REST
- Stockage : HDFS / GCS
- Traitement : Maîtrise indispensable de l'écosystème Spark, Scala, et si possible Kafka
- Planification : Airflow / Composer
- Méthodologies : Scrum, Kanban, Git
- DWH : SQL, BigQuery, BigTable
- Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Expérience en développement dans un environnement Scrum / Kanban
Sensibilité et information sur les évolutions technologiques des piles logicielles utilisées
La maitrise de l'anglais est un plus
Longue mission
50 % de télétravail
- Plateforme et environnement GCP (indispensable)
- Environnement GKE
- Développement d'API REST
- Stockage : HDFS / GCS
- Traitement : Maîtrise indispensable de l'écosystème Spark, Scala, et si possible Kafka
- Planification : Airflow / Composer
- Méthodologies : Scrum, Kanban, Git
- DWH : SQL, BigQuery, BigTable
- Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Expérience en développement dans un environnement Scrum / Kanban
Sensibilité et information sur les évolutions technologiques des piles logicielles utilisées
La maitrise de l'anglais est un plus
Longue mission
50 % de télétravail
Description de la société
Nexoris est un cabinet de conseil dédié depuis 2010 aux consultants Indépendants du secteur IT & Financier intervenant dans les transformations métiers et SI de nos clients.