Le poste correspondant à cette offre d'emploi a été pourvu.
Data engineer (IT) / Freelance
Ile de France, Bagneux (92220)
Mis en ligne le 7 mars 2023 par Marjorie Calvert (+ d'offres)
Finesca
Type de contrat :Freelance
Métier :Développeur informatique
Expérience :1 an minimum
Type d'entreprise :Autre type d'entreprise (client final)
Localisation :Ile de France, Bagneux (92220)
Salaire :de 40 000 €/an à 110 000 €/an
Télétravail :Télétravail partiel
Poste à pourvoir
Principales missions
- Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL
- Maintien en condition opérationnelle de la plateforme en production (analyse et correction d'incidents, de defects)
- Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données
- Fournir une vision long terme, tant opérationnelle qu'en terme de stratégie de plateforme data
- Accompagner et promouvoir les bonnes pratiques
- Participer aux ateliers de conception techniques et fonctionnels
- Rédaction et actualisation de la documentation technique
Compétences techniques recherchées dans l'ordre de priorité :
- MUST
o Python
o Spark
o Databricks
o SQL
- SHOULD
o AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM)
- COULD
o Big DATA
- WOULD
o GIT
Méthodologies :
- CI/CD avec Gitlab
- JIRA / Confluence
- Scrum
- Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL
- Maintien en condition opérationnelle de la plateforme en production (analyse et correction d'incidents, de defects)
- Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données
- Fournir une vision long terme, tant opérationnelle qu'en terme de stratégie de plateforme data
- Accompagner et promouvoir les bonnes pratiques
- Participer aux ateliers de conception techniques et fonctionnels
- Rédaction et actualisation de la documentation technique
Compétences techniques recherchées dans l'ordre de priorité :
- MUST
o Python
o Spark
o Databricks
o SQL
- SHOULD
o AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM)
- COULD
o Big DATA
- WOULD
o GIT
Méthodologies :
- CI/CD avec Gitlab
- JIRA / Confluence
- Scrum