Le poste correspondant à cette offre d'emploi a été pourvu.
FREELANCE ASAP / Data Engineer (IT) / Freelance
Ile de France, Meudon (92190)
Originellement mis en ligne le 3 avril 2023 - Remontée le 15 mai 2023 par Marjorie Calvert (+ d'offres)
Hays Medias
Type de contrat :Freelance
Métier :Développeur informatique
Expérience :4 ans minimum
Type d'entreprise :Autre type d'entreprise (client final)
Localisation :Ile de France, Meudon (92190)
Salaire :de 110 000 €/an à 120 000 €/an
Télétravail :Télétravail partiel
Poste à pourvoir
En tant que consultant Ingénieur Data au sein de la Cellule Qualité du Fixe (CQF), vous serez en charge de :
1. L'exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge :
2. Du monitoring des principaux KPI du système et la mise en œuvre des nouveaux KPI
3. Des investigations lors d'incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités qui contribuant à son bon fonctionnement.
4. Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l'équipe Datascience ou en fonction des évolutions du système.
5. Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité.
6. Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l'architecture réseau.
7. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de :
Assurer la supervision et débogage du système via Openshift
S'assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow)
Contrôler les volumes et consommations Hardware de la plateforme
Débugger les pods en cas d'erreur
Assurer l'écriture des graphes Helm pour les déploiements applicatifs
Ecriture de charts Helm pour le déploiement de nouveaux applicatifs
Tester les nouveaux graphes sur la plateforme de test
Déployer et patcher les applicatifs déjà existants avec Helm
Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab
Assurer la gestion des utilisateurs et des règles de gestion du Datalake
Gestion des buckets et utilisateurs
Création de points de stockage et des règles de gestion associées
Création de scripts pour le stockage de Parquets
Assurer le fonctionnement du déploiement continu avec GitLab
Administration des images de production Gitlab et DockerHub
1. L'exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge :
2. Du monitoring des principaux KPI du système et la mise en œuvre des nouveaux KPI
3. Des investigations lors d'incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités qui contribuant à son bon fonctionnement.
4. Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l'équipe Datascience ou en fonction des évolutions du système.
5. Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité.
6. Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l'architecture réseau.
7. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de :
Assurer la supervision et débogage du système via Openshift
S'assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow)
Contrôler les volumes et consommations Hardware de la plateforme
Débugger les pods en cas d'erreur
Assurer l'écriture des graphes Helm pour les déploiements applicatifs
Ecriture de charts Helm pour le déploiement de nouveaux applicatifs
Tester les nouveaux graphes sur la plateforme de test
Déployer et patcher les applicatifs déjà existants avec Helm
Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab
Assurer la gestion des utilisateurs et des règles de gestion du Datalake
Gestion des buckets et utilisateurs
Création de points de stockage et des règles de gestion associées
Création de scripts pour le stockage de Parquets
Assurer le fonctionnement du déploiement continu avec GitLab
Administration des images de production Gitlab et DockerHub
Profil recherché
Compétences : Une expérience significative 5 ans minimum sur l'architecture ou l'exploitation de plateforme BIG DATA.
Hadoop: Expert
KEBERNETES AND OPENSHIFT : Certification apprécié avec un bon niveau
ZOOKEEPER, Ambari, Kafka : EXPERT
SCALA , SPARK : EXPERT
ZABBIX : EXPERT
Hadoop: Expert
KEBERNETES AND OPENSHIFT : Certification apprécié avec un bon niveau
ZOOKEEPER, Ambari, Kafka : EXPERT
SCALA , SPARK : EXPERT
ZABBIX : EXPERT