Le poste correspondant à cette offre d'emploi a été pourvu.
Data engineer confirmé ancien développeur (H/F)
Ile de France, Paris Nord (93000) - Référence : ES00000051-27678074
Mis en ligne le 5 septembre 2018 par Rosalie Calvert (+ d'offres)
Agence des Prestataires de Services Informatiques et Télécoms
Type de contrat :Freelance
Métier :Conseil - Consultant en systèmes d'information
Type d'entreprise :SSII
Localisation :Ile de France, Paris Nord (93000)
Salaire :de 45 000 €/an à 55 000 €/an
Télétravail :Pas de télétravail
Poste à pourvoir
Mission :
* Accompagnement, conseil et supervision des data engineers junior et confirmés
* Etroite collaboration avec les chefs de projets, architectes et data scientists
* Participation aux activités d'architecture, conception et développement
* Apport de savoir-faire sur un plan technique et méthodologique
* Veille, capitalisation et partage de connaissances (documentation, bonnes pratiques, production d'assets réutilisables, templatisation?)
* Contribution à l'analyse des besoins des différents métiers (analyse de données, de BI Big Data, et de modèles data science, en collaboration avec des architectes, data engineers, data scientists, chefs de projet et directeurs de mission)
* Mise en place de processus de collecte, de transformation et stockage des données au sein des clusters et bases de données sur la plateforme cloud Azure
* Conception et implémentation des traitements de données (données brutes et élaborées)
* Création d'exports / tableaux de bord et reportings au Chef de Projets et Responsable de Domaine via Power Bi, QlikSens, ou Kibana (avec avertissement des risques techniques/délais?)
* Implémentation et exposition d'API REST
* Contribution à la supervision et au RUN des projets réalisés, en appuyant les data engineers et data scientists
* Contribution au maintien opérationnel des applications mises en production, en collaboration avec le support informatique du client
* Accompagnement, conseil et supervision des data engineers junior et confirmés
* Etroite collaboration avec les chefs de projets, architectes et data scientists
* Participation aux activités d'architecture, conception et développement
* Apport de savoir-faire sur un plan technique et méthodologique
* Veille, capitalisation et partage de connaissances (documentation, bonnes pratiques, production d'assets réutilisables, templatisation?)
* Contribution à l'analyse des besoins des différents métiers (analyse de données, de BI Big Data, et de modèles data science, en collaboration avec des architectes, data engineers, data scientists, chefs de projet et directeurs de mission)
* Mise en place de processus de collecte, de transformation et stockage des données au sein des clusters et bases de données sur la plateforme cloud Azure
* Conception et implémentation des traitements de données (données brutes et élaborées)
* Création d'exports / tableaux de bord et reportings au Chef de Projets et Responsable de Domaine via Power Bi, QlikSens, ou Kibana (avec avertissement des risques techniques/délais?)
* Implémentation et exposition d'API REST
* Contribution à la supervision et au RUN des projets réalisés, en appuyant les data engineers et data scientists
* Contribution au maintien opérationnel des applications mises en production, en collaboration avec le support informatique du client
Profil recherché
Niveau d'études souhaité : Bac + 4
Expérience souhaitée : 4 - 5 ans
Compétences :
* 3 ans d'expériences professionnelle en Big Data
* Plus de 4 ans d'expérience en Développement Java ou Scala (connaissance idéalement de python)
* Maîtrise de l'écosystème Hadoop (Yarn, MR, HDFS, oozie, Spark, Hive/beeline, Hbase) et d'un ou plusieurs outils d'ingestion des données (Flume, logstash, fluentd)
* Maîtrise d'une ou plusieurs bases de données NoSql (Cassandra, mongoDB) et SGBR (MySQL, SQL Server, Oracle)
* Maîtrise de l'IC/DC (Jenkins, Git, Nexus, Maven/Sbt, Ansible, Docker, Rundeck, Data factory?) ; d'Elasticsearch et Kibana ; des data APIs : REST web services, messaging (Kafka) ; du cycle de vie des données (DLC & ILC)
* Connaissance des architectures microservices ; des composants Azure (HDInsight, Azure Databricks, Azure Function, OMS, etc.) ; des architectures lambda et kappa
* Connaissance des concepts et des technologies de gestion de la sécurité (infra et données) : Kerberos, ACL, Sentry/ranger, CyberArk, chiffrement in motion / at rest ; et de la gouvernance des données, notamment personnelles (Traçabilité, Sécurité, Audit) ; de la méthodologie Agile
* Précision et Sérieux dans les rédactions de documentation projet (wiki, rapports, présentations) et technique (doc d'exploitation, data, projet, et code applicatif?)
* Bon relationnel
Environnements cloud Azure managés par le département / poste local soit Windows soit Linux, selon vos préférences
Expérience souhaitée : 4 - 5 ans
Compétences :
* 3 ans d'expériences professionnelle en Big Data
* Plus de 4 ans d'expérience en Développement Java ou Scala (connaissance idéalement de python)
* Maîtrise de l'écosystème Hadoop (Yarn, MR, HDFS, oozie, Spark, Hive/beeline, Hbase) et d'un ou plusieurs outils d'ingestion des données (Flume, logstash, fluentd)
* Maîtrise d'une ou plusieurs bases de données NoSql (Cassandra, mongoDB) et SGBR (MySQL, SQL Server, Oracle)
* Maîtrise de l'IC/DC (Jenkins, Git, Nexus, Maven/Sbt, Ansible, Docker, Rundeck, Data factory?) ; d'Elasticsearch et Kibana ; des data APIs : REST web services, messaging (Kafka) ; du cycle de vie des données (DLC & ILC)
* Connaissance des architectures microservices ; des composants Azure (HDInsight, Azure Databricks, Azure Function, OMS, etc.) ; des architectures lambda et kappa
* Connaissance des concepts et des technologies de gestion de la sécurité (infra et données) : Kerberos, ACL, Sentry/ranger, CyberArk, chiffrement in motion / at rest ; et de la gouvernance des données, notamment personnelles (Traçabilité, Sécurité, Audit) ; de la méthodologie Agile
* Précision et Sérieux dans les rédactions de documentation projet (wiki, rapports, présentations) et technique (doc d'exploitation, data, projet, et code applicatif?)
* Bon relationnel
Environnements cloud Azure managés par le département / poste local soit Windows soit Linux, selon vos préférences
Description de la société
APSIT ESN dans les métiers du Numérique, réalise des prestations sur-mesure en Assistance Technique pour les Directions des Systèmes d'Information et les Maîtrise d'Ouvrage de nos Clients Grands Comptes et PME/PMI.
Nous recherchons pour un de nos clients acteur majeur du transport, 1 Data Engineer Confirmé, idéalement ancien développeur Java ou Scala (H/F).
Au sein du département Big Data de notre client Grand Compte, vous contribuez à la transformation numérique du groupe (Data Science, Machine Learning, Data Engineering?) sur divers projets autour d'une même problématique métier à différentes phases : prototype, POC, expérimentation terrain en condition réelle, préindustrialisation et production.
Au sein du pôle data science et data engineering du département Big Data, vous êtes en étroite collaboration avec le pôle IT (infra, architecture, devops, cloudops? Vous intervenez principalement sur des projets Big Data et en marge à quelques projets transverses comme l'exploration des technologies Azure pour répondre aux problématiques Data.
Nous recherchons pour un de nos clients acteur majeur du transport, 1 Data Engineer Confirmé, idéalement ancien développeur Java ou Scala (H/F).
Au sein du département Big Data de notre client Grand Compte, vous contribuez à la transformation numérique du groupe (Data Science, Machine Learning, Data Engineering?) sur divers projets autour d'une même problématique métier à différentes phases : prototype, POC, expérimentation terrain en condition réelle, préindustrialisation et production.
Au sein du pôle data science et data engineering du département Big Data, vous êtes en étroite collaboration avec le pôle IT (infra, architecture, devops, cloudops? Vous intervenez principalement sur des projets Big Data et en marge à quelques projets transverses comme l'exploration des technologies Azure pour répondre aux problématiques Data.