Trouvez votre prochaine mission ou futur job IT.

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Au sein de l'équipe Socle Bigdata, vous serez en charge de l'administration, l'évolution, et les taches MCO sur les plateformes hadoop on prem (solution Cloudera). Vous serez en relations privilégiés avec les productions applicatives, les équipes infrastructures, les plates-formes internationales mais également les métiers auxquels vous apporterez votre support et expertise technique.A ce titre, vos principales activités sont :Administrer quotidiennement des clusters Hadoop, Cloudera Data Platform (HDFS, yarn, Hbase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, atlas, etc...), Cloudera Flow ManagementAméliorer en continue l'infrastructure, qu'il s'agisse de performance, de sécurité ou de fonctionnalités demandées par les utilisateursIndustrialiser et automatiser le déploiement de l'ensemble des composants logiciels de l'offre HadoopContribuer à l'élaboration et à l'exécution des stratégies de migration des clusters Hadoop ClouderaParticiper à la résolution de problèmes complexes sur les plateformesApporter un support quotidien aux équipes applicatives et métiers dans leurs études de cas d'usage, leurs problématiques de développement ou de montée en chargePrendre en charge et animer des projets au sein de l'entité Les compétences attendues sont les suivantes : Vous justifiez de 5 ans d'expériences dans l'Administration Hadoop idéalement sur la solution Cloudera Maitrise impérative HadoopMaitrise de Cloudera Data Plateform (7.1.x)Maitrise de l'environnement Linux et précisément RedHatBonus : compétence sur NifiUn niveau d'anglais professionnel vous sera demandéNotre processus de recrutement : préparez-vous ! Vous faites bientôt partie de nos équipes ! Dans un premier temps, vous échangerez avec l'un d'entre nous par téléphone ;Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien physique ou Teams ;Pour finir, discutez métiers avec l'un de nos managers opérationnel ;Bienvenue chez nous !Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : postulez ou partagez avec votre réseau ! RedHat Cloudera Hadoop

Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Genious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/H Contexte Mission: Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. Packaging et déploiement en pre-production et production. Optimisation des traitements afin de garantir la qualité de service standards du DWG. Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. Mise en service et accompagnement au déploiement. Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme.

La Direction des Systèmes d’Information a pour missions de mettre au quotidien à disposition des 25 000 utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d’accompagner le développement commercial du Groupe en France et à l’international ; d’élaborer de nouveaux systèmes d’information, de nouvelles infrastructures techniques et de maintenir les systèmes existants. Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme.

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. Packaging et déploiement en pre-production et production. Optimisation des traitements afin de garantir la qualité de service standards du DWG. Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. Mise en service et accompagnement au déploiement. Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

La Direction des Systèmes d’Information a pour missions de mettre au quotidien à disposition des 25 000 utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d’accompagner le développement commercial du Groupe en France et à l’international ; d’élaborer de nouveaux systèmes d’information, de nouvelles infrastructures techniques et de maintenir les systèmes existants. Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

Nous cherchons à renforcer notre équipe avec un Architecte / Administrateur Big Data Hadoop (H/F). Vous intégrez une équipe et serez en charge de l'infrastructure de stockage de données, de l'automatisation et du maintien en conditions opérationnelles pour la mise en place d'un nouveau programme. L'objectif de ce programme est la mise en oeuvre d'une nouvelle offre de service BIGDATA pour l'ensemble du Groupe. Cette nouvelle offre de service doit : - Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR) - Être Sécurisée, afin d'accueillir des données de tout type C1, C2, C3 - Être Résiliente, avec de la haute dispo sur l'ensemble des composants - Être Secourue avec un DR distant - Permettre le partage des données, de manière sécurisée, entre n'importe quelle équipe du groupe SG afin - Que chacun puisse travailler sur les données les plus fraîches - Qu'il n'y ait pas de multiples copies des même données au sein du datalake Dans le but de réduire le Time To Market à quelques minutes, nous avons construit deux équipes : une pour le développement d'API ; une autre pour le déploiement et le maintien en condition opérationnelles pour l'offre Big Data. Allez on en dis plus... Vos principales missions seront : - Maintien de la production en conditions opérationnelles - Mise en oeuvre de l'infrastructure de secours - Participer à l'automatisation de l'infrastructure Bigdata (HADOOP) s'appuyant sur TERRAFORM et ANSIBLE - Extension automatisée des clusters Bigdata avec l'ajout de datanodes - Ajout automatisé de nouvelles fonctionnalités (Hbase, Encryption) Informations complémentaires : possibilité de télétravail plusieurs jours par semaine. Ingénieur de formation, nous recherchons un Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data. Vous avez une expérience d'au moins 10ans sur un poste similaire. Vous êtes expert Hadoop maitrisant Ansible et avec des compétences techniques reconnues sur la technologie UNIX: Linux, Shell, Python, Open source, SSL, Redhat, Agile Scrum, Terraform. Vous avez également de solides compétences sur HDFS, Oozie, Zookeeper, Ranger, Knox, Kerberos, LDAP, Hbase, Kafka, Cloudera Manager, Spark, Hive, Nifi D'une excellente qualité d'écoute, disponible, réactif et rigoureux. Notre processus de recrutement : En 4 étapes ! Tout simplement. Dans un premier temps, vous échangerez avec l'un d'entre nous ; Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien ; Pour finir, vous discuterez métier avec l'un de nos managers opérationnels ; Bienvenue chez nous ! Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : Postulez ou partagez avec votre réseau ! Python rigoureux à l'écoute Kafka Ansible Hadoop Spark Hive Terraform Hbase Nifi

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Spark/Scala (H/F) 🚀 💰 Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l’ensemble du territoire ainsi que de 8000 conseillers. Le projet est pour l’une de ses caisses. 📝 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Conception détaillée, fonctionnelle et technique des solutions SPARK/SCALA 🔸 Développement de scripts et modules en SPARK/SCALA 🔸 Formalisation et exécution des plans de tests 🔸 Résolution des anomalies rencontrées lors des phases d'intégration fonctionnelle et de recette utilisateur 🔸 Packaging et déploiement des solutions développées en environnements de pré-production et de production 🔸 Optimisation des traitements Big Data 🔸 Mise en œuvre des solutions industrielles de réentrance

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Dans un secteur logistique en plein essor, en prise direct avec les problématiques actuelles (smart cities, environnement, géopolitique), et en pleine transformation technologique (véhicules autonomes, digitalisation, mobilité), DPD Group vous offre l’opportunité d’avoir un impact direct sur la gestion de colis du futur. Vous intégrerez l’équipe Analytics et contribuerez principalement au développement de la plateforme DataHub. Actuellement petite équipe autonome de 4 personnes engagées à 100% sur ce projet, l’équipe Analytics est intégrée au sein de l’équipe Data Science & Analytics de la DPSIN. L’objectif de la plateforme interne DataHub est de stocker les données historiques des activités et permettre leur requêtage efficient. Les données sont issues de et exploitées par divers acteurs – Marketing, Sales, OPS, IT, Data Science, … en central ou depuis les Business Units – pour des usages tels que la récupération simple de données historiques, la BI ou le machine learning. L’environnement de travail est international, avec des contacts quotidiens avec des équipes en France et à l’étranger. Les demandes d’utilisations de la plateforme croissent fortement. La plateforme DataHub en quelques faits : § 2023 : Forte croissance des usages de la plateforme (BI, requêtage ad-hoc, requêtages fréquents standardisés et hautes performances d’applications), enrichissement de l’offre de services (Data Viz avec Superset) § 2024 : Monter en charge sur les usages (plus de use cases !), étendre l’offre de services et améliorer l’expérience utilisateurs (Data Viz, Data lineage), optimiser l’usage de notre stack technique (Spark, Airflow...), généraliser l’usage de tables d’Apache Iceberg, poursuivre l’industrialisation des pipelines de traitement de données… o Les cas d’usages aujourd’hui en production : § 9 rapports BI servis § Requêtages fréquents (standardisés et tunés, avec ou sans API) par des applications :: 4 cas d’usages § Requêtage ad-hoc croissant des data scientists et équipes IT (+1000 requêtes / mois) o Volumes de données sous gestion active : § ~10 To de données § +15 flux de données § Flux de donné majeur : +100 millions d’évènements / jour d’évènements sur les colis Environnement technique : § Data Lake basé sur des technologies open source. § Architecture Cloud Kubernetes (Outscale Cloud) § Stockage des données sur du S3 (Outscale OOS) sous forme de fichiers Parquet (simples ou tables Iceberg) ou json § Query engine pour se connecter (S3 et autres DB) et requêter (SQL standard) les données : Dremio § Maintenance de tables Iceberg et requêtage de données avec Apache Spark § Automatisation des opérations et traitements de données en python avec Apache Airflow § Data Viz orientée métier avec Apache Superset § Data Viz orientée Monitoring IT avec Grafana § APIs développées en Python et Java § Gestion de version et CI/CD avec GIT Lab Organisation : § Equipe Produit de 4 personnes § Mode de travail Agile Scrum

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Almatek recherche pour l'un de ses clients, un expert Java Spark sur Paris Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch. Compétences techniques : Java Spark Hive, Hbase, MongoDB ou S3 Evènementiel : Kafka, Kafka Connect, KStream

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .