IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Le poste correspondant à cette offre d'emploi a été pourvu.

Data Engineer - Stream Processing (H/F)

Nord Pas-de-Calais, Lille (59000)
Originellement mis en ligne le 29 mars 2022 - Remontée le 30 mars 2022 par laouRecrutement (+ d'offres)
Laou
Type de contrat :CDI
Métier :Développeur informatique
Expérience :2 ans minimum
Type d'entreprise :Autre type d'entreprise (client final)
Localisation :Nord Pas-de-Calais, Lille (59000)
Salaire :de 30 000 €/an à 60 000 €/an
Télétravail :Pas de télétravail
Envoyer une candidature

Poste à pourvoir

Chez Laou, nous aidons un client à trouver un Data Engineer - Stream Processing

We aim at providing high-quality data to help farmers make better decisions in their day-to-day activities.

We are the largest network of agro-weather stations over Europe, continuously collecting, processing and storing data.

We're looking for an experienced data processing engineer, to improve and extend our capabilities in weather data management.

Your main mission will be to:

Improve our stream processing engine
Participate in the evolution of the overall data processing architecture and storage
Improve anomaly detection and integrate more algorithms to do so
Incorporate new features, bring more data sources
Aim at a very high-quality data
Improve data availability for all possible users
Ensure scalability of our architecture
Work closely with Data Analyst and Product owners to anticipate new data needs


Our current technology stack:

Apache Flink
Apache Kafka, Kafka-connect
Hadoop/EMR for Flink
Scala
PostgreSQL
Python
AWS services
terraform automation

Profil recherché

WHO ARE YOU

You are in the right place if:

You have strong experience with a distributed data processing framework (spark, flink...)
Proficiency in scala and python
Experience with software quality (automated testing...) in a data-heavy context
Strong knowledge in distributed data architectures (throughput vs latency, CAP, etc)
Strong focus on data quality
Experience with the deployment of compute clusters (eg. Hadoop)
Knowledge in infrastructure automation
Knowledge in machine-learning is a plus

Description de la société

Laou est une plateforme spécialisée dans le recrutement IT en région.

En plus de vous trouver un job, Laou s'occupe gratuitement de :

- Vous trouver votre futur logement
- Faciliter votre déménagement
- Aider votre conjoint·e à trouver un job
- Vous faire découvrir la ville, etc.

Envoyer une candidature