Contexte de la mission
Dans le cadre du développement d’une
Data Marketplace interne, notre client construit une plateforme centralisant l’ensemble du parcours data (discovery, qualité, gouvernance, transformation, monitoring, BI).
Déjà déployée auprès de premiers utilisateurs, la plateforme entre dans une phase de
scalabilité et d’industrialisation avec un objectif de déploiement à grande échelle (plusieurs milliers d’utilisateurs à l’international).
Vous intégrerez une
équipe produit data avec des enjeux forts autour de la performance, de la qualité des données et de l’expérience utilisateur.
Objectifs & livrables
- Développement et optimisation de pipelines data complexes
- Mise en place de process de data quality
- Contribution à une architecture scalable et modulaire
- Industrialisation des flux (CI/CD, automatisation)
- Documentation technique et participation aux choix d’architecture
Missions principalesData Engineering
- Développer et maintenir des pipelines (batch & streaming)
- Gérer l’ingestion multi-sources (API, bases, streaming)
- Optimiser les performances (latence, volumétrie, retry)
- Implémenter des contrôles de qualité et de traçabilité
Backend & Architecture
- Concevoir une architecture data modulaire et scalable
- Développer des composants réutilisables
- Garantir la maintenabilité et la qualité du code
DevOps & Industrialisation
- Mise en place de pipelines CI/CD
- Automatisation des déploiements
- Gestion des environnements cloud
Collaboration
- Travail étroit avec PO, data engineers et équipes métiers
- Participation aux rituels agiles et code reviews
Stack techniqueData
- Python, Scala
- Spark
- Kafka / Kinesis / EventHub
- Airflow, DBT
Cloud
- AWS (Lambda, Glue, Step Functions, Redshift, DynamoDB)
- Azure (Functions, CosmosDB)
DevOps
- Docker, Kubernetes
- CI/CD (GitLab CI, Jenkins, GitHub Actions)
- Terraform, Ansible
Observabilité
- Prometheus, Grafana, ELK, Datadog
Profil candidat:
Profil recherché
- 7 à 10 ans d’expérience en Data Engineering
- Expertise forte sur Spark, Scala, Python
- Expérience solide sur AWS (obligatoire)
- Bonne maîtrise des architectures data modernes (Lakehouse, pipelines multi-couches)
- Expérience en environnements complexes et volumétriques
- Anglais professionnel
Bonus :
- Expérience IA / GenAI (LangChain, LangGraph)
- Expérience marketplace data ou data product
Soft skills
- Esprit analytique et rigueur
- Forte culture qualité / clean code
- Capacité à évoluer dans un environnement international
- Autonomie et proactivité
Process de recrutement
- 1 entretien visio (validation technique + expérience)
- 1 entretien client (technique + fonctionnel)
FR
