Aperçu Stack : Apache Spark / Airflow / EventHub Broker (Apache Kafka en étude) / Apache Nifi / Scala / Python / NodeJs / GO / Hadoop HDFS / Avro / Parquet / MongoDb / Cassandra / MySQL / BigQuery / Redis / Docker / Kubernetes / Terraform / Ansible / Gitlab CI / Azure / AWS / Prometheus / Grafana
La mission de l'équipe est de concevoir, développer, déployer et maintenir une infrastructure data performante et robuste pour répondre aux besoins d'infrastructure des différents produits et services de notre client.
Plus spécifiquement vous travaillerez avec des data engineers déjà en charge de l'exploitation de leur architecture lambda. Cette architecture est composée d'un cluster Spark/Scala principalement utilisé pour agréger des données issues du tracking de navigation et des moteurs de recommandations, d'un broker permettant la communication de données entre les diverses équipes produit et de différentes API de serving de données.
Au quotidien :
- Maintenir et faire évoluer l'infrastructure de calcul.
- Améliorer et faciliter l'accès aux informations du data lake aux équipes produit.
- Assurer la veille technologique sur les composants d'une plateforme data lake et de partager vos connaissances.
- Travailler sur les aspects Ops de la plateforme (CI, Auto Deploy, Monitoring...).
- Travailler en équipe agile dans un cadre bienveillant.
Pour candidater :
- Une première expérience de 1 à 2 ans sur un poste similaire est exigée (hors stage et alternance)
- Vous possédez de bonnes compétences en Unix, Python, Java, GO ou Scala ainsi qu'une connaissance des infrastructures Big Data.
- Vous aimez la CI/CD.
- Votre expérience dans le traitement de flux en streaming est un plus.
Créé en 2015, Data Recrutement est le cabinet de chasse du TOP500 du digital.
Nous sélectionnons les meilleures opportunités Adtech, SaaS, e-commerce, Deeptech, Big Data, Fintech, HRtech, Greentech, Foodtech, …
Notre équipe recrute les talents :
- Data & Tech
- Product & Design
- Sales & Support