Cloud-Native DB Engineer: Elastic/OpenSearch & Iceberg

Contexte du poste

Alliance Services Plus (AS+) recherche un(e) Ingénieur(e) Base de Données – Search & Data Platform pour le compte de l’un de ses clients du secteur audiovisuel.

Dans le cadre de la modernisation de sa plateforme de recherche et de gestion de données, le client engage une refonte de son architecture autour de principes cloud-native : clusters de recherche conteneurisés, stockage objet et formats ouverts de data lake.

Vous intégrerez une équipe technique en charge de travaux de preuve de concept et d’intégration amont, avec pour objectif de définir les fondations techniques de la future plateforme et de produire des livrables directement exploitables en phase de construction.

Missions principales

Dans un cadre d’ingénierie et d’expérimentation technique, les missions pourront inclure :

• La conception, le déploiement et l’exploitation de clusters ElasticSearch / OpenSearch en environnement de preuve de concept

• L’intégration de ces plateformes sur Kubernetes , via opérateurs ou déploiements Helm

• La définition des topologies de clusters, des stratégies de réplication, de partitionnement et de cycle de vie des index

• La réalisation de tests de charge, de benchmarks de performance et de recommandations de tuning

• La définition de procédures de sauvegarde, restauration et reprise d’activité via stockage objet compatible S3

• La conduite d’un proof of concept autour d’Apache Iceberg comme format de table pour data lake

• L’évaluation des solutions de catalogue, des moteurs de requête et des stratégies de partitionnement et d’évolution de schéma

• L’automatisation du provisioning des composants d’infrastructure et de la chaîne de déploiement

• La mise en place de solutions d’observabilité (métriques, logs, tableaux de bord)

• La rédaction de documentation technique, comptes-rendus d’expérimentation et transfert de connaissances auprès des équipes projet

Environnement technique

Les projets s’appuient principalement sur les technologies suivantes :

• Moteurs de recherche : ElasticSearch, OpenSearch

• Data lake : Apache Iceberg

• Orchestration & conteneurs : Docker, Kubernetes, Helm, opérateurs

• Automatisation : Ansible

• Stockage objet : S3 et solutions compatibles (MinIO, Ceph, etc.)

• Observabilité : Prometheus, Grafana, Kibana / OpenSearch Dashboards

• Moteurs de requête (selon périmètre) : Trino, Spark, Flink

• Systèmes : Linux, scripting shell, fondamentaux réseau

Profil recherché

• Expérience confirmée en exploitation de clusters ElasticSearch ou OpenSearch en environnement de production ou assimilé

• Bonne connaissance d’Apache Iceberg , de son modèle de catalogues et de son intégration avec des moteurs analytiques

• Maîtrise d’Ansible pour l’automatisation d’infrastructure et des déploiements

• Expérience de déploiement et d’exploitation de workloads stateful sur Kubernetes

• Bonne compréhension des architectures cloud-native, du stockage objet et des problématiques de performance

Qualités attendues :

• Curiosité technique et autonomie

• Capacité d’analyse et esprit pragmatique

• Aisance rédactionnelle et capacité de formalisation

• Capacité à travailler en équipe dans des environnements multi-interlocuteurs

Atouts appréciés :

• Connaissance des environnements data lake (Delta Lake, Hudi)

• Expérience avec des moteurs analytiques modernes (Trino, Spark, Flink, Dremio)

• Expérience CI/CD appliquée à l’infrastructure

• Connaissance du secteur audiovisuel, média ou environnements réglementés

Informations complémentaires

• Localisation : Bry-sur-Marne (Île-de-France), 2 jours/semaine sur site

• Langues : français courant, anglais technique