Data Engineer F/H

Rejoins la Team Data créée par Nicolas Greffard, Docteur en Intelligence Artificielle, déjà composée de 20 Data Engineers et Datascientists talentueux 😍

Nous recherchons de nouvelles pépites pour rejoindre notre équipe de choc et répondre aux multiples problématiques Big Data de nos clients nantais mais également contribuer à nos projets de R&D et travailler sur des conférences incroyables (DevFest, Salon de la Data) 🤩

Ta future mission si tu l'acceptes 😉

Nous te proposons d'intervenir au sein de nos grandes DSI clientes, sur des sujets de collecte, d'alimentation et de transformation de données sur un environnement Big Data Apache (Hadoop, Spark, Ambari, Hive) sur les technologies suivantes : Hadoop, Apache Ambari, RabbitMQ, Java, Scala, YarnApplication, Teradata, Squoop, Kudu, Hue, Hive, Impala, Dataiku, Flink, Kafka, Spark, Kibana, Oozie, Git, GitLabCI, Jenkins, AWS.

Le job en détail 🤩

- Étude, conception et réalisation de traitements Big Data ;

- Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ;

- Exploration des données et des usages des utilisateurs avec Impala ;

- Import de données (SFTP, Kafka, RabbitMQ) ;

- Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ;

- Utilisation d’Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ;

- Collecte des données depuis Teradata via l’outil Sqoop dans une base de données Hive ;

- Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ;

- Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ;

- Exposition de données sur Dataiku pour la création de modèle de DataScience ;

- Réalisation en Java – Flink pour gérer les traitements complexe et volumineux ;

- Gestion de configuration sous Git avec GitLab ;

- Intégration continue avec Jenkins et Sonar ;

- Lecture de fichier parquet depuis un répertoire S3 sous AWS ;

- Requêtage de bases de donnée depuis l'outil Athena d'AWS ;

- Transformation des données et calcul d'indicateurs sous Hive ;

- Utilisation de Oozie pour l’ordonnancement de flux ;

- Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming.

Pourquoi choisir Valeuriad ? 😊

En plus d’être aujourd’hui un acteur nantais reconnu de l’expertise IT, nous nous inscrivons depuis notre création dans une démarche d'entreprise Opale et Holacratique, où l'ensemble de nos prises de décisions et projets sont réalisés par et avec l'ensemble de nos 119 coéquipiers 💪

Rejoindre Valeuriad, c'est pouvoir s'investir dans la co-construction de l'entreprise :

- Par un rôle, avec une fiche de poste et un temps dédié (gestionnaire des Ci’s, porteur des partenariats écoles, organisateur d’événements, PO des projets internes, gestion de l'Académie Valeuriad…).

- Par les projets stratégiques (200 jours mis à disposition pour les coéquipiers chaque année) pour créer et faire grandir des projets structurants (création de nouveaux avantages à l'ancienneté, création d'indicateurs mensuels pour être toujours plus transparents, mécénat de compétences pour des associations caritatives...).

- Par les projets cagnottes (150€ par coéquipiers et par an) pour réaliser des projets collaboratifs qui te tiennent à cœur avec d'autres Valeurieux (découverte du cécifoot, challenge écologique, challenges sportifs pour des dons à des associations humanitaires, borne photo...).

- Par les ateliers collaboratifs, chaque mois des brainstorming et ateliers de travail sont proposés par les différents porteurs de projets et sont ouverts à tous les volontaires.

Mais avant-tout nous sommes une équipe soudée, des collègues qui apprécient passer du temps ensemble lors de nos soirées hebdomadaires et se créer des souvenirs inoubliables 🤩 C'est pour ça que chez Valeuriad, le plus important pour nous reste le savoir-être : des passionnés, du dynamisme, des sourires, de l'écoute et le sens de la fête 😉