Fiche Métier : Ingénieur Big data

Intro

Les Ingénieurs Big data sont responsables du développement, de la maintenance, de l'évaluation et du test des opérations des bases des données. Ils contribuent à la réalisation de bases de données essentielles à l’entreprise, puis s’assurent de leur bon fonctionnement.

Valoriser les données de l’entreprise

• Analyser les données de l’entreprise
• Classer les informations recueillies en fonction des besoins
• Concevoir et gérer l’architecture Big Data de l’entreprise
• Veille technologique
• Implémentation incluant le chargement à partir d'ensembles de données disparates, prétraitement à l'aide de Hive et Pig.
• Capacité à concevoir des solutions indépendantes basées sur une architecture de haut niveau.
• Gérer la communication technique entre le fournisseur de l'enquête et les systèmes internes
• Maintenir les systèmes de production (Kafka, Hadoop, Cassandra, Elasticsearch)
• Construire une plate-forme basée sur le Cloud qui permet de développer facilement de nouvelles applications

Il est recruté au sein de :

- Une startup
- Une agence digitale
- Grandes entreprises ou petites entreprises

Profil type :

• Connaître la programmation et/ou l'architecture d'un langage back end (Java, J2EE, Core)
• Expérience avec les technologies orientées Java (JBoss, Spring, SpringMVC, Hibernate, REST/SOAP)
• Expérience avec les bases de données non relationnelles et relationnelles (SQL, MySQL, NoSQL, Hadoop, MongoDB, etc.)
• Expérience avec Spark, ou l'écosystème Hadoop et cadres similaires
• Être à l’aise avec divers outils tels que AWS, Mesos ou Docker et instinct d'automatisation.
• Approche créative et novatrice de la résolution de problèmes

Formation pour être Ingénieur Big data :

Un diplôme ingénieur, génie informatique, dans le domaine de la data, des statistiques ou une formation similaire (avec une dominante informatique).