Data Engineer

Niveau d’études

Bac +5, École Ingénierie Informatique ou Master Big Data
Bac +8, Doctorat spécialité Statistiques

Objectifs

Transformer la data brute en données exploitables pour l’entreprise (avec unevision business à la clé). À l’intersection entre le Data Analyst et la Data Engineer.

Technologies employés

  • Databases : SQL, Cassandra, Bigtable
  • Hadoop / Hive
  • Python
  • C/++

Savoir-être

  • Rigueur et force de proposition
  • Réactivité
  • Esprit d’analyse et de synthèse

Compétences

  • Databases : SQL, Cassandra, Bigtable
  • Outils ETL : Talend, Nifi…
  • Hadoop / Hive
  • Langages de programmation

Missions & Responsabilités

  • Conception de solutions permettant le traitement de volumes importants de pipelines de données
  • Mise à jour permanente sur les technologies et langages utilisés dans  le but de partager les connaissances et aider à l’avancement du projet data
  • Combiner les sources de données et maitriser les techniques de modélisation des données

Structures & Services

  • Service dédié Big Data, ou pôle Data Science
  • Startup et grands groupes dans tous les domaines

Difficulté des recherches *

*0% indiquant les profils les plus communs, et 100% les profils extrêmement rares

Le Data Engineer en résumé

L’ingénieur Big Data est en charge de la conception de l’architecture et il s’occupe d’implémenter des algorithmes. Ses tâches s’articulent également autour de la mise en place et de la configuration des clusters. Il réalise des tests techniques, et contrôle la qualité et la cohérence des données. Il rédige toutes les spécifications techniques et réalise des veilles technologiques régulières. Il est amené à utiliser des langages utilisant la programmation orientée objet, et dispose de connaissances en base de données (NoSQL, MongoDB, Cassandra). Il peut être amené à utiliser également les technologies Java, Scala, ou encore Python, ainsi que les frameworks Hadoop, Hive ou encore Spark.

L’ingénieur Big Data dispose de solides connaissances en mathématiques avancés et pratique au minima un anglais technique lu, écrit et parlé. Un niveau Bac+5 en école d’Ingénierie Informatique ou Master Big Data est requis pour ce type de poste. En complément, un Bac+8 Doctorat spécialité Statistiques permettra à l’ingénieur Big Data d’évoluer en service R&D, en service Big Data, ou encore en pôle Data Science de startups ou grands groupes des secteurs de la finance, des télécommunications, et du marketing principalement.

Baromètre des salaires

data-engineer-salaire-2021

© Étude réalisée par Silkhom à retrouver sur cette page

* Salaires observés à Annecy, Bordeaux, Grenoble, Lille, Lyon, Marseille, Montpellier, Toulouse …
Une variation d’environ 2 à 5% peut être observée entre les grandes villes