Data Engineer

Niveau d’études

Bac +5, École Ingénierie Informatique ou Master Big Data
Bac +8, Doctorat spécialité Statistiques

Objectifs

Transformer la data brute en données exploitables pour l’entreprise (avec unevision business à la clé). À l’intersection entre le Data Analyst et la Data Engineer.

Technologies employés

Databases : SQL, Cassandra, Bigtable
Hadoop / Hive
Python
C/++

Savoir-être

Rigueur et force de proposition
Réactivité
Esprit d’analyse et de synthèse

Compétences

Databases : SQL, Cassandra, Bigtable
Outils ETL : Talend, Nifi…
Hadoop / Hive
Langages de programmation

Missions & Responsabilités

Conception de solutions permettant le traitement de volumes importants de pipelines de données
Mise à jour permanente sur les technologies et langages utilisés dans le but de partager les connaissances et aider à l’avancement du projet data
Combiner les sources de données et maitriser les techniques de modélisation des données

Structures & Services

Service dédié Big Data, ou pôle Data Science
Startup et grands groupes dans tous les domaines

Difficulté des recherches *

*0% indiquant les profils les plus communs, et 100% les profils extrêmement rares

Le Data Engineer en résumé

L’ingénieur Big Data est en charge de la conception de l’architecture et il s’occupe d’implémenter des algorithmes. Ses tâches s’articulent également autour de la mise en place et de la configuration des clusters. Il réalise des tests techniques, et contrôle la qualité et la cohérence des données. Il rédige toutes les spécifications techniques et réalise des veilles technologiques régulières. Il est amené à utiliser des langages utilisant la programmation orientée objet, et dispose de connaissances en base de données (NoSQL, MongoDB, Cassandra). Il peut être amené à utiliser également les technologies Java, Scala, ou encore Python, ainsi que les frameworks Hadoop, Hive ou encore Spark.

L’ingénieur Big Data dispose de solides connaissances en mathématiques avancés et pratique au minima un anglais technique lu, écrit et parlé. Un niveau Bac+5 en école d’Ingénierie Informatique ou Master Big Data est requis pour ce type de poste. En complément, un Bac+8 Doctorat spécialité Statistiques permettra à l’ingénieur Big Data d’évoluer en service R&D, en service Big Data, ou encore en pôle Data Science de startups ou grands groupes des secteurs de la finance, des télécommunications, et du marketing principalement.

Baromètre des salaires

* Salaires observés à Annecy, Bordeaux, Grenoble, Lille, Lyon, Marseille, Montpellier, Toulouse …
Une variation d’environ 2 à 5% peut être observée entre les grandes villes