Senior Software Engineer - Distributed Data Systems

P-987

Chez Databricks, nous sommes passionnés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles au monde — qu'il s'agisse de faire du prochain mode de transport une réalité ou d'accélérer le développement de percées médicales. Nous y parvenons en construisant et en exploitant la meilleure plateforme d'infrastructure de données et d'IA au monde afin que nos clients puissent utiliser des insights de données approfondis pour améliorer leur entreprise. Fondée par des ingénieurs — et obsédée par le client — nous saisissons chaque opportunité pour relever des défis techniques, de la conception d'UI/UX de nouvelle génération pour l'interface avec les données à la mise à l'échelle de nos services et de notre infrastructure sur des millions de machines virtuelles. Et nous ne faisons que commencer.

L'analyse de données moderne emploie des méthodes sophistiquées telles que l'apprentissage automatique qui vont bien au-delà des capacités de roll-up et de drill-down des moteurs de requêtes SQL traditionnels. En tant qu'ingénieur logiciel au sein de l'équipe Runtime chez Databricks, vous construirez la prochaine génération de systèmes de stockage et de traitement de données distribués capables de surpasser les moteurs de requêtes SQL spécialisés en termes de performance de requête relationnelle, tout en offrant l'expressivité et les abstractions de programmation nécessaires pour supporter diverses charges de travail allant de l'ETL à la science des données.

Voici quelques exemples de projets :

Apache Spark™ : Développer le framework standard open source de facto pour le big data.

Data Plane Storage : Fournir des services et des bibliothèques clients fiables et performants pour stocker et accéder à des quantités phénoménales de données sur des backends de stockage cloud, par exemple, AWS S3, Azure Blob Store.

Delta Lake : Un système de gestion de stockage qui combine l'échelle et l'efficacité des coûts des data lakes, la performance et la fiabilité d'un data warehouse, et la faible latence du streaming. Ses abstractions et garanties de plus haut niveau, incluant les transactions ACID et le time travel, simplifient considérablement la complexité de l'architecture d'ingénierie de données en conditions réelles.

Delta Pipelines : Il est difficile de gérer ne serait-ce qu'un seul pipeline d'ingénierie de données. L'objectif du projet Delta Pipelines est de rendre simple et possible l'orchestration et l'exploitation de dizaines de milliers de pipelines de données. Il fournit une abstraction de plus haut niveau pour exprimer les pipelines de données et permet aux clients de déployer, tester et mettre à niveau les pipelines tout en éliminant les charges opérationnelles liées à la gestion et à la construction de pipelines de données de haute qualité.

Performance Engineering : Construire la prochaine génération d'optimiseur de requêtes et de moteur d'exécution qui soit rapide, sans réglage manuel (tuning free), évolutif et robuste.

Ce que nous recherchons :

• BS (ou supérieur) en informatique, domaine technique connexe ou expérience pratique équivalente.
• À l'aise avec le travail vers une vision pluriannuelle avec des livrables incrémentaux.
• Motivé par la fourniture de valeur et d'impact pour le client.
• 5+ ans d'expérience au niveau de la production en Java, Scala ou C++.
• Solides bases en algorithmes et structures de données et leurs cas d'utilisation réels.
• Expérience avec les systèmes distribués, les bases de données et les systèmes big data (Apache Spark, Hadoop).

Transparence de la fourchette de rémunération

Databricks s'engage en faveur de pratiques de rémunération équitables et justes. La ou les fourchettes de rémunération pour ce rôle sont listées ci-dessous et représentent la fourchette de salaire prévue pour les rôles non commissionnables ou les revenus cibles pour les rôles commissionnables. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant mais ne se limitant pas aux compétences liées au poste, à la profondeur de l'expérience, aux certifications et formations pertinentes, et au lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à un bonus de performance annuel, des capitaux propres (equity) et les avantages listés ci-dessus. Pour plus d'informations concernant la fourchette correspondant à votre lieu de résidence, visitez notre page ici (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Fourchette de rémunération locale

$157,700—$213,800 USD

À propos de Databricks

Databricks est l'entreprise de Data et d'IA. Plus de 20,000 organisations à travers le monde — incluant adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% du Fortune 500 — comptent sur la Databricks Data + AI Platform pour construire et mettre à l'échelle des applications de données et d'IA, des analyses et des agents. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks), et Instagram (https://www.instagram.com/databricksinc/?hl=en).

Avantages

Chez Databricks, nous nous efforçons de fournir des avantages et des privilèges complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici (https://docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing).

Notre engagement envers la diversité et l'inclusion

Chez Databricks, nous nous engageons à favoriser une culture diverse et inclusive où chacun peut exceller.