Principal Engineer, Compute Fleet Management

P-725

Chez Databricks, nous sommes passionnés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles au monde — qu'il s'agisse de faire du prochain mode de transport une réalité ou d'accélérer le développement de percées médicales. Nous y parvenons en construisant et en exploitant la meilleure plateforme d'infrastructure de données et d'IA au monde afin que nos clients puissent utiliser des insights de données approfondis pour améliorer leur entreprise.

À propos de l'équipe : Rejoignez le cœur de l'infrastructure de Databricks

L'équipe Compute Infra est le moteur derrière tous les produits de Databricks et les services du Control Plane. Nous construisons et dimensionnons l'infrastructure de calcul fondamentale qui permet à chaque client de Databricks de réussir, en exploitant l'un des clouds de données et d'IA les plus vastes et les plus dynamiques au monde.

Mission : Définir l'avenir de l'efficacité et de l'échelle du calcul cloud

En tant que Technical Lead pour Compute Fleet Management, vous ne vous contenterez pas de gérer une flotte — vous établirez la norme sur la manière dont Databricks consomme et optimise le calcul sur les trois principaux clouds (AWS, Azure et GCP). Il s'agit d'un rôle critique ayant un impact direct sur notre marge brute et l'expérience client. Votre mandat comprend :

• Pionnier de l'optimisation de la flotte : Provisionnement et mise en commun de O(Billion)s de ressources cloud pour atteindre des performances de charge de travail de pointe, une efficacité de premier plan dans l'industrie et une isolation robuste des ressources.
• Livraison de résilience hyper-échelle : Construire l'architecture qui garantit le passage à l'échelle horizontale et la résilience contre les défaillances zonales ou même au niveau du compte cloud, garantissant que Databricks est toujours opérationnel.
• Propriété du chemin critique : Diriger le développement des systèmes ayant le moins de dépendances requis pour amorcer et gérer notre plateforme de calcul massive.

Résultats : L'impact que vous apporterez

Ce rôle est destiné à un ingénieur qui s'épanouit en assumant la responsabilité des résultats les plus difficiles et les plus impactants :

• Haute disponibilité : Atteindre et maintenir une disponibilité de 99,99% pour toutes les charges de travail de batch et de serving.
• Efficacité stellaire : Piloter l'utilisation à 60% ou plus — une métrique cruciale qui nécessite de trouver l'équilibre entre une efficacité élevée et une tolérance sans faille aux pannes cloud.
• Isolation de premier ordre : Concevoir et appliquer une isolation forte en matière de sécurité et de performance pour une gamme diversifiée de charges de travail clients.

Exigences : Êtes-vous prêt pour ce défi ?

Nous recherchons un Principal Engineer expérimenté qui a non seulement construit mais aussi exploité avec succès des systèmes d'infrastructure critiques à grande échelle en production. Vous devez avoir fait preuve de :

• Leadership de projets transformateurs : Prendre la responsabilité d'initiatives d'ingénierie stratégiques complexes, transversales (équipes et couches) et s'étendant sur plusieurs trimestres, du concept à l'exécution.
• Maîtrise des systèmes distribués : Expérience approfondie et pratique du développement et de l'exploitation de systèmes distribués à grande échelle sur au moins un cloud public majeur.
• Influence sans autorité : Capacité prouvée à susciter le consensus, à établir une direction technique et à diriger de grands efforts techniques par-delà les frontières organisationnelles.
• Discipline d'exécution : Force exceptionnelle dans la planification, le suivi de l'avancement des projets et la gestion des dépendances complexes inter-organisationnelles.

L'atout : Expérience hautement souhaitable

• Expérience dans la gestion et le dimensionnement d'une flotte massive de GPUs pour les charges de travail AI/ML.
• Expérience dans le développement et l'exploitation de systèmes distribués à grande échelle sur tous les principaux clouds (AWS, Azure et GCP).

Transparence de la fourchette de rémunération

Databricks s'engage en faveur de pratiques de rémunération justes et équitables. La ou les fourchettes de rémunération pour ce rôle sont indiquées ci-dessous et représentent la tranche de salaire attendue pour les rôles non commissionnés ou les revenus cibles pour les rôles commissionnés. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant mais ne se limitant pas aux compétences liées au poste, à la profondeur de l'expérience, aux certifications et formations pertinentes, ainsi qu'au lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute l'étendue de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à un bonus de performance annuel, des actions (equity) et les avantages listés ci-dessus. Pour plus d'informations concernant la fourchette correspondant à votre localisation, visitez notre page ici (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Fourchette de rémunération locale

$264,300—$322,300 USD

À propos de Databricks

Databricks est l'entreprise de Data et d'IA. Plus de 20,000 organisations dans le monde — incluant adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% du Fortune 500 — s'appuient sur la Databricks Data + AI Platform pour construire et dimensionner des applications de données et d'IA, des analyses et des agents. Basée à San Francisco avec plus de 30 bureaux à travers le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks), et Instagram (https://www.instagram.com/databricksinc/?hl=en).

Avanta