Staff Software Engineer - Distributed Data Systems

P-988

Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die schwierigsten Probleme der Welt zu lösen — von der Realisierung der nächsten Transportart bis hin zur Beschleunigung der Entwicklung medizinischer Durchbrüche. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern. Gegründet von Ingenieuren — und kundenorientiert — ergreifen wir jede Gelegenheit, um technische Herausforderungen zu lösen, vom Design von UI/UX der nächsten Generation für die Schnittstelle zu Daten bis hin zur Skalierung unserer Dienste und Infrastruktur über Millionen von virtuellen Maschinen hinweg. Und wir stehen erst am Anfang.

Moderne Datenanalyse verwendet anspruchsvolle Methoden wie maschinelles Lernen, die weit über die Roll-up- und Drill-down-Fähigkeiten traditioneller SQL-Abfrage-Engines hinausgehen. Als Software Engineer im Runtime-Team bei Databricks werden Sie die nächste Generation verteilter Datenspeicher- und Verarbeitungssysteme entwickeln, die in der relationalen Abfrageleistung spezialisierte SQL-Abfrage-Engines übertreffen können, aber dennoch die Ausdrucksstärke und Programmierabstraktionen bieten, um vielfältige Workloads von ETL bis hin zu Data Science zu unterstützen.

Nachfolgend finden Sie einige Beispielprojekte:

Apache Spark™: Entwicklung des de facto Open-Source-Standard-Frameworks für Big Data.

Data Plane Storage: Bereitstellung zuverlässiger und hochperformanter Dienste und Client-Bibliotheken zum Speichern und Abrufen riesiger Datenmengen auf Cloud-Storage-Backends, z. B. AWS S3, Azure Blob Store.

Delta Lake: Ein Speicherverwaltungssystem, das die Skalierbarkeit und Kosteneffizienz von Data Lakes, die Leistung und Zuverlässigkeit eines Data Warehouse und die geringe Latenz von Streaming kombiniert. Seine Abstraktionen auf höherer Ebene und Garantien, einschließlich ACID-Transaktionen und Time Travel, vereinfachen die Komplexität von Data-Engineering-Architekturen in der realen Welt drastisch.

Delta Pipelines: Es ist schwierig, selbst eine einzige Data-Engineering-Pipeline zu verwalten. Das Ziel des Delta Pipelines Projekts ist es, die Orchestrierung und den Betrieb von zehntausenden Datenpipelines einfach und möglich zu machen. Es bietet eine höhere Abstraktion zur Beschreibung von Datenpipelines und ermöglicht es Kunden, Pipelines bereitzustellen, zu testen & zu aktualisieren und den betrieblichen Aufwand für die Verwaltung und den Aufbau hochwertiger Datenpipelines zu eliminieren.

Performance Engineering: Aufbau des nächsten Generation Query Optimizers und der Execution Engine, die schnell, tuning-frei, skalierbar und robust ist.

Was wir suchen:

• BS (oder höher) in Informatik, einem verwandten technischen Bereich oder gleichwertiger praktischer Erfahrung.
• Komfortabler Umgang mit der Arbeit an einer mehrjährigen Vision mit inkrementellen Ergebnissen.
• Motiviert durch die Lieferung von Kundennutzen und Wirkung.
• 8+ Jahre Erfahrung auf Produktionsebene in Java, Scala oder C++.
• Fundierte Kenntnisse in Algorithmen und Datenstrukturen sowie deren realen Anwendungsfällen.
• Erfahrung mit verteilten Systemen, Datenbanken und Big-Data-Systemen (Apache Spark, Hadoop).

Transparenz der Gehaltsspanne

Databricks setzt sich für faire und gerechte Vergütungspraktiken ein. Die Gehaltsspanne(n) für diese Rolle ist unten aufgeführt und stellt die erwartete Gehaltsspanne für nicht provisionsbasierte Rollen oder das Zielgehalt für provisionsbasierte Rollen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf arbeitsbezogene Fähigkeiten, Erfahrungstiefe, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne auszuschöpfen. Das gesamte Vergütungspaket für diese Position kann auch die Berechtigung für einen jährlichen Leistungsbonus, Eigenkapital (Equity) und die oben aufgeführten Zusatzleistungen umfassen. Für weitere Informationen darüber, in welchem Bereich sich Ihr Standort befindet, besuchen Sie unsere Seite hier (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Lokale Gehaltsspanne

$182,400—$247,000 USD

Über Databricks

Databricks ist das Data- und AI-Unternehmen. Mehr als 20.000 Organisationen weltweit — darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70 % der Fortune 500 — verlassen sich auf die Databricks Data + AI Plattform, um Daten- und KI-Apps, Analysen und Agenten aufzubauen und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Büros auf der ganzen Welt bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks) und Instagram (https://www.instagram.com/databricksinc/?hl=en).

Benefits

Bei Databricks sind wir bestrebt, umfassende Vorteile und Extras zu bieten, die den Bedürfnissen all unserer Mitarbeiter entsprechen. Für spezifische Details zu den in Ihrer Region angebotenen Leistungen klicken Sie hier (https://docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing).

Unser Engagement für Vielfalt und Inklusion

Bei Databricks setzen wir uns dafür ein, eine vielfältige und inklusive Kultur zu fördern, in der jeder exzellente Leistungen erbringen kann. Wir achten sehr darauf, dass unsere Einstellungspraktiken inklusiv sind und die Standards für Chancengleichheit am Arbeitsplatz erfüllen. Personen, die eine Beschäftigung bei Databricks anstreben, werden ohne Rücksicht auf Alter, Hautfarbe, Behinderung, ethnische Zugehörigkeit, Familien- oder Familie