Ideen aus den Bereichen Data Engineering, Data Science und Analytik in autonome Produktionssysteme verwandelnAgentic Engineering für die Datenverarbeitung

Der autonome KI-Agent „Genie Code“ soll die Art und Weise, wie Daten verarbeitet werden, grundlegend verändern. Er kann komplexe Aufgaben wie den Aufbau von Pipelines, die Fehlerbehebung, die Bereitstellung von Dashboards und die Wartung von Produktionssystemen übernehmen. Bei Data-Science-Aufgaben wurde festgestellt, dass Genie Code die Erfolgsquote von marktführenden Coding-Agenten mehr als verdoppelt hat.

Agentenbasierte Coding-Werkzeuge haben die Softwareentwicklung verändert. Entwickler setzen nicht mehr auf Autocomplete-Unterstützung, sondern agentenbasierte Entwicklung. Genie Code überführt den gleichen Paradigmenwechsel in die Datenverarbeitung, Data Science und Analytics.

Genie Code ist eine neue Ergänzung zu Genie, mit dem jeder Wissensarbeiter mit seinen Daten chatten und mithilfe des von Unity Catalog erfassten Kontexts und der Semantik sofort zuverlässige Antworten erhalten kann. Mit dem KI-Agenten erweitern Datenteams diesen Ansatz und übernehmen die komplexe Entwicklung, die erforderlich ist, um Ideen in allen Unternehmensdaten in die Produktion umzusetzen.

Aufstieg der agentenbasierten Datenarbeit

Daten-Tools behandeln KI als Helfer – sie schreiben Code und führen lokale Tests durch. Damit bleibt den Datenteams die harte Arbeit der Planung, Orchestrierung, Bedienung, Validierung und Wartung. Mit Genie Code kehren Datenteams diesen Ansatz um. Der KI-Agent durchdenkt Probleme, plant mehrstufige Ansätze, schreibt und validiert produktionsreifen Code und pflegt das Ergebnis – während der Mensch weiterhin die Kontrolle über wichtige Entscheidungen behält.

Bestehende agentenbasierte Coding-Tools haben Schwierigkeiten bei der Erfüllung von Datenaufgaben, da ihnen der Zugriff auf wichtige Kontextinformationen wie Herkunft, Nutzungsmuster und Geschäftssemantik fehlt. Genie Code hilft Teams dabei, diese Kontextlücke zu schließen, um die für Produktionsumgebungen erforderlichen hohen Genauigkeits- und Governance-Standards zu gewährleisten.

Die folgenden Funktionalitäten sind in Genie Code enthalten:

• Agiert als erfahrener Machine-Learning-Engineer; Genie Code übernimmt den gesamten ML-Workflow von Anfang bis Ende. Es analysiert komplexe Probleme, um KI-Modelle zu planen, zu schreiben und zu implementieren, während es Experimente in MLflow protokolliert und die Endpunkte für maximale Leistung abstimmt.
• Verfügt über fundiertes Datenengineering-Know-how; Während ein unerfahrener Entwickler ein Skript schreiben könnte, das mit Testdaten funktioniert, entwirft Genie den Code wie ein erfahrener Architekt. Es berücksichtigt die Unterschiede zwischen Staging- und Produktionsumgebungen, erstellt Workflows für die Erfassung von Änderungsdaten und wendet vorab definierte Anforderungen an die Datenqualität an.
• Predictive Maintenance und Optimierung; Genie Code überwacht Lakeflow-Pipelines und KI-Modelle im Hintergrund, um Fehler zu triagieren und Anomalien zu untersuchen. Es analysiert selbstständig Agent-Traces, um Halluzinationen zu beheben und optimiert die Ressourcenzuweisung, bevor ein Mensch eingreifen muss.
• Verständnis des Unternehmenskontexts; durch die Integration mit Unity Catalog setzt Genie Code bestehende Governance-Richtlinien und Zugriffskontrollen durch. Es versteht die Geschäftssemantik und Audit-Anforderungen und führt Unternehmensdaten, einschließlich Daten von externen Plattformen, zusammen.
• Verbessert sich mit der Zeit; Genie Code wird umso intelligenter, je mehr Teams es verwenden. Durch persistenten Speicher aktualisiert es automatisch interne Anweisungen auf der Grundlage früherer Interaktionen und Coding-Präferenzen. Bei realen Data-Science-Aufgaben stellte Databricks fest, dass Genie Code die Erfolgsquote führender Coding-Agenten mehr als verdoppelte (von 32,1 Prozent auf 77,1 Prozent).

Ali Ghodsi ist Mitbegründer und CEO von Databricks.

Databricks