Verwenden Sie Genie Code für intelligente Dokumentenverarbeitung

Genie Code baut Dokumentenverarbeitungs-Pipelines End-to-End, indem er Parsing, Klassifikation, Extraktion und Validierung orchestriert. Richten Sie sie auf unstrukturierte PDFs, Verträge oder Rechnungen, und sie bewertet die Qualität mit beschrifteten Daten und verbessert sie, sodass Sie beurteilen können, wann eine Pipeline produktionsbereit ist.

Anforderungen

Um Genie Code für die Dokumentenverarbeitung zu verwenden:

Baue eine Dokumentenverarbeitungspipeline mit Genie Code auf

  1. Öffnen Sie Genie Code auf der Seite Jobs & Pipelines oder im SQL-Editor.
  2. Nennen Sie Ihr Ziel und zeigen Sie auf Ihre Quellen. Beziehen Sie sich auf Ihre Bände, Tabellen und Dateien.
  3. Lass es wachsen. Sobald Genie Code über genügend Informationen verfügt, erstellt es den Lakeflow-Job nach Best Practices.
  4. Überprüfe und führe durch. Schau dir die generierten SQL und Aufgaben an, bearbeite alles, was du möchtest, und führe den Job aus, wenn du bereit bist.
  5. Fang klein an und skaliere dann. Führe eine Probe aus, überprüfe die Ausgabe, bewerte die Qualität und iteriere sie, bevor du den vollständigen Datensatz bearbeitest.

Wozu kann Genie Code beitragen?

Erstellen Sie einen End-to-End-Dokumentenverarbeitungsjob

Beschreiben Sie das Ergebnis, und Genie Code erstellt einen vollständigen Lakeflow-Job, der nur die Stufen verwendet, die Ihr Ziel benötigt:

  • Entdecken Sie Quelldateien in einem Volume und verfolgen Sie deren Identität und Änderungen.
  • Dokumente in strukturierte Inhalte umwandeln (ai_parse_documentText, Tabellen, Abbildungen und Seitenlayout).
  • Klassifizieren Sie jedes Dokument mit ai_classify unter Ihren eigenen Bezeichnungen (zum Beispiel Affiliate-, Marketing- oder Beratungsverträge).
  • Extrahiere strukturierte Felder aus einem Schema mit ai_extract, einschließlich Zitate und Konfidenzwerte.
  • Veröffentlichen Sie saubere, strukturierte Ausgaben in einer Unity-Katalog-Tabelle.

Jede KI-Funktion ist eine eigene Aufgabe, daher bleibt der Job modular und du kannst sie später erneut ausführen, nachfüllen oder bearbeiten.

Verbesserung der Extraktionsqualität durch Bewertung und Bergaufstieg

Genie Code behandelt Qualität als etwas, das man misst, nicht schätzt. Ausgehend von einer beschrifteten Tabelle der erwarteten Ausgaben führt sie eine Auswertung auf Feldebene durch und schließt dann den Kreis:

  • Messen. Bewerten Sie die aktuelle Extraktion Feld für Feld, damit Sie genau sehen können, welche Felder schwach sind.
  • Verbessern. Genie Code schlägt eine Korrektur vor, meist eine präzisere Feldbeschreibung, die in Form eines prüfbaren Diffs angezeigt wird, dem du zustimmst, bevor er angewendet wird.
  • Überlege es dir neu. Jede akzeptierte Änderung führt die Bewertung erneut aus und zeigt Vorher-Nachher-Ergebnisse an, sodass sowohl Verbesserungen als auch Regressionen sichtbar sind.

Die Schleife wiederholt sich, bis die Qualität an deiner Messlatte liegt, sodass du die Bereitschaft anhand von Punkten und Selbstvertrauen beurteilst und nicht nach plausibelen Ergebnissen.

Ergebnisse validieren und Ausnahmen weiterleiten

Genie Code baut Quality Gates in die Pipeline ein. Es kombiniert deterministische Prüfungen (Schemata, erforderliche Felder, Summen), Modellsicherheit und Geschäftsregeln, um zu entscheiden, was akzeptiert wird, und zeigt nicht bestandene Zeilen weiterhin an.

Debuggen Sie Ihre Dokumente visuell

Genie Code öffnet die Document Parsing UI , um die gerenderten Seiten neben dem geparsten Inhalt und den extrahierten Feldern anzuzeigen. Nutze es, um ein schlechtes Ergebnis zu finden: Wenn Text im geparsten Output fehlt oder verwirrt ist, liegt das Problem am Parse oder an der Quelldatei. Wenn der Text zwar geparst wurde, aber ein Feld falsch ist, liegt das Problem bei der Extraktion. In jedem Fall sollten Sie dies anhand echter Dokumente überprüfen, bevor Sie den Einsatz ausweiten.

Inspektion und Fehlerbehebung bestehender Pipelines

Genie Code funktioniert auf Pipelines, die du bereits hast, nicht nur auf neue. Es kann einen Auftrag erklären, Design und Kosten überprüfen, ohne etwas zu ändern, die Ursache eines defekten oder langsamen Stadiums finden und die kleinste Reparatur vornehmen, während die funktionierenden Teile unverändert bleiben.

Beispiel-Prompts

Aufbau einer End-to-End-Pipeline

  • "Verträge landen in @my_catalog.raw.contracts. Richten Sie einen täglichen Job ein, der jeden Vertrag in Affiliate-, Marketing-, Beratungs-, Hosting- und Treuhandverträge klassifiziert, die für jede Vertragsart relevanten Felder extrahiert und Gold-Tabellen erstellt.
  • Ich habe eine Menge gescannter Rechnungen unter @my_catalog.raw.invoices. Einen Job erstellen, der sie analysiert, den Lieferanten, die Rechnungsnummer, die Posten und die Gesamtsumme extrahiert und die Ergebnisse in eine Tabelle schreibt."

Verbesserung der Qualität durch Evaluation und Bergsteigen

  • Woher weiß ich, dass dies gut genug ist, um auf Millionen von Zeilen ausgeführt zu werden? Vergleichen Sie die Extraktion mit meiner beschrifteten Tabelle @my_catalog.default.eval_table und sagen Sie mir, welche Felder am schwächsten sind."
  • "Die Genauigkeit auf dem invoice_total Feld könnte höher sein. Verbessert iterativ das Schema und die Anweisungen, führt die Bewertung erneut durch und zeigt mir das Vorher und Danach."
  • "Setzen Sie pro Feld Konfidenzschwellenwerte aus den Bewertungsergebnissen und leiten Sie niedrige Konfidenzzeilen zur Überprüfung weiter."

Ergebnisse validieren und Ausnahmen weiterleiten

  • Füge eine Validierung hinzu, die überprüft, ob die erforderlichen Felder vorhanden sind und ob die Positionszeilen in Summe den Rechnungsbetrag ergeben, und behalte die Zeilen bei, die die Prüfung nicht bestehen.
  • Verschieben Sie Dokumente, die gegen eine Geschäftsregel verstoßen (zum Beispiel wenn die gezahlte Steuer höher ist als das Gehalt), zur manuellen Prüfung in eine separate Tabelle.

Debuggen Sie Ihre Dokumente visuell

  • "Zeig mir die geparsten Ergebnisse dieser PDFs neben den Originalseiten, damit ich die geparsten Ergebnisse überprüfen kann."
  • "Das Inkrafttrittsdatum ist bei einigen Beratungsverträgen falsch. Öffne die analysierte Ansicht, damit ich feststellen kann, ob das Problem beim Parsen oder bei der Extraktion liegt.

Inspektion und Fehlerbehebung bestehender Pipelines

  • "Erklären Sie, was jede Aufgabe in diesem Dokumentenverarbeitungsauftrag macht und wo die Ergebnisse geschrieben sind."
  • Diese Parsing-Aufgabe schlägt nun fehl. Finde die Ursache aus dem aktuellen Lauf und empfehle die kleinste Lösung."
  • "Überprüfen Sie das Design der Dokumentenverarbeitungspipeline anhand der Best Practices und sagen Sie mir, ob es bereit ist, auf dem vollständigen Datensatz ausgeführt zu werden."

Weitere Ressourcen

  • Last updated on