Warum Qdrant und Make zusammen Sinn ergeben
Qdrant bietet für kleine Projekte ein attraktives Preis-Leistungs-Verhältnis. Du kannst kostenlos in Europa hosten und bekommst ausreichend Ressourcen für Proof-of-Concepts. Make eignet sich, um die Datenvorbereitung, ID-Generierung und den Batch-Upload zu automatisieren.
In seinem Video zeigt dir Sven, wie genau das funktioniert (und in diesem Blogartikel haben wir ein bisschen etwas dazu geschrieben).
Voraussetzungen
Du brauchst einen Qdrant-Account und einen API-Key. Auf der Cluster-Übersicht erzeugst du den Key. Im Cluster legst du eine Collection an. Wähle die Option Simple Single Embedding und setze die Dimensionen auf 1536. Als Embedding-Modell nutzt du OpenAI Text Embedding 3 Small. Verwende Cosinus als Distanzmaß.
Und dann bist du mit dem Basis-Set-Up schon fertig!
Daten für Vektor-DB vorbereiten und hochladen
Das Ziel: Rohtexte in sog. Chunks zerlegen, Embeddings erzeugen, UUIDs vergeben und die Payloads gesammelt per Batch in Qdrant speichern.
Kurzanleitung zur Umsetzung der notwendigen Schritte
- Account & Cluster: API-Key anlegen und Ziel-Collection bestimmen.
- Collection konfigurieren: Simple Single Embedding, Dimension 1536, Cosine.
- Felder anlegen: Produkt-ID, Produktname, Media-URL und weitere Payload-Felder definieren.
- Texte chunkieren: z. B. 800 Zeichen mit 15% Overlap.
- Embeddings erzeugen: Text Embedding 3 Small nutzen und Embedding-Feld als JSON ausgeben.
- UUIDs generieren: Sub-Szenario in Make erzeugt UUID-Array und JSON-Output.
- Batch-Upload: JSON-Payloads mit ID, Payload-Feldern und Embeddings an Qdrant senden.
Details zur Chunking-Strategie
Du zerlegst lange Texte in Abschnitte definierter Länge. Ich hab‘ 800 Zeichen pro Chunk gewählt und 15% Overlap. So verknüpfst du Kontext über Chunk-Grenzen hinweg. Overlap verhindert, dass wichtige Inhalte isoliert werden. Passe Größe und Overlap an deinen Use Case an.
Payload-Aufbau und JSON-Struktur
Bereite pro Chunk ein JSON-Dokument vor. Es sollte folgende Felder enthalten: Produkt, Produkt-ID, Media-URL, Chunk-Text, ggf. Metadaten. Die Embeddings kommen als Array von Float-Werten ins Feld vectors. Nutze die generierten UUIDs als eindeutige IDs für die Points.
Embeddings erzeugen und verarbeiten
Rufe OpenAI Text Embedding 3 Small auf, um pro Chunk einen Vektor zu erhalten. Im gezeigten Beispiel entstehen zwei Vektoren mit je 1536 Float-Werten pro Dokument. Konvertiere diese Vektoren in JSON, bereinige Sonderzeichen aus dem Text und pack die Embeddings in die Payload.
UUID-Erzeugung in Make
Erstelle ein Sub-Szenario in Make, das UUIDs generiert. Lass‘ es zwei Outputs liefern: das Array der UUIDs und die JSON-Darstellung. Rufe das Sub-Szenario aus dem Haupt-Flow auf und füge die IDs den jeweiligen Payloads zu. So stellst du weltweite Eindeutigkeit sicher.
Batch-Upload in Qdrant
Bereite ein Array von Points vor. Jeder Point enthält id, payload und vectors. Sende den Batch per API-Call an die Collection. Achte auf korrekte Content-Type-Header und die Authentifizierung per API-Key. Während des Uploads siehst du die JSON-Chunks und kannst prüfen, ob Embeddings und Payload zusammenpassen.
Abfragen: execute query statt search
Zum Abruf erzeugst du zuerst das Embedding der Query. Verwende dann die neue Query-Funktion (execute query). Zwei Varianten sind relevant: ohne Filter und mit Filter. Filter ermöglichen gezielte Abfragen, etwa nach Produktwert „DEF“ oder MyProduct. Die Ergebnisse sortiert Qdrant nach Score; der höchste Score steht oben.
Wiederverwendbares Muster
Dieses Verfahren lässt sich in vielen Projekten einsetzen: Content-Suche, FAQ-Assistenten oder Retrieval-unterstützte Generierung. Du baust einmal die Pipeline und nutzt sie wieder. Die Elemente (Chunking, UUIDs, Embeddings, Batch-Upload und Filterabfragen) bleiben gleich.
Wenn du willst, kannst du das Setup modular erweitern. Denk an Monitoring für Upload-Fehler und an ein Rollback, falls ein Batch fehlschlägt. Mit kontrollierten Tests behältst du die Qualität deiner Datenbank.
Das komplette Video…
Die komplette Anleitung zum Nachbauen: Das komplette Video von Sven findest auf YouTube!
