Die Revolution der Vektor-Datenbanken: Ein Gespräch mit Andre Zayarni von Qdrant

2.79

datamics

Hallo und herzlich willkommen zur neuen Episode unseres Podcasts Data Science mit Milch und Zucker. Heute haben wir einen sehr spannenden Gast, Andre Zajani. Er ist Mitgründer und Geschäftsführer von Quadrant und Quadrant ist ein Anbieter von Vector-Datenbanken. Da dreht sich das Thema heute auch stark um die Vector-Datenbanken. Möchtest du dich noch kurz vorstellen, Andre?

28.541

Andre

Ja, gerne. Hallo, ich bin André, seit über 20 Jahren in IT und derzeit Mitgründer und Geschäftsführer von Quadrant. Wir haben das Ganze vor ganz genau zwei Jahren angefangen und gerne auch ein bisschen erzählen, wie das alles zustande gekommen ist.

51.783

datamics

Da kommen wir dann auch gerne später nochmal darauf zurück, wie das zustande kam. Vielleicht auch welche Tipps du hast, wenn man ein Tech-Startup gründen möchte. Ihr seid sehr erfolgreich mit eurem Unternehmen und ist auch ein sehr spannendes Thema. Ich würde sagen, wir fangen erstmal mit den Vektor-Datenbanken an. Vielleicht weiß es nicht jeder von den Zuhörern, was das ist. Ist wirklich ein sehr spannendes Thema. Ich glaube auch bei LMMs ist es ein Keyfactor, wo man die ganzen einsetzen kann.

76.288

datamics

Deswegen nochmal vielleicht so ein kleiner, langsamer Einstieg. Was sind eigentlich Vektordatenbanken?

83.404

Andre

Ja, gerne. Es geht im Grunde um unstrukturierte Daten, wie man diese verarbeitet, wie man diese analysiert und wie man diese quasi strukturiert. Und mit den herkömmlichen Datenmarken kann man das nicht bewältigen.

103.183

Andre

Man braucht neue Ansätze quasi. Was eine Vektor-Datenbank ist, eigentlich ist es auch nicht der richtige Begriff, ehrlich gesagt. Die Vektor-Datenbanken an sich sind Vektor-Suchmaschinen.

126.135

Andre

Und warum es geht, es geht darum, dass man die Objekte, die man kennt aus der realen Welt, kann Texte sein, Bilder oder Audio, Videofiles, die kann man mit Hilfe von Live-Language Modus oder Transformer

147.995

Andre

die das Ganze am Ende nennt Embedding Modus in Vektoren umwandeln. Das sind die Representations von diesen Datenobjekten, die bespeichert man dann in einer Vector-Suchmaschine oder Vector-Datenbank. Dann kann man Queries abfeuern und Ähnlichkeiten finden zwischen diesen Objekten und daraus

175.043

Andre

verschiedene Insights ziehen. Das fängt an, wenn man über Use Cases geht, fängt an mit sematischer Suche zum Beispiel. Quasi nicht nach Keywords sucht, sondern nach Bedeutung. Man kann ganze Sätze quasi in Torn übersetzen und dann

203.268

Andre

Die Query ist dort nicht mehr ein Keyword, sondern das ist eine Query, die über selbst diesen Vektor, diese Vektor wird an die Datenmark geschickt. Und es kommt auch die Vektoren zurück quasi und dann wird Scoring, wie nah die sind zu der Query, die angefragt wurde. Das funktioniert also unter der Haube folgendermaßen, dass ein neurales Netzwerk quasi

234.343

Andre

die Daten dann in einem dimensionalen Raum platziert. Das heißt also, vielleicht am besten ist es zu erklären, gar nicht mit Text, sondern mit Bild. Das ist ein Bild von einer Katze, ist näher an ein Bild von einem Hund heran als ein Bild von einem Haus. Und die Dimension, also die Anzahl von Dimensionen,

260.776

Andre

die unterstützt werden, also quasi von dem Modell abhängig. Es gibt momentan sehr viele Anbieter, die diese Vector in wenig produzieren und das ermöglichen, quasi die Daten zu übersetzen, mit Torn, angefangen von den populärsten wie OpenAI, Coheer.

282.756

Andre

Auch die großen Cloud-Anbieter wie Google mit Palm, die haben einen Service, einen Embedding-Service. Aber auch in Deutschland gibt es genug Beispiele. Alep Alpha ist wahrscheinlich das momentan meist gehypte Projekt. Aber es gibt auch andere. GINA, zum Beispiel, die haben auch ein eigenes

299.838

datamics

Vielen Dank für's Zuschauen.

310.674

Andre

LLM mit dem Baiting Service ausgebracht. Und das ist ein komplementärer Part zu dem, was wir machen. Man muss nicht erst mal die Baitings produzieren, quasi die Daten übersetzen in Victorn und dann speichert man die ab in die Datenbank. Und ja, dann kann man auf sehr großen Datenmengen Ähnlichkeiten finden. Das als Beispiel, ich glaube,

339.326

Andre

Einfachster Beispiel ist die Google-Lens-Anwendung, wo man ein Foto macht von einem Objekt und dann kann man erkennen oder es wird erkannt, was das für ein Objekt ist. Das funktioniert mit Vektor-Suche. Am Ende werden einfach die Ähnlichkeiten gefunden und dann wird erkannt,

367.09

Andre

99% Wahlentstimmung wird als solches bezeichnet. Aber die Use Cases sind eigentlich sehr breit und eigentlich jeder von uns benutzt

388.49

Andre

Wenn ihr bei Amazon die Produktempfehlungen seht, das passiert auch auf Vektorsuche.

407.108

Andre

und sogar Dating-Apps nutzen das inzwischen, weil es viel einfacher ist als Modelle zu trainieren und Predictions zu machen. Man kann einfach neue Daten dazu geben und das funktioniert quasi wie ein Service.

424.206

datamics

Okay, dann ist so ein Use-Case, was man sagen kann, das sind die LMMs. Wir haben dann die Product Recommendation, wie du schon gesagt hast, also Vorschläge und normale Suche, vielleicht noch einmal zu den Ähnlichkeiten, die du vorher genannt hast. Also, wenn man jetzt das Wort zum Beispiel Golf hätte,

443.302

datamics

Golf kann ja das Auto sein, Golf kann der Golf von Mexiko sein, es kann das Spiel sein. Mit einer normalen Suche wird man dann einfach alle Golf zurückbekommen. Mit Vektoren kann man dann auch die Bedeutung ausfinden, dass man sagt, man möchte ein bestimmtes Golf haben.

454.821

Andre

Ja, genau, also das ist der Unterschied. Und ehrlich gesagt, mit einem Wort ist eine Frage nicht, was Bedeutung das hat. Deshalb operiert man bei Vektorsuche eher mit Sätzen, als dann richtig übersetzt in

475.435

Andre

Also es wird klarer, warum es geht, und dann wird das richtiger platziert in diesem endimationalen Vektoraum. Und wenn es nur um die Suche geht, dann kombiniert man gleich Gärten.

494.413

Andre

mit thematischer Suche und sagt, okay, wenn das irgendwie ein Schlüsselwort ist, was ziemlich rar ist, dann weiß das Modell nichts davon, weil das nicht damit trainiert wird, das ist nur eine Bezeichnung von Modell von irgendwelchem Gerät, dann ist der Gehorsuch natürlich 100% besser. Wenn aber die Suche heißt, finde bitte mal Schuhe, die blau sind und warm,

521.613

Andre

Dann gibt es schon etwas ganz anderes, die Schlüssel, die Keyboard-Suche, da nichts Gescheites zurück liefern. Wo aber Cementix-Hörster Abhilfe ist und ich kann sehr wohl erkennen, es geht um Schulen, die warm sind und wahrscheinlich Winterschule.

542.227

Andre

Ich werde dann die Ergebnisse geliefert. Von daher, für den Aspekt reine Textsuche kombiniert man gleich auch gerne Keyword Search mit semantischer Suche.

559.445

datamics

Und wie funktioniert dann die Produktempfehlung, wie du schon genannt hast, die Recommendations? Also auch dann, wenn jetzt jemand nach Socken sucht oder Schuhe, die warm sind, dann gibt man alle ähnlichen Produkte zurück, die den gleichen Vektor haben, auch die Schuhe sind, die warm sind zum Beispiel.

574.77

Andre

ja wir kennen ja alle so ein bisschen

583.626

Andre

dass man Modell erstellen kann, wo man positive und negative Beispiele reingibt und dann darauf basiert das Labeling. Mit Veto-Suche kann man das on the fly machen, ohne das Modell zu terminieren. Wir haben eine spezielle API dafür, Recommendations, nicht nur Suche, sondern tatsächlich so ein dedizierter API, wo man sagt, okay, das ist, wonach ich suche, zum Beispiel

614.138

Andre

Bleiben wir bei Schule. Und dann, wenn man zum Beispiel durch die Ergebnisse auf der Suchergebnisse scrollt, dann klicken manche auf die Suchergebnisse und bleibt dort. Dann kann man das bezeichnen als positiv. Man kann auch negative Beispiele reingeben. Und die IPA ist dann imstande,

645.437

Andre

einen Schnitt zu erstellen aus den Beispielen, die positiv und negativ sind in diesem N-dimensionalen Raum und dann im besten Fall das zu liefern, was am meisten zum Nutzer passt, ohne dass jetzt ein Modell mit den Daten trainiert wurde, sondern wirklich realen sein.

668.217

datamics

Sehr spannend. Und vielleicht auch noch mal zu den Elements. Was sind dann Kunden von euch oder wer setzt das dann noch mal konkret ein? Ja.

675.247

Andre

LLMs, das ist ein News-Case, das momentan sehr high-preffert ist. Es geht um diese Rack-Applications. Retrieval-argumentative. Das können wir ausschneiden.

698.026

datamics

Dann sieht man es gleich in der Tonspur.

704.337

Andre

Die LLM-Use-Cases sind die geheimen Rack-Applications. Die sind in aller Munde seitdem.

716.391

Andre

auf den Markt gebracht wurde und alle versuchen jetzt momentan, eigene Lösungen, ähnliche Lösungen zu bauen. Besonders halt für Businessbestände oder diese internal knowledge basis in Unternehmen. Das ist die nächste Stufe von Enterprise Search, wo man nicht mehr nach Dokumenten sucht, sondern man stellt Fragen.

743.951

Andre

zu Dokumenten. Man möchte eine Antwort bekommen, anstatt irgendwie 20 Ergebnisse zu kriegen und dann sich durchzustöbern. Und das ist genau das, was man bezeichnet, Vektor-Datenbanken als Erweiterung, Langzeit-Gedegnungs-Erweiterung von LLMs. Und damit fixt man diese

773.102

Andre

bekannten Halluzinationsprobleme von Deutsch-Language-Modus, weil die Modelle, die sind ja quasi begrenzt auf das Wissen, was da eingespeist wurde, als sie noch trainiert wurden. Und sie wissen nicht so viel, was danach passiert ist. Und allgemein, also das Wissen, was da reingepumpt wird, ist immer limitiert. Es geht anders nicht.

801.602

Andre

Und wenn man dann irgendwas fragt, also z.B. nach meinem Namen, dann wird das einfach irgendwie... Zum Beispiel haben die mein LinkedIn-Profil da irgendwie gescrapet und dann irgendwie was... Aber wenn nicht, dann wird das einfach vermutlich ein ganzes Ding. Irgendwas dann antworten. Im besten Fall, ich weiß nicht.

823.353

Andre

Aber manchmal, wenn da ein bisschen Informationen drin stehen und falsche Schlussfolgerungen gezogen wurden, dann kann es einfach falsche Informationen liefern. Und das passiert sehr oft. Das ist eigentlich ziemlich riskant, wenn man sich da einfach auf Antworten von solchen AI-Systemen verlässt. Und was wir machen kann, ist quasi eine Detektor-Datenbank als Quelle von

852.073

Andre

von reellen Informationen und Echtzeitinformationen zu benutzen. Man kann quasi die eigenen Wissensbestandte, Unternehmen oder sonst wo irgendwie so abgeschlossene Datensatzter virtualisieren, an die man zusammenkommen kann.

881.077

Andre

Das ist das eigene Frameworks, die ziemlich populär sind wie Langchain und Llama Index und sehr viele anschließen. Und dann anstatt falsche Antworten zu liefern, kann auf diese Wissenbestände zugeriefen werden und dann basieren die Antworten auf den Daten aus dieser Datenmachung.

907.193

datamics

Es ist sehr spannend, wie man das Problem beheben kann, auch die Halluzination. Ich denke mal, das ist ein starkes Thema oder der Hauptkritikpunkt noch bei den LMMs und dass da gute Ansätze gibt und dass ihr auch eine super Lösung habt, die auch skalieren kann. Kommen wir vielleicht nochmal weiter. Ein spannender Punkt ist auch, ihr habt Unternehmen gegründet.

926.578

datamics

Allerdings habt ihr euren Code, den Source Code Open Source gestellt. Also man kann Quadrant unterladen und Open Source einsetzen. Was ist da der Hintergrund dazu oder was ist die Motivation? Vielleicht auch, wenn jetzt jemand von den Zuhörern mal ein Startup gründen möchte. Vielleicht hast du da ein paar Tipps dazu.

949.251

Andre

Auf jeden Fall kann ich von vornherein sagen, nicht jedes Projekt oder nicht alle Produkte sind geeignet, Open Source zu sein und zu werden.

966.681

Andre

bei Datenbanken oder Suchmaschinen inzwischen ja etabliert. Es gibt nicht so viele wirklich populäre, unter den Entwicklern zumindest, Datenbanken, die nicht open source sind.

986.049

Andre

Es geht um Daten, es geht um Transparenz und sowohl die Entwickler als auch die Kunden wollen wissen, dass alles unter der Haube funktioniert. Das hat Vor- und Nachteile, natürlich. Wir haben sämtliche Contributor, die dann von der Community kommen.

1012.346

Andre

oder auch von unseren Kunden oder Adaptern, die irgendwas erweitern wollen und die können dann Vorschläge machen oder irgendwas fixen. Das funktioniert sehr gut.

1029.613

Andre

Auf der anderen Seite ist natürlich Open Source und manche denken, Open Source heißt auch Free. Es ist auch so, wenn man alles für selbst macht und alles selbst aufsetzt und verwaltet.

1048.148

Andre

Das ist auch okay so. Aber es geht auch weiter. Also was wir halt drauf aufsetzen, ist unser ads-konventionelles Produkt, was wir jetzt schon einmal aufgenommen haben, ist unsere Cloud-Lösung, wo wir quasi das als Managed Service

1067.927

Andre

anbieten, so dass keiner sich um solche Geschichten wie Scanierung, Monitoring, Logs usw. kümmern muss, Backups usw. gibt es halt schon fertig und man spart halt sehr viele Ressourcen.

1086.186

Andre

und am Ende Zeit, um so etwas nach Hause zu bauen. Aber nochmal, also nicht alle Projekte sind da geeignet, Open Source zu werden und das ist auch nicht so ganz einfach. Die Strategie hier ist natürlich eine breite Masse von Entwicklern.

1109.616

Andre

anzusprechen. Das ist quasi wie ein Premium. Man fängt an, das auszuprobieren und wenn das alles gut funktioniert, entscheidet man sich dann entweder nutzt man nur Open Source, also die Version, die quasi auf GitHub verfügbar ist oder für Production nutzt man halt den Service, der dann in der Cloud verfügbar ist.

1137.483

datamics

Ich glaube, das ist auch nicht leicht, vor allem am Anfang. Ihr wartet ja noch vor dem Hype, da dann ein Open Source Datenbank zu starten. Ich denke mal, das war auch bestimmt schwierig und hat Durchhaltevermögen benötigt.

1151.391

Andre

Oh ja, absolut. Das hat gedauert, bis wir die, also die, also die Mann haben wir natürlich fast gleich gespürt, weil das war auch der Grund, vielleicht noch kurz, also wir haben das ganz eingefallen, als wir mit meinem Co-Founder

1169.974

Andre

andere Unternehmen gearbeitet haben und wir haben selbst diese Challenger mit unschriftlichen Laden zu arbeiten. Und als dann die erste Vision von Quadrant fertig war,

1186.049

Andre

wurde das jetzt veröffentlicht auf GitHub und wir haben wirklich innerhalb von wenigen Tagen gesehen, wie hoch das Interesse ist an so einem Projekt und das war auch ausschleitgebend bei unserer Entscheidung quasi uns nur darauf zu fokussieren.

1205.913

datamics

Sehr schön. Danke für die Insights. Vielleicht auch noch mal ein paar Tipps von dir für Data Scientists oder Data Engineers zum Abschluss. Was wären so für Anfänger noch mal dein Top-Tip oder Top-3-Tip, was du vielleicht mitgeben würdest. Das kann es technischer Natur sein oder vielleicht auch noch für einen Gründer, wenn jemand einen Startup gründet.

1229.445

Andre

Ich würde einfach sagen, immer Neues dazulernen. Ich habe eine Sache gut gelernt und dabei bleibe ich, sondern immer Neues dazulernen. Manche sagen, das ist auch der Sinn des Lebens, immer etwas Neues dazuzulernen.

1251.34

Andre

Ich glaube auch daran. Ich selbst komme nicht aus der Design- und Maschinenlearnung. Ich komme aus dem Software Engineering. Ich habe wirklich in letzter Zeit, also in den letzten Jahren, wo wir unsere Geschäfte aufziehen.

1275.158

Andre

Startup weiterführen. Quasi sehr vieles gelernt auf allen Seiten, angefangen von Redesigns, Machine Learning, aber auch wie man die Geschäfte macht, wie man auch Business Sachen löst und weiterentwickelt.

1291.067

Andre

Und das ist, was für mich halt super wichtig ist, auch im Leben allgemein. Und ich glaube, sich immer für was Neues zu interessieren, ist das Wichtigste. Egal, was man macht, in welche Branche oder egal, welche Rolle man ausführt, immer was Neues dazulernen und sich quasi immer einen neuen Wallstone zu setzen.

1319.36

datamics

Sehr wichtige Tipps, die ich auch immer oder auch öfters bei den Studierenden, dass man auch selbstständig lernt, also dass man nicht nur auch Angebote bekommt, sondern auch klar selbstständig lernen will, immer am Ball ist und auch die intrinsische Motivation mitbringt, weiterzumachen. Ganz wichtig.

1337.5

Andre

Vielleicht ein Kommentar hier. Wir arbeiten auch sehr gerne mit Start-ups oder Ideen zu Start-ups, mit Projekten unterstützen, also mit Ressourcen auf so einem Cloud oder einfach beratend. Und das ist das Einzige, was man machen kann als Entwickler oder Machine Learning Engineer oder was auch immer. Wenn du irgendwie irgendwas erstellst, ist das auszuprobieren.

1361.869

Andre

im Open Source Bereich, man kann sehr schnell Feedback einsammeln. Wir helfen auch gerne dabei, also wenn ihr spannende Projekte habt, wo ihr denkt, das kann man auch mit Vektorsuche lösen, gerne kontaktieren und wir können gerne Partnerschaften herstellen oder unterstützen.

1386.152

datamics

Da am besten dann direkt auf mich zugehen und ein LinkedIn-Profil oder auch über die Homepage von Quadrant. Wir können auch immer einen LinkedIn-Podcast mit aufnehmen, damit es jeder findet. Sehr schön. Auch nochmal vielen Dank für deine Teilnahme im Podcast. Für die Zuhörer vielleicht auch nochmal. Das ist recht spät am Abend, das ist bald neun Uhr. Also André ist sehr beschäftigt mit dem Startup, arbeitet noch spät abends, ist noch im Office. Hat sich zum Glück nochmal Zeit genommen.

1415.111

datamics

um am Podcast teilzunehmen. Also nochmal vielen Dank auch dafür. Bis bald.

1421.425

Andre

Danke auch für das Einladen und bis bald wieder.