Blog
Bitcoin AI Chatbot
Ein KI-Modell wie GPT-4 verfügt über beeindruckendes Wissen. Jedoch basieren seine Daten auf dem Stand von Januar 2022, und die genauen Informationsquellen sind nicht transparent. In der sich schnell entwickelnden Welt der Technologie ist Aktualität oft entscheidend. Wie also kann man sicherstellen, dass man auf aktuelle und genaue Informationen zugreift und dennoch von den Möglichkeiten generativer KI profitiert? An dieser Stelle tritt RAG (Retrieval-Augmented Generation) in Erscheinung.
Was ist RAG (Retrieval-Augmented Generation) ?
RAG kombiniert die Fähigkeiten des Abrufens von Informationen aus einem großen Datensatz mit der Generierung von Text. Anstatt nur auf vorher trainierte Daten zuzugreifen, wie es bei traditionellen KI-Modellen der Fall ist, greift man mit RAG auf externe Datenquellen zu und benutzt diese Informationen um Fragen zu beantworten.
Die Dokumente, in unserem Fall aktuelle Bitcoin Dokumentationen, Bücher, Webseiten etc., werden in kleine Abschnitte oder „Chunks“ aufgeteilt. Diese Chunks werden dann in einer Vektor-Datenbank als sogenannte „Embeddings“ gespeichert. Embeddings sind Vektorrepräsentationen des Textes eine Art, den Inhalt in einem formatierten, durchsuchbaren Format zu speichern.
Wenn ein Benutzer eine Frage stellt, geschieht Folgendes:
- Die Frage wird an das Language Model (LLM) gesendet.
- Gleichzeitig wird eine vektorisierte Version der Frage verwendet, um die vektorisierte Datenbank zu durchsuchen.
- Die aus der Datenbank abgerufenen Informationen werden ebenfalls an das LLM gesendet.
Das hat den Vorteil, dass man sehen kann, woher die Informationen stammen, da das System auf die spezifische Dokumentation verweisen kann.
Warum eignet sich RAG teilweise besser als Fine-Tuning?
Das Fine-Tuning eines Modells kann es auf eine spezifische Domäne spezialisieren, aber es bleibt auf die Informationen beschränkt, die während des Trainings gelernt wurden.
Die Verknüpfung ausgewählter Datenquellen mit dem LLM durch RAG ermöglicht nicht nur den Zugriff auf aktuelle und spezifische Informationen, sondern gibt auch den Kontext und die Quelle dieser Informationen an.
bitcoin-ai.me
Die Spitzenreiter unter den großen Large Language Modellen (LLM), wie GPT-3.5 und GPT-4, erfordern viel Rechenleistung und haben daher ihren Preis. In unseren Setup kostet eine einzelne Anfrage im GPT-3.5 Setup $0,1 und eine Anfrage im GPT-4 Setup $0,3. Daher sind wir dankbar, diesen Service dank unserer Sponsoren Swiss Bitcoin Confernce und RY3T anbieten zu können.
Quelle: Bild und Quick Guide RAG mit Langchain