Train

Projektbeschreibung

Dieses Repository enthält experimentelle Skripte zur Interaktion mit der OpenAI API. Es umfasst sowohl ein Projekt zum Abrufen und Verarbeiten von Dokumenten (chatgpt-retrieval) als auch ältere Versuche zum Training eigener Modelle.

Der Fokus liegt auf der Verarbeitung von Textdateien und der Konvertierung in JSON-Formate für die weitere Nutzung mit OpenAI-Modellen.

Hauptkomponenten

1. chatgpt-retrieval/

Ein LangChain-basiertes Retrieval-System für Dokumente. Ermöglicht das Stellen von Fragen zu eigenen Dokumenten über eine Konversationsschnittstelle.

2. Text-Processing Skripte

Python-Skripte zum Aufbereiten von Textdateien für KI-Training:

• splitt.py / splitt_new.py – Teilen große Textdateien in 500-Zeichen-Chunks und speichern als JSON
• train.py – Experimentelles OpenAI Modell-Training (veralteter API-Ansatz)
• perm.py / test.py – API-Tests und Berechtigungsmanagement

3. doc/

Enthält Trainingsdaten wie grundsatzprogramm.txt – ein politisches Grundsatzprogramm als Beispieldokument.

Technologien

Dateistruktur

Hinweise

Dieses Projekt verwendet ältere OpenAI API-Aufrufe (z.B. openai.Model.create()), die mit der aktuellen API-Version nicht mehr kompatibel sind. Der Code dient primär archivarischen Zwecken.

Das chatgpt-retrieval Unterprojekt basiert auf einem YouTube-Tutorial und nutzt LangChain für modernes RAG (Retrieval-Augmented Generation).