Ziel und Problemstellung: Das Projekt zielte darauf ab, eine vollständig lokale, datenschutzkonforme und modulare KI-Agentenplattform zu entwickeln. Die Abhängigkeit von Cloud-Anbietern wurde aufgrund hoher Kosten, API-Bindungen und kritischer Datenschutzbedenken eliminiert. Der Fokus lag auf dem Aufbau einer robusten Architektur, die sowohl kreative als auch analytische Aufgaben effizient bewältigt – und zwar ohne jegliche externe Abhängigkeit.

Ergebnisse: Es wurden mit guten Erfolg Tools entwickelt/aufgebaut und das Wissen mithilfe der erwähnten Gaming-Maschine (per GPU-Beschleunigung, NVIDIA RTX 5070 12GB VRAM ) angewendet. 

Übersicht

Architektonische Kernprinzipien & die wichtigsten Erkenntnisse

Der Entwicklungsverlauf hat folgende zentrale Axiome bestätigt:

1. Architektur vor Modell: Die Leistungsfähigkeit des Systems wird nicht primär durch die Größe der einzelnen Sprachmodelle bestimmt, sondern durch die Intelligenz und Modularität der Agenten-Orchestrierung um diese Modelle herum.
2. Präzisere Spezialisierung: Spezialisierte Agenten sind für spezifische Aufgaben (Writer, Reviewer, Memory) leistungsfähiger als ein einziges universelles "Alleskönner"-Modell.
3. Wissen ist das Kapital: Für Langzeitprojekte und Konsistenz ist ein persistentes, semantisch nachbaubares Wissensmanagement (Memory) entscheidend.

System-Pfeiler / Die implementierte Basis

Das System wurde schrittweise aufgebaut, indem zentrale Komponenten lückenlos miteinander verbunden wurden:

1. Lokaler LLM-Kern: Mit dem Einsatz von Ollama und der Benutzeroberfläche OpenWebUI konnte eine modulare Multi-LLM-Plattform geschaffen werden, die auf Hardwarebeschleunigung (GPU) basiert.
2. Sprachsynthese: Die lokale Integration des TTS-Systems (Supertonic 3) inkl. Proxy ermöglichte eine vollständig offline und OpenAI-kompatible Sprachausgabe für bestehende Clients wie OpenWEB-UI und dem Browser-Plugin Read Aloud, wodurch die Unabhängigkeit von Cloud-Diensten beibehalten wurde.
3. Prozessualität: Die anfänglichen linearen Schreibpipelines (Write/Draft → Review → Rewrite) wurden zur ersten Form eines Multi-Agenten-Workflows erweitert und demonstrierten die Notwendigkeit einer strikteren Rollentrennung der KI-Aufgaben.

Evolution zur intelligenten Agentenarchitektur

Die Skalierung des Systems führte von einem linearen Workflow zu komplexeren, Wissens-getriebenen Prozessen:

• From Linear to Graph: Frühe Implementierungen waren auf lineare Abfolgen (Switch-Case) beschränkt und boten keine Robustheit bei Unterbrechungen oder parallelen Pfaden. Dies machte die Migration zu graphbasierten Agentensystemen (z.B. LangGraph) zur zwingenden Folge. (Hat nur leider wegen der Timeouts nicht gut funktioniert, weshalb Langchain nun per Skript implementiert wird.)
• Knowledge Retreival: Die Erweiterung durch recherche-basiertes, semantisches Retrieval (Vane/Perplexica) führte das notwendige externe Fachwissen ein. Das System wechselte damit vom reinen Generieren hin zum intelligenten Recherchieren. (Bislang wird diese Erweiterung jedoch händisch eingebunden.)

Fazit und Ausblick: Die Zukunft des Systems

Das Ziel ist ein autonomer Zustand über das bloße Schreiben hinaus. Die finale Architektur besteht nicht aus einer einzigen Applikation oder Pipeline, sondern aus einer kooperierenden Gruppe spezialisierter Agenten. Diese Agenturen nutzen graphbasierte Workflows zur Steuerung von Zuständen und arbeiten stets mit einem zentralen, semantischen Memory-System zusammen.

• Was steht an: Die nächste Stufe ist die Etablierung vollständig zustandsbasierter, paralleler Prozesse (wie durch LangGraph angedeutet), die komplexe Projekte wie Dokumentenanalysen oder Projektplanungen von Anfang bis Ende ohne menschliches Eingreifen koordinieren können.
• Limitation/Beachtung: Der Betrieb solcher Systeme verlangt nach einem Framework, das stabiler ist als aktuelle Einzel-Plugin-Lösungen (wie im OpenWebUI). Hier liegt der Fokus auf skalierbaren, robusten Orchestrierungs-Frameworks, um die Komplexität des Wissensmanagements zu bewältigen.

Das Titelbild wurde mit ChatGPT5o erstellt.