Es ist gar nicht so schwer, einen eigenen Chatbot zu hosten. KI klingt immer nach „Big Data“, „Cloud“ und „Abomodell“. Aber es geht auch einfacher. Und privater. Mit der unschlagbaren Mischung aus Ollama (weblink) und Open Web UI (weblink) erreichst du das Ziel in Minuten. Garantiert!

Was tun die beiden Komponenten? Nun, Ollama ist ein framework des Meta-Konzerns, das aber unter Open-Source-Lizenz steht. Man kann in diesem Framework eine ganze Reihe von Modell laufen lassen. Dafür braucht es lediglich einen einzigen Befehl. Mehr dazu weiter unten.

Open Web UI klinkt sich nahtlos in Ollama ein und bietet ein Webinterface wie man es von den großen Plattformen wie OpenAI oder Microsoft Copilot kennt. Du kannst auch auf die Weboberfläche verzichten und die Modelle auf der Kommandozeile nutzen. Das ist aber nicht besonders benutzerfreundlich und für nicht mehr als einen kurzen Test geeignet.

Also brauchen wir es ein bisschen bequemer. Im nächsten Teil geht es um ein anwenderfreundlicheres Setup.

Und los gehts!

Wir können jetzt nicht bei Null anfangen, deswegen setze ich voraus, dass du eine funktionsfähige Docker-Umgebung hast. Falls du noch nicht so weit bist, folge bitte dieser einfachen Anleitung, um Docker zu installieren.

Du hast Docker am Laufen? Hervorragend! Dann können wir loslegen.

1. Melde dich an deinem Docker-Host an und erzeuge ein Verzeichnis, in dem du die Chatbot-Suite installlieren willst. Beispielsweise:
   mkdir /opt/chatbot
2. In diesem Verzeichnis erzeugst du eine docker-compose.xaml mit
   touch docker-compose.yaml
3. Nun wechselst du in deinen Editor und fügst folgende Zeilen in die docker-compose.yaml ein. Du kannst die Ports ändern, aber bitte nicht die Ordner-Mappings. Denn das ist die Schnittstelle zwischen den beidne Werkezugen. Sprich: So findet Open Web UI die Modelle, die du in Ollama geladen hast, automatisch.

services:
  ollama:
    volumes:
      - ./data:/root/.ollama
    ports:
      - 11434:11434 #dein bevorzugter Port
    container_name: ollama
    image: ollama/ollama
    restart: unless-stopped
  open-webui:
    ports:
      - 8080:8080
    volumes:
      - ./data:/root/.ollama
      - ./open-webui:/app/backend/data
    container_name: open-webui
    restart: always
    image: ghcr.io/open-webui/open-webui:ollama
networks: {}

4. Nun kannst du deine Umgebung starten mit docker-compose up -d oder docker compose up -d

5. Eine Sache fehlt noch: Die Installation eines passenden Modells in deine ollama-Umgebung. Das machst du am besten mit einem docker exec. Beispielsweise: docker exec -it ollama ollama run llama3

Fertig.

Nun kannst du über die Adresse http://IP_ADRESSE_DEINES_HOSTS:9080 auf die Open Web UI zugreifen, die einen Chatbot bereitstellt.

Die vielen Funktionen und Möglichkeiten von Open Web UI zu erlären würde den Rahmen dieses Artikels absolut sprengen.

Und voilá, fertig ist der Bot

Fazit: einen eigenen Chatbot hosten, ist gar nicht so schwer. Die Performance kann zwar keinesfalls mit der der großen Clouds mithalten. Für den gelegentlichen Hausgebrauch reicht sie aber auf jeden Fall locker aus.