Open WebUI auf dem Raspberry Pi – das ChatGPT-Interface für Ollama

Passende Hardware im Überblick

Boards – bei Sprachmodellen zählt jeder Gigabyte RAM:
Raspberry Pi 5 mit 16GB RAM – die Empfehlung für lokale KI (Link)*
Raspberry Pi 5 mit 8GB RAM – der vernünftige Einstieg (Link)*
Raspberry Pi 5 mit 4GB RAM – nur für Mini-Modelle (Link)*
iRasptek Set mit Pi 5 16GB und 256GB Speicher (Link)*
Pi 5 16GB Starter-Kit mit 128GB-Karte (Link)*
Beelink S12 Pro N100 – wenn der Pi zu langsam wird (Link)*

Speicher – Container und Modelle brauchen Platz und Tempo:
Geekworm X1001 M.2-HAT für den Pi 5 (Link)*
PCIe-M.2-HAT für NVMe-SSDs (Link)*
Crucial P310 NVMe SSD 500GB – die Empfehlung (Link)*
Intenso M.2 NVMe SSD 500GB – die günstige Variante (Link)*
SanDisk Extreme Portable SSD 1TB über USB (Link)*
SanDisk Extreme A2 128GB Speicherkarte (Link)*

Strom, Kühlung und Bedienung:
Offizielles 27-W-Netzteil für den Pi 5 (Link)*
Passives Alu-Gehäuse als Kühlkörper (Link)*
Geekworm X1200 USV für den Dauerbetrieb (Link)*
Offizielles 7-Zoll-Touchdisplay als Chat-Terminal (Link)*

Kurz gesagt: Was bringt Open WebUI auf dem Raspberry Pi?

Die Kurzfassung:

• Was es ist: Open WebUI ist die Chat-Oberfläche im Stil bekannter Cloud-Dienste – mit Gesprächsverlauf, Modellauswahl per Klappmenü und mehreren Benutzerkonten. Das Rechnen selbst übernimmt Ollama im Hintergrund.
• Installation: ein Container-Befehl. Danach läuft die Oberfläche unter Port 3000 und ist von jedem Gerät im Heimnetz erreichbar – Telefon, Tablet, Laptop.
• Der eigentliche Gewinn: Kein Wort verlässt das Haus. Dokumente, Notizen und Fragen bleiben auf einem Gerät im eigenen Flur, ohne Konto und ohne Abo.
• Ressourcen: Die Oberfläche selbst ist genügsam und belegt ein paar Hundert Megabyte. Die Grenze setzt das Sprachmodell – 8 GB RAM tragen Modelle bis etwa 4 Milliarden Parameter, 16 GB geben Luft.
• Realistische Erwartung: Der Pi rechnet ausschließlich auf der CPU. Kleine Modelle antworten in Lesetempo, größere in Schreibmaschinen-Geschwindigkeit – Cloud-Dienste bleiben um Größenordnungen schneller.
• Pflicht, nicht Kür: eine NVMe-SSD. Container, Datenbank und mehrere Gigabyte Modelldateien gehören nicht auf eine Speicherkarte.

Was Open WebUI auf dem Raspberry Pi eigentlich macht

Open WebUI auf dem Raspberry Pi ist die fehlende Hälfte des lokalen KI-Setups. Ollama ist ein Serverdienst ohne Gesicht: Es lädt Sprachmodelle, hält sie im Speicher und stellt sie über eine Schnittstelle bereit – bedient wird es im Terminal. Open WebUI setzt genau darauf auf und liefert die Oberfläche, die man von kommerziellen Chat-Diensten kennt. Beides zusammen ergibt erst das, was die meisten meinen, wenn sie von KI auf dem Raspberry Pi sprechen.

Technisch ist Open WebUI ein Webserver in einem Container. Er verwaltet Benutzer, speichert Gesprächsverläufe in einer eigenen Datenbank und reicht die eigentlichen Anfragen an Ollama weiter. Weil das Projekt auf offene Schnittstellen setzt, spricht es neben Ollama auch jede andere Gegenstelle, die dasselbe Format versteht – lokale und externe Modelle lassen sich in derselben Oberfläche mischen, ganz nach Bedarf.

Die Funktionsliste ist inzwischen erstaunlich lang: Dokumenten-Chat mit eigener Vektordatenbank und kombinierter Stichwort- und Bedeutungssuche, Websuche über verschiedene Anbieter, Sprachein- und -ausgabe, Benutzergruppen mit fein abgestuften Rechten, ein Baukasten für eigene Assistenten und eine Erweiterungsschnittstelle für Werkzeuge. Die Fassung 0.11 vom Juli 2026 brachte zusätzlich eine überarbeitete Oberfläche, Ordnerseiten für Gesprächssammlungen und Hilfsagenten, die im Hintergrund eigene Arbeitsschritte abarbeiten.

Man sollte trotzdem wissen, was die Oberfläche nicht ändert: Sie macht den Pi nicht schneller. Wer Antworten in Cloud-Tempo erwartet, wird enttäuscht. Wer eine private, dauerhaft laufende Anlaufstelle für Zusammenfassungen, Umformulierungen, Übersetzungen und Fragen an eigene Dokumente sucht, bekommt für rund zehn Watt genau das.

Open WebUI auf dem Raspberry Pi installieren – Schritt für Schritt

1. System prüfen: Nötig ist ein 64-Bit-System – uname -m muss aarch64 ausgeben. Aktuelles Raspberry Pi OS auf Basis von Debian Trixie erfüllt das ab Werk. Vorher sudo apt update && sudo apt full-upgrade laufen lassen.
2. Auf SSD umziehen: Modelle sind mehrere Gigabyte groß, dazu kommen Container-Schichten und die Datenbank der Oberfläche. Eine SSD am PCIe-Anschluss ist hier kein Luxus, sondern der Unterschied zwischen zwei und zwanzig Sekunden Ladezeit.
3. Ollama einrichten: curl -fsSL https://ollama.com/install.sh | sh installiert den Dienst und legt einen Autostart an. Anschließend ein erstes Modell holen, etwa mit ollama pull gemma3:1b. Die Einzelheiten stehen in der Ollama-Anleitung.
4. Docker installieren: curl -sSL https://get.docker.com | sh, danach sudo usermod -aG docker $USER und einmal neu anmelden. Wer Docker schon nutzt, überspringt den Schritt.
5. Open WebUI starten:
   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   Der Zusatz --add-host ist der entscheidende Teil: Er erlaubt dem Container, das auf dem Wirtssystem laufende Ollama zu erreichen.
6. Erster Aufruf: Im Browser http://raspberrypi.local:3000 öffnen. Der erste angelegte Zugang wird automatisch zum Verwalterkonto – Name, Mailadresse und Passwort bleiben in der lokalen Datenbank und gehen an keinen Server.
7. Verbindung kontrollieren: Unter Admin-Bereich > Einstellungen > Verbindungen muss http://host.docker.internal:11434 stehen. Erscheint kein Modell im Klappmenü, hakt es fast immer genau hier.
8. Sauber betreiben: Statt des langen Befehls gehört das Ganze auf Dauer in eine compose.yaml – ein Ordner, eine Datei, und docker compose pull && docker compose up -d aktualisiert später alles auf einmal.

Es gibt auch ein Abbild mit eingebautem Ollama unter der Marke :ollama. Auf dem Pi ist die getrennte Variante trotzdem die bessere: Ollama läuft dann als Systemdienst, kann eigene Umgebungsvariablen bekommen und überlebt jedes Neuaufsetzen des Containers.

Welche Modelle sich hinter der Oberfläche lohnen

Die Oberfläche ist nicht der Flaschenhals – das Modell ist es. Entscheidend ist, dass die Modelldatei plus ein bis zwei Gigabyte Verwaltung in den freien Arbeitsspeicher passt. Passt sie nicht, beendet der Kernel den Prozess oder das System beginnt zu swappen, was bei Sprachmodellen praktisch Stillstand bedeutet.

Neue Modelle lassen sich direkt in der Oberfläche nachladen, ein Terminal ist dafür nicht mehr nötig. Praktisch ist der Wechsel per Klappmenü: dieselbe Frage einmal an ein 1-B- und einmal an ein 4-B-Modell schicken und vergleichen, ob der Qualitätsgewinn die dreifache Wartezeit wert ist. Für den Dokumenten-Chat kommt ein zweites, kleines Einbettungsmodell hinzu – auch das läuft lokal und belegt zusätzlichen Speicher.

Die Funktionen, die im Alltag den Unterschied machen

• Dokumenten-Chat: PDF oder Textdatei hochladen und Fragen dazu stellen. Bedienungsanleitungen, Verträge und Protokolle werden befragbar – auf dem Pi gemächlich, aber genau für die Dateien geeignet, die man einem Cloud-Dienst nie geben würde.
• Eigene Assistenten: Ein Basismodell mit fester Anweisung versehen und als eigenen Eintrag speichern – „Übersetzer", „Rezept-Helfer", „Behördenbrief-Entschärfer". Ein Klick ersetzt danach das ständige Neutippen langer Anweisungen.
• Benutzer und Gruppen: Jedes Familienmitglied bekommt ein eigenes Konto mit eigenem Verlauf. Über Gruppenrechte lässt sich steuern, wer welche Modelle und Funktionen sieht – praktisch, wenn Kinder mitnutzen.
• Websuche: Auf Wunsch holt sich die Oberfläche aktuelle Treffer aus dem Netz und legt sie dem Modell vor. Das gleicht die Wissensgrenze kleiner Modelle teilweise aus, kostet aber zusätzliche Rechenzeit.
• Sprache: Diktieren und Vorlesen laufen direkt im Browser – zusammen mit dem Sprachassistenten in Home Assistant wird daraus eine durchgehend lokale Sprachkette.
• Als App auf dem Telefon: Die Oberfläche lässt sich als Web-App zum Startbildschirm hinzufügen und verhält sich dann wie eine installierte Anwendung – der schnellste Weg zur Haus-KI unterwegs im eigenen WLAN.

Fehler und Stolpersteine

• Kein Modell im Klappmenü: Der Klassiker. Entweder fehlt --add-host=host.docker.internal:host-gateway im Startbefehl, oder Ollama lauscht nur auf 127.0.0.1. Abhilfe schafft OLLAMA_HOST=0.0.0.0:11434 im Dienst.
• Speicherkarte statt SSD: Container-Schichten, Protokolle und Modelldateien schreiben permanent. Auf einer Karte ist das ein Countdown, auf einer NVMe-SSD kein Thema.
• Zu großes Modell: Passt das Modell nicht in den freien Speicher, beendet der Kernel den Prozess. Im Protokoll steht dann ein Eintrag zum oom-killer – kein Fehler der Software, sondern schlicht Speichermangel.
• Hitze: Jede Anfrage lastet alle vier Kerne aus. Ohne ordentliche Kühlung drosselt der Pi 5 und wird noch langsamer.
• Port nach außen geöffnet: Port 3000 gehört nicht in eine Portfreigabe im Router. Für den Zugriff von unterwegs ist Tailscale der sichere Weg, ergänzt um die Grundlagen zum Absichern des Pi.
• Datenverlust beim Aktualisieren: Ohne das Volume open-webui sind Konten und Verläufe nach dem Neustart des Containers weg. Es gehört zwingend in den Startbefehl – und ins Backup.
• Falsche Erwartung an die Erweiterungen: Bildgenerierung und aufwendige Werkzeugketten sind vorgesehen, laufen auf dem Pi aber nur, wenn die Rechenarbeit auf einem anderen Gerät stattfindet.

Häufige Fragen zu Open WebUI auf dem Raspberry Pi

Wie viel RAM braucht das Gespann wirklich?
Die Oberfläche selbst begnügt sich mit ein paar Hundert Megabyte. Alles Weitere geht an das Modell: 8 GB tragen Modelle bis rund 4 Milliarden Parameter samt Oberfläche, 16 GB geben Luft für den Dokumenten-Chat.

Läuft Open WebUI auch ohne Docker?
Ja, per Python-Installation ab Version 3.11. Der Container ist trotzdem der gepflegte Standardweg, weil Aktualisierungen und Datenhaltung sauber getrennt bleiben.

Können mehrere Personen gleichzeitig chatten?
Ja, die Konten sind getrennt. Die Anfragen landen aber nacheinander beim Modell – bei zwei oder drei Personen im Haushalt fällt das kaum auf, bei einem vollen Wohnzimmer schon.

Reicht ein Raspberry Pi 4 oder ein Zero 2 W?
Ein Pi 4 mit 8 GB funktioniert mit Mini-Modellen, ist aber deutlich langsamer als der Pi 5. Der Zero 2 W ist für diese Kombination zu klein.

Hilft der AI HAT+ beim Tempo?
Nein. Die Hailo-Beschleuniger sind für Bildverarbeitung ausgelegt, und Ollama nutzt auf dem Pi ausschließlich die CPU. Mehr Tempo bringt nur ein kleineres Modell oder ein stärkerer Rechner.

Wie aktualisiere ich die Oberfläche?
Neues Abbild holen, Container neu erzeugen – am bequemsten über eine compose-Datei oder über Portainer. Verläufe und Konten bleiben im Volume erhalten.

Was unterscheidet das Ergebnis von einem Cloud-Dienst?
Die Antwortqualität kleiner lokaler Modelle liegt darunter, das Tempo ebenfalls. Dafür fallen keine Kosten an, es besteht keine Kontopflicht, und Dokumente bleiben im Haus. Für den Alltagsbedarf ist das ein tragfähiger Tausch.

Fazit

Open WebUI auf dem Raspberry Pi ist das Stück, das aus einem Terminal-Experiment eine Anwendung macht, die auch der Rest des Haushalts benutzt. Unsere klare Empfehlung: Nimm einen Pi 5 mit 16 GB RAM und eine NVMe-SSD – bei 8 GB ist bereits nach einem mittelgroßen Modell Schluss, und auf einer Speicherkarte macht der Dokumenten-Chat keine Freude. Genauso wichtig ist die zweite Regel: Ollama als Systemdienst, Open WebUI als Container, beides über eine compose-Datei gepflegt und samt Volume gesichert. Wer das beherzigt und die Erwartung an das Tempo realistisch hält, bekommt für rund zehn Watt eine private KI, die rund um die Uhr bereitsteht und deren Daten nie das Haus verlassen.

* = Affiliate Link (raspi-config.de ist Teilnehmer des Partnerprogramms von Amazon EU, das zur Bereitstellung eines Mediums für Websites konzipiert wurde, mittels dessen durch die Platzierung von Werbeanzeigen und Links zu Amazon.de Werbekostenerstattung verdient werden kann.)