Was ist Ollama?

Passende Hardware im Überblick

Boards – bei Sprachmodellen entscheidet der RAM:
Raspberry Pi 5 mit 16GB RAM – die Empfehlung für lokale Modelle (Link)*
Raspberry Pi 5 mit 8GB RAM – der vernünftige Einstieg (Link)*
Raspberry Pi 5 mit 4GB RAM – reicht nur für sehr kleine Modelle (Link)*
Raspberry Pi 4 Starter-Set – für erste Gehversuche (Link)*
Beelink S12 Pro N100 Mini-PC – deutlich schneller als jeder Pi (Link)*

KI-Beschleuniger – für Bild- und Spracherkennung:
Raspberry Pi AI HAT+ mit 26 TOPS (Link)*
AI HAT+ mit 13 TOPS – die günstigere Variante (Link)*
Waveshare Hailo-8 M.2-Modul (Link)*

Speicher – Modelle brauchen Platz und Tempo:
Geekworm X1001 M.2-HAT für den Pi 5 (Link)*
Intenso M.2 NVMe SSD 500GB – günstig und ausreichend (Link)*
Crucial P310 NVMe SSD 500GB – die schnellere Wahl (Link)*
SanDisk Extreme Portable SSD 1TB per USB (Link)*
SanDisk Extreme A2 128GB microSD – als Notlösung (Link)*

Strom, Kühlung und Sprachbedienung:
Offizielles 27-W-Netzteil – Pflicht unter Volllast (Link)*
db-tronic Pi-5-Komplettset mit Gehäuse und Kühler (Link)*
Geekworm X1200 USV – gegen Datenverlust bei Stromausfall (Link)*
Home Assistant Voice PE – Sprachbedienung ohne Cloud (Link)*

Kurz gesagt: Was ist Ollama eigentlich?

Ollama in fünf Punkten:

• Die Kurzdefinition: Ollama ist ein kleines Programm, das Sprachmodelle herunterlädt, in den Arbeitsspeicher lädt und über eine Schnittstelle bereitstellt – lokal, ohne Cloud, ohne Konto, ohne Kosten.
• Installation in einer Zeile: curl -fsSL https://ollama.com/install.sh | sh – danach ist der Dienst eingerichtet und startet automatisch mit.
• Erster Kontakt: ollama run gemma3:1b lädt das Modell und öffnet direkt einen Chat im Terminal. Mehr braucht es nicht.
• Auf dem Pi gilt eine harte Grenze: Modelle bis etwa drei Milliarden Parameter sind sinnvoll. Alles darüber wird so langsam, dass die Geduld vorher aufgibt.
• Der eigentliche Gewinn ist nicht Geschwindigkeit, sondern Datenschutz: Kein Text verlässt das Heimnetz. Wer das nicht braucht, ist mit einem Cloud-Dienst schneller und klüger bedient.

Was Ollama macht – der Werkzeugkasten hinter dem Chat

Ein Sprachmodell selbst ist zunächst nur eine große Datei voller Zahlen. Damit daraus ein Gespräch wird, braucht es Software, die diese Datei lädt, den Text in Zahlen übersetzt, das Modell rechnen lässt und das Ergebnis wieder in Sprache zurückverwandelt. Genau diese undankbare Arbeit nimmt Ollama ab – und zwar so, dass davon nichts zu sehen ist.

Drei Dinge erledigt das Programm im Hintergrund. Erstens die Modellverwaltung: Ein einziger Befehl lädt ein Modell aus einer zentralen Bibliothek, prüft die Prüfsumme und legt es lokal ab. Zweitens die Quantisierung – Ollama holt die Modelle in bereits verkleinerter Form, sodass sie in den knappen Arbeitsspeicher eines Einplatinenrechners passen. Drittens die Bereitstellung als Dienst: Im Hintergrund läuft ein Webserver auf Port 11434, der eine Programmierschnittstelle anbietet.

Dieser dritte Punkt ist der interessanteste, auch wenn er der unscheinbarste ist. Weil Ollama eine Schnittstelle bereitstellt, können andere Programme das Modell mitbenutzen: eine Weboberfläche, ein Automatisierungswerkzeug, ein Skript oder die Smart-Home-Zentrale. Das Modell wird damit zu einem Dienst im Netzwerk – ähnlich wie ein Druckserver oder eine Datenbank.

Vor Ollama war der Weg dorthin steinig: Bibliotheken kompilieren, Modelldateien konvertieren, Parameter erraten. Dass daraus zwei Befehle geworden sind, ist der eigentliche Verdienst des Projekts. Eine ausführliche Einrichtung mit allen Optionen zeigt die Anleitung zu Ollama auf dem Raspberry Pi.

Ollama installieren und starten – Schritt für Schritt

1. System vorbereiten: 64-Bit-Betriebssystem, aktueller Stand, und idealerweise eine SSD statt einer Speicherkarte. Ein Modell mit zwei Gigabyte von einer langsamen Karte zu laden, kostet spürbar Zeit bei jedem Start.
2. Ollama installieren: curl -fsSL https://ollama.com/install.sh | sh – das Skript erkennt die Architektur, richtet einen Systemdienst ein und startet ihn.
3. Installation prüfen: ollama --version zeigt die Version, systemctl status ollama bestätigt, dass der Dienst läuft.
4. Erstes Modell holen und starten: ollama run gemma3:1b. Beim ersten Aufruf lädt Ollama das Modell herunter, danach startet es sofort. Mit /bye geht es wieder aus dem Chat heraus.
5. Weitere Modelle testen: ollama pull llama3.2:3b lädt ein Modell, ohne es gleich zu starten. ollama list zeigt alles Vorhandene samt Größe.
6. Aufräumen: ollama rm modellname löscht ein Modell wieder. Das ist wichtiger, als es klingt – drei ausprobierte Modelle belegen schnell zehn Gigabyte.
7. Schnittstelle im Netz freigeben: Standardmäßig lauscht Ollama nur lokal. Für den Zugriff von anderen Geräten setzt man die Umgebungsvariable OLLAMA_HOST=0.0.0.0 im Dienst – und schützt den Pi im gleichen Zug, siehe Raspberry Pi absichern.

Welche Modelle auf welcher Hardware sinnvoll sind

Die Faustregel ist einfach: Ein Modell muss vollständig in den Arbeitsspeicher passen, sonst lagert das System aus und die Ausgabe verlangsamt sich auf ein Zeichen alle paar Sekunden. Als grober Richtwert gilt bei üblicher Quantisierung ungefähr 0,7 Gigabyte je Milliarde Parameter, dazu etwas Reserve für das System und den Gesprächsverlauf.

Zur Geschwindigkeit gehört Ehrlichkeit: Berichte aus der Community nennen auf einem Pi 5 bei einem Ein-Milliarden-Modell etwa fünf bis zehn Wörter pro Sekunde, bei drei Milliarden eher zwei bis vier. Das ist langsamer, als ein Mensch tippt, aber schnell genug zum Mitlesen. Ein Acht-Milliarden-Modell fällt auf unter ein Wort pro Sekunde – technisch beeindruckend, praktisch eine Geduldsprobe.

Der Grund liegt nicht am Prozessor, sondern am Speicherdurchsatz: Für jedes einzelne Wort muss das komplette Modell durch den Arbeitsspeicher gelesen werden. Ein PC mit Grafikkarte hat dort ein Vielfaches an Bandbreite und schafft mit demselben Modell fünfzig Wörter pro Sekunde. Auch der AI HAT+ ändert daran nichts – er beschleunigt Bilderkennung, keine Sprachmodelle in Ollama.

Quantisierung kurz erklärt: Warum Q4 der Standard ist

Ursprünglich speichert ein Modell jeden seiner Werte mit 16 Bit Genauigkeit. Quantisierung rundet diese Werte auf weniger Bits ab – aus 16 werden 8, 5 oder 4. Das Modell schrumpft dabei auf ein Viertel seiner Größe und wird zugleich schneller, weil weniger Daten durch den Speicher wandern.

Der Preis dafür ist ein Genauigkeitsverlust, und der ist geringer, als die Zahlen vermuten lassen. In der Praxis hat sich Q4_K_M als bester Kompromiss durchgesetzt: kaum merkliche Qualitätseinbußen bei einem Viertel des Speicherbedarfs. Genau diese Stufe holt Ollama, wenn man ein Modell ohne weitere Angabe lädt.

• Q8: nahezu verlustfrei, aber doppelt so groß wie Q4 – auf dem Pi selten sinnvoll.
• Q5: minimal besser als Q4, spürbar größer. Lohnt sich nur mit üppigem RAM.
• Q4: der Standard und für Einplatinenrechner die richtige Wahl.
• Q2 und Q3: passen zwar überall hinein, liefern aber oft wirre Antworten. Ein kleineres Modell in Q4 ist fast immer besser als ein großes in Q2.

Angeben lässt sich die Stufe direkt im Modellnamen, etwa ollama run llama3.2:3b-instruct-q4_K_M. Wer nichts angibt, fährt mit der Voreinstellung in aller Regel richtig.

Open WebUI und Home Assistant: Ollama im Alltag nutzen

Ein Chat im Terminal ist zum Ausprobieren gut genug, für den täglichen Gebrauch aber unbequem. Die verbreitete Lösung heißt Open WebUI – eine Weboberfläche, die stark an bekannte Cloud-Dienste erinnert: Gesprächsverläufe bleiben erhalten, mehrere Benutzerkonten sind möglich, Dokumente lassen sich hochladen und Modelle per Klick wechseln.

Installiert wird Open WebUI üblicherweise als Container über Docker. Praktisch daran: Oberfläche und Modellserver müssen nicht auf demselben Gerät laufen. Ein häufig genutzter Aufbau lässt Open WebUI auf dem Pi laufen und zeigt auf einen kräftigeren Rechner im Netz, auf dem Ollama arbeitet.

Die zweite naheliegende Verbindung führt zur Hausautomation. Home Assistant bringt eine fertige Integration für Ollama mit: Man trägt die Adresse des Servers ein, wählt ein Modell und kann das Ergebnis als Gesprächspartner für den Sprachassistenten festlegen. Damit versteht das Haus auch frei formulierte Sätze statt nur starrer Befehle.

Der Reiz dieser Kombination liegt im Datenschutz. Sprachbefehle, Anwesenheitsdaten und Gerätenamen sind hochsensibel – bei einem Cloud-Assistenten verlassen sie das Haus, bei Ollama nicht. Ein Hinweis gehört dazu: Die Antwortzeit auf einem Pi liegt bei mehreren Sekunden. Für Lichtbefehle bleibt die klassische Sprachsteuerung die schnellere Wahl.

Grenzen und Stolpersteine bei Ollama

• Kein Ersatz für große Cloud-Modelle: Ein Drei-Milliarden-Modell hat weniger Wissen, macht mehr Fehler und verliert bei langen Gesprächen schneller den Faden. Wer echte Denkleistung braucht, bekommt sie lokal auf einem Pi nicht.
• Training ist ausgeschlossen: Ollama führt Modelle aus, es trainiert keine. Selbst eine Feinabstimmung kleiner Modelle sprengt die Möglichkeiten eines Einplatinenrechners um Größenordnungen.
• Speicherkarten sind der falsche Untergrund: Modelle mit mehreren Gigabyte laden zäh und belasten die Karte. Eine NVMe-SSD löst das Problem dauerhaft.
• Der Swap hilft nicht: Passt ein Modell nicht in den RAM, rettet auch ein großzügiger Swap nichts – die Ausgabe wird unbrauchbar langsam. Lieber ein kleineres Modell wählen.
• Netzteil und Kühlung nicht unterschätzen: Ollama lastet alle Kerne dauerhaft aus. Ohne aktive Kühlung drosselt der Pi, und ein schwaches Netzteil führt zu Abstürzen mitten in der Antwort.
• Die Schnittstelle kennt kein Passwort: Wer den Port ins Netz öffnet, gibt sein Modell für jeden im Netz frei. Ein Reverse-Proxy davor oder der Zugriff über Tailscale ist Pflicht, sobald der Dienst nicht nur lokal erreichbar sein soll.
• Modelle sammeln sich an: Jeder Test lädt mehrere Gigabyte. Ohne regelmäßiges ollama rm ist die Platte überraschend schnell voll.

Häufige Fragen zu Ollama

Ist Ollama kostenlos?
Ja, das Programm ist quelloffen und kostenlos, und auch die angebotenen Modelle sind frei nutzbar. Es fällt weder eine Gebühr noch eine Abrechnung pro Anfrage an – lediglich der Stromverbrauch des Geräts.

Welches Modell soll ich auf dem Raspberry Pi zuerst ausprobieren?
Ein Modell mit einer Milliarde Parametern, etwa Gemma 3 in der 1b-Variante. Es startet schnell, läuft auch auf einem Pi mit 4 GB und zeigt sofort, was möglich ist. Danach geht es zur 3b-Klasse.

Braucht Ollama eine Internetverbindung?
Nur zum Herunterladen der Modelle. Danach arbeitet alles vollständig offline – ein Gerät ohne Netzzugang beantwortet Fragen weiterhin.

Kann Ollama den AI HAT+ oder eine Grafikkarte nutzen?
Auf einem PC nutzt Ollama vorhandene Grafikkarten automatisch, und genau dort liegt der große Geschwindigkeitssprung. Der AI HAT+ am Pi hingegen ist auf Bildverarbeitung ausgelegt und wird von Ollama nicht angesprochen.

Wie sicher sind meine Daten wirklich?
Sehr sicher, solange der Dienst im eigenen Netz bleibt: Eingaben werden ausschließlich lokal verarbeitet und nirgendwo protokolliert oder verschickt. Genau das ist der stärkste Grund, überhaupt lokal zu arbeiten – mehr dazu im Überblick zu KI auf dem Raspberry Pi.

Was ist der Unterschied zwischen Ollama und Open WebUI?
Ollama ist der Motor, der das Modell rechnen lässt, Open WebUI ist das Armaturenbrett dazu. Ohne Ollama hat die Oberfläche nichts zu zeigen, ohne Oberfläche bleibt Ollama ein Terminal-Werkzeug.

Läuft Ollama auch auf dem Raspberry Pi Zero 2 W?
Praktisch nein. Mit 512 MB Arbeitsspeicher passt selbst das kleinste sinnvolle Modell nicht hinein. Für lokale Sprachmodelle ist der Zero 2 W die falsche Plattform.

Fazit

Ollama ist der mit Abstand einfachste Weg, ein Sprachmodell auf eigener Hardware zu betreiben – eine Zeile für die Installation, eine für den ersten Chat. Unsere klare Empfehlung dazu lautet aber: Betrachte den Raspberry Pi als Lern- und Datenschutzgerät, nicht als Rechenmaschine. Auf einem Pi 5 mit 8 oder 16 GB und einer SSD sind Modelle bis drei Milliarden Parameter eine ehrliche Empfehlung; alles darüber gehört auf einen Rechner mit Grafikkarte, den Ollama sich per Netzwerk ansprechen lässt. Der Pi bleibt der sparsame Dauerläufer mit Oberfläche und Smart-Home-Anbindung – und keine einzige Eingabe verlässt dabei das eigene Netz.

* = Affiliate Link (raspi-config.de ist Teilnehmer des Partnerprogramms von Amazon EU, das zur Bereitstellung eines Mediums für Websites konzipiert wurde, mittels dessen durch die Platzierung von Werbeanzeigen und Links zu Amazon.de Werbekostenerstattung verdient werden kann.)