Raspberry Pi KI

Passende Hardware im Überblick

Boards – bei KI zählt jedes Gigabyte RAM:
Raspberry Pi 5 mit 16GB RAM – die Empfehlung für Sprachmodelle (Link)*
Raspberry Pi 5 mit 8GB RAM – der vernünftige Einstieg (Link)*
Raspberry Pi 5 mit 4GB RAM – nur für kleine Modelle (Link)*
Pi 5 16GB Starter-Kit mit 128GB Karte (Link)*
iRasptek Pi 5 Set 16GB mit 256GB (Link)*

KI-Beschleuniger für Bilderkennung:
Raspberry Pi AI HAT+ mit 26 TOPS (Hailo-8) – wenn mehrere Kameras laufen (Link)*
Raspberry Pi AI HAT+ mit 13 TOPS (Hailo-8L) – reicht für die meisten Projekte (Link)*
Waveshare Hailo-8 M.2-Modul – wenn es günstig sein soll (Link)*
PCIe M.2 HAT als Trägerplatine (Link)*

Speicher und Strom – Modelle sind groß und hungrig:
Crucial P310 NVMe SSD 500GB – schnelles Nachladen der Modelle (Link)*
Intenso M.2 NVMe SSD 500GB – die günstige Variante (Link)*
Geekworm X1001 M.2-HAT (Link)*
Offizielles 27-W-Netzteil – Pflicht bei Volllast (Link)*
SanDisk Extreme A2 128GB Speicherkarte (Link)*

Augen und Ohren für den Pi:
Reolink RLC-810A – 4K-Kamera mit RTSP-Stream für Frigate (Link)*
Home Assistant Voice PE – fertiger Sprachassistent (Link)*
Hama USB-Lautsprecher für die Sprachausgabe (Link)*

Kurz gesagt: Was kann künstliche Intelligenz auf dem Raspberry Pi?

Die Kurzfassung zum Thema Raspberry Pi KI:

• Sprachmodelle: ja, aber klein. Mit Ollama laufen Modelle mit 1 bis 4 Milliarden Parametern brauchbar. Erfahrungswerte aus der Community liegen bei rund 9–12 Token pro Sekunde für ein 1B-Modell und 3–5 Token pro Sekunde für 3B bis 4B.
• Bilderkennung ist die eigentliche Stärke. Mit dem AI HAT+ erkennt der Pi Personen, Autos und Pakete in mehreren Kamerastreams gleichzeitig – in Echtzeit und ohne Cloud.
• Kein Training. Modelle selbst trainieren oder feinabstimmen ist auf dem Pi nicht sinnvoll möglich. Der Pi führt fertige Modelle aus, mehr nicht.
• RAM entscheidet über das Machbare. 8 GB reichen für Modelle bis etwa 5 GB Dateigröße, 16 GB schaffen ein 8B-Modell plus Oberfläche und weitere Container daneben.
• Der Flaschenhals ist die Speicherbandbreite, nicht die CPU. Deshalb Übertakten bei Sprachmodellen kaum etwas.
• Wann etwas anderes besser ist: Sobald Antworten in Sekunden statt Minuten kommen sollen, ist eine Grafikkarte oder ein Cloud-Modell die ehrlichere Wahl.

Was Raspberry Pi KI wirklich leistet – und was nicht

Beim Thema KI auf dem Kleinrechner werden zwei völlig verschiedene Dinge in einen Topf geworfen. Das eine sind Sprachmodelle, die Text erzeugen. Das andere ist Bild- und Objekterkennung, also das Auswerten von Kamerabildern. Der Pi ist bei beidem unterschiedlich gut – und wer das nicht trennt, ist entweder enttäuscht oder unterschätzt das Gerät.

Sprachmodelle sind auf dem Pi speicherlimitiert. Für jedes einzelne Token muss das komplette Modell einmal durch den Arbeitsspeicher gelesen werden. Der Pi 5 schafft rund 17 GB pro Sekunde – ein Bruchteil dessen, was eine Grafikkarte liefert. Aus dieser Zahl lässt sich das Tempo fast direkt ableiten: Ein 2 GB großes Modell kann rechnerisch nie schneller als etwa acht Token pro Sekunde sein, in der Praxis liegt es darunter. Eine schnellere CPU oder ein besserer Kühler ändern daran wenig.

Ganz anders sieht es bei der Bilderkennung aus. Neuronale Netze zur Objekterkennung sind klein, arbeiten mit 8-Bit-Ganzzahlen und lassen sich hervorragend in Spezialchips gießen. Genau das ist der Hailo-Beschleuniger im AI HAT+: Er nimmt dem Pi die komplette Rechenarbeit ab und liefert je nach Modell mehrere hundert Bilder pro Sekunde. Hier ist der Pi keine Notlösung, sondern konkurrenzfähig – bei einem Verbrauch von wenigen Watt.

Was definitiv nicht geht: Training. Ein Modell von Grund auf zu trainieren oder auch nur per Fine-Tuning anzupassen, dauert auf dem Pi selbst bei winzigen Netzen Tage bis Wochen. Ebenso wenig sinnvoll sind Bildgeneratoren wie Stable Diffusion – technisch startet das, ein einzelnes Bild braucht aber viele Minuten. Und große Modelle mit 30 oder 70 Milliarden Parametern passen schlicht nicht in den Speicher.

Ollama installieren – Schritt für Schritt

Ollama ist der einfachste Weg zu einem lokalen Sprachmodell. Es lädt Modelle herunter, verwaltet sie und stellt eine Programmierschnittstelle bereit – alles mit wenigen Befehlen.

1. Voraussetzungen schaffen: Ein Pi 5 mit mindestens 8 GB RAM, 64-Bit Raspberry Pi OS und unbedingt eine NVMe-SSD. Modelle sind mehrere Gigabyte groß, das Laden von einer Speicherkarte dauert spürbar länger.
2. System aktualisieren: sudo apt update && sudo apt full-upgrade, danach einmal neu starten.
3. Ollama installieren: curl -fsSL https://ollama.com/install.sh | sh – das Skript erkennt die ARM64-Architektur und richtet den Dienst automatisch ein.
4. Erstes Modell holen: ollama pull llama3.2:1b für den schnellen Test, ollama pull llama3.2:3b für merklich bessere Antworten.
5. Ausprobieren: ollama run llama3.2:3b startet den Dialog direkt im Terminal. Mit /bye geht es wieder hinaus.
6. Tempo messen: ollama run llama3.2:3b --verbose zeigt nach jeder Antwort die erreichten Token pro Sekunde – die ehrlichste Kennzahl für die eigene Hardware.
7. Oberfläche ergänzen: Open WebUI per Docker installieren. Danach lässt sich das Modell im Browser bedienen – mit Verlauf, mehreren Chats und Benutzerkonten, von jedem Gerät im Netzwerk aus.

Modellgrößen und Tempo: Raspberry Pi KI in Zahlen

Die folgenden Werte sind Erfahrungswerte für einen Pi 5 mit 4-Bit-Quantisierung (die Standardvariante bei Ollama). Sie schwanken je nach Kühlung und Kontextlänge, geben aber die Größenordnung zuverlässig wieder:

Zur Einordnung: Flüssiges Lesetempo liegt bei etwa 7 bis 10 Token pro Sekunde. Ein 1B-Modell fühlt sich also fast normal an, ein 3B-Modell schreibt sichtbar Wort für Wort, und bei 8B wartet man auf eine mittellange Antwort ein bis zwei Minuten. Dazu kommt die Verarbeitung der Eingabe: Ein langer Text im Kontextfenster kostet vor dem ersten Wort der Antwort noch einmal deutlich Zeit.

Ein zweiter Punkt wird gern übersehen: Kleine Modelle sind nicht nur langsamer, sondern auch schlechter. Ein 1B-Modell reicht für Zusammenfassungen, einfache Umformulierungen und Textklassifikation. Für Programmierhilfe, längere Recherchen oder verlässliche Fakten ist es keine Alternative zu den großen Cloud-Modellen – das sollte man vor dem Kauf von 16 GB RAM ehrlich einkalkulieren.

KI-Projekte, die auf dem Pi wirklich Sinn ergeben

Statt den Pi zum langsamen ChatGPT-Ersatz zu machen, spielt er seine Stärken dort aus, wo Daten das Haus nicht verlassen sollen und ein Gerät rund um die Uhr laufen darf:

• Kameraüberwachung mit Frigate: Die Software analysiert Kamerastreams und meldet nur echte Ereignisse – Person, Auto, Hund – statt jeder wackelnden Hecke. Mit dem AI HAT+ als Beschleuniger schafft ein Pi 5 mehrere Kameras gleichzeitig. Die Einbindung in Home Assistant liefert dann Push-Nachrichten mit Bild.
• Objekterkennung mit dem Kameramodul: Zusammen mit der Pi-Kamera und den mitgelieferten Beispielen erkennt der AI HAT+ Objekte, Posen und Gesichter im Livebild – die Grundlage für Zählprojekte, Tierbeobachtung oder Zutrittslogik.
• Sprachsteuerung ohne Cloud: Ein lokaler Sprachassistent mit Whisper für die Erkennung und Piper für die Ausgabe läuft auf einem Pi 5 mit Antwortzeiten von ein bis drei Sekunden – solange nur Geräte geschaltet werden und kein Sprachmodell dazwischenhängt.
• Texte im Haus verarbeiten: Dokumente automatisch verschlagworten, eingehende Nachrichten zusammenfassen oder Notizen sortieren – kleine Modelle im Hintergrund, bei denen Sekunden keine Rolle spielen.
• Bewegungslogik ersetzen: Wo bisher ein Bewegungsmelder jede Katze meldete, unterscheidet die Objekterkennung zuverlässig zwischen Mensch und Tier.

Der AI HAT+ gibt es in zwei Ausbaustufen: 13 TOPS mit dem Hailo-8L und 26 TOPS mit dem Hailo-8. Für ein bis drei Kameras oder ein einzelnes Erkennungsmodell reicht die kleinere Variante deutlich; die 26-TOPS-Version lohnt erst, wenn mehrere Streams parallel oder größere Netze laufen sollen. Beide setzen einen Pi 5 voraus, weil sie den PCIe-Anschluss nutzen – was HATs generell auszeichnet, gilt hier besonders: Der Steckplatz ist danach belegt und muss mit der SSD geteilt werden.

Fehler und Stolpersteine bei KI auf dem Raspberry Pi

• Der AI HAT+ beschleunigt keine Sprachmodelle. Der Hailo-Chip ist auf Bildverarbeitung ausgelegt. Ollama ignoriert ihn vollständig – wer ihn für schnellere Chat-Antworten kauft, hat ihn umsonst gekauft.
• Speicherkarte statt SSD: Modelle mit mehreren Gigabyte von Karte zu laden kostet bei jedem Start Minuten. Eine SSD ist hier keine Kür.
• Zu schwaches Netzteil: Unter Dauerlast zieht ein Pi 5 mit HAT und SSD deutlich mehr Strom als im Leerlauf. Ein zu knappes Netzteil führt zu Abstürzen mitten in der Berechnung – der Stromverbrauch steigt unter Volllast auf ein Vielfaches.
• Zu großes Modell gewählt: Passt es nicht in den RAM, lagert das System auf den Swap aus. Das Ergebnis sind Antwortzeiten von vielen Minuten und eine stark beanspruchte SSD.
• Kontextfenster zu groß eingestellt: Jedes zusätzliche Token im Kontext braucht Speicher und Rechenzeit. Wer 32.000 Token einstellt, obwohl 4.000 reichen, verschenkt beides.
• Kühlung unterschätzt: Sprachmodelle lasten alle vier Kerne minutenlang voll aus. Ohne aktiven Kühler drosselt der Pi und wird noch langsamer.
• Erwartungshaltung: Wer ein lokales Modell mit den bekannten Cloud-Diensten vergleicht, wird enttäuscht. Die Frage ist nicht „so gut wie GPT?", sondern „gut genug für diese eine Aufgabe?".

Häufige Fragen zu KI auf dem Raspberry Pi

Welches Modell läuft auf einem Pi mit 8 GB RAM?
Alles bis etwa 5 GB Dateigröße, also Modelle bis ungefähr 4 Milliarden Parameter in 4-Bit-Quantisierung. Llama 3.2 3B und Gemma 3 4B sind hier der sinnvolle Kompromiss aus Qualität und Tempo.

Lohnen sich 16 GB RAM für lokale KI?
Wenn ein 8B-Modell laufen soll: ja, ohne 16 GB wird das nichts. Man erkauft sich damit aber Qualität, kein Tempo – 1,5 bis 2 Token pro Sekunde bleiben zäh. Für alle anderen Anwendungen genügen 8 GB.

Brauche ich den AI HAT+ für Ollama?
Nein. Sprachmodelle laufen ausschließlich auf der CPU, der Beschleuniger bleibt dabei ungenutzt. Er lohnt sich nur für Bild- und Objekterkennung, etwa mit Frigate oder der Pi-Kamera.

13 oder 26 TOPS – welcher AI HAT+ ist richtig?
Für ein bis drei Kameras und Standardmodelle zur Objekterkennung reicht die 13-TOPS-Version. Die 26-TOPS-Variante lohnt bei vielen parallelen Streams oder größeren Netzen. Der Preisunterschied ist erheblich.

Kann der Raspberry Pi Bilder generieren?
Technisch ja, praktisch nein. Stable Diffusion braucht auf dem Pi viele Minuten pro Bild. Als Demonstration nett, als Werkzeug unbrauchbar.

Kann ich auf dem Pi ein eigenes Modell trainieren?
Nein. Training und Fine-Tuning brauchen Grafikkarten mit viel Speicher. Der Pi ist ein reines Ausführungsgerät für fertige Modelle – für Experimente mit eigenen Daten ist ein gemieteter Cloud-Rechner der schnellere und am Ende günstigere Weg.

Wann ist eine Grafikkarte oder die Cloud die bessere Wahl?
Sobald mehrere Personen gleichzeitig zugreifen, Antworten in Sekunden erwartet werden oder ein Modell ab 13 Milliarden Parametern nötig ist. Ein gebrauchter PC mit Grafikkarte ist dann sinnvoller – oder gleich ein leistungsfähigerer Kleinrechner.

Fazit

Beim Thema Raspberry Pi KI lohnt sich eine klare Trennung, und daraus folgt eine ebenso klare Empfehlung: Kauf den AI HAT+, wenn Kameras im Spiel sind – und erwarte von lokalen Sprachmodellen nichts, was über kleine Hintergrundaufgaben hinausgeht. Für Objekterkennung mit Frigate oder der Pi-Kamera ist der Pi 5 mit Hailo-Beschleuniger eine ausgezeichnete, sparsame und vollständig lokale Lösung, die sich hinter teurerer Hardware nicht verstecken muss. Bei Sprachmodellen dagegen ist das Gerät ein Lernprojekt: Ollama mit einem 3B-Modell und Open WebUI zeigt eindrucksvoll, wie das alles funktioniert, ersetzt aber keinen Cloud-Dienst. Wer beides will, nimmt einen Pi 5 mit 16 GB, SSD und aktivem Kühler – und behält im Hinterkopf, dass ab einem gewissen Anspruch eine Grafikkarte die ehrlichere Antwort ist.

* = Affiliate Link (raspi-config.de ist Teilnehmer des Partnerprogramms von Amazon EU, das zur Bereitstellung eines Mediums für Websites konzipiert wurde, mittels dessen durch die Platzierung von Werbeanzeigen und Links zu Amazon.de Werbekostenerstattung verdient werden kann.)