Der KI-Trend ist so groß, dass die Raspberry Pi Foundation kürzlich ein neues AI Hat+-Add-on herausgebracht hat. Allerdings benötigen Sie keine dedizierte Hardware, um KI-Modelle lokal auf dem Raspberry Pi auszuführen. Mithilfe der CPU können Sie kleine Sprachmodelle auf Ihrem Raspberry Pi-Board ausführen. Die Token-Generierung ist definitiv langsam, aber es gibt kleine Modelle mit Millionen Parametern, die recht gut laufen. Lassen Sie uns in diesem Sinne weitermachen und lernen, wie man KI-Modelle auf dem Raspberry Pi ausführt.
Anforderungen
- Ein Raspberry Pi mit mindestens 2 GB RAM für ein ordentliches Erlebnis. Ich verwende für dieses Tutorial meinen Raspberry Pi 4 mit 4 GB RAM. Einigen Benutzern ist es sogar gelungen, KI-Modelle auf einem Raspberry Pi Zero 2 W mit nur 512 MB RAM auszuführen.
- Eine microSD-Karte mit mindestens 8 GB Speicher.
Installieren Sie Ollama auf Raspberry Pi
- Bevor Sie Ollama installieren, richten Sie Ihren Raspberry Pi ein, falls Sie dies noch nicht getan haben.
- Starten Sie anschließend das Terminal und führen Sie den folgenden Befehl aus, um alle Pakete und Abhängigkeiten zu aktualisieren.
sudo apt update && sudo apt upgrade
- Führen Sie nun den folgenden Befehl aus, um Ollama auf Ihrem Raspberry Pi zu installieren.
curl -fsSL https://ollama.com/install.sh | sh
- Sobald Ollama installiert ist, erhalten Sie eine Warnung, dass es die CPU verwenden wird, um das KI-Modell lokal auszuführen. Jetzt kann es losgehen.
Führen Sie KI-Modelle lokal auf Raspberry Pi aus
- Führen Sie nach der Installation von Ollama den nächsten Befehl aus, um das zu installieren tinyllama KI-Modell auf Ihrem Raspberry Pi. Es ist ein kleines 1,1-Milliarden-Modell und benötigt nur 638 MB RAM.
Ollama, lauf Tinyllama
- Sobald das KI-Modell installiert ist, geben Sie Ihre Eingabeaufforderung ein und drücken Sie die Eingabetaste. Es wird einige Zeit dauern, bis eine Antwort generiert wird.
- In meinen Tests erzeugte der Raspberry Pi 4 langsame Reaktionen, aber das ist das, was man auf einem winzigen Einplatinencomputer bekommt.
- Ich würde Laufen empfehlen klein Das hat 135 Millionen Parameter und verbraucht nur 92 MB Speicher. Es ist ein perfektes kleines LLM für Raspberry Pi.
Ollama-Lauf Smollm: 135 m
- Schließlich können Sie es auch versuchen Das Phi-Modell von Microsoft Dabei handelt es sich um ein 2,7-Milliarden-Modell, das 1,6 GB Speicher benötigt. Wenn Sie also einen Raspberry Pi 5 haben, können Sie dieses Modell ausprobieren.
ollama run phi
So können Sie KI-Modelle lokal auf dem Raspberry Pi ausführen. Ich liebe Ollama, weil es einfach zu bedienen ist. Es gibt andere Frameworks wie Llama.cpp, aber der Installationsprozess ist etwas umständlich. Mit nur zwei Ollama-Befehlen können Sie mit der Verwendung eines LLM auf Ihrem Raspberry Pi beginnen.
Wie auch immer, das ist alles von uns. Kürzlich habe ich mit meinem Raspberry Pi einen drahtlosen Android Auto-Dongle hergestellt. Wenn Sie sich also für solche coolen Projekte interessieren, lesen Sie sich unseren Leitfaden durch. Und wenn Sie Fragen haben, lassen Sie es uns in den Kommentaren unten wissen.
Unterstützen Sie unsere Arbeit ❤️
Wenn Ihnen dieser Artikel gefallen hat, können Sie uns mit einem Trinkgeld unterstützen, damit wir weiterhin großartige Inhalte veröffentlichen können.
