KI-Chat im Schulnetz

Mac mini M4 · Schulnetz

Lokaler KI-Chat für alle Geräte im Schul-WLAN

Der Chat läuft auf dem Mac mini (oder später auf mehreren Macs, die sich ein Modell teilen), nicht in der Cloud. Jedes Gerät im Schul-WLAN kann ihn im Browser öffnen, solange in Open WebUI keine Cloud-API eingetragen ist.

Was feststeht, bevor ihr irgendetwas installiert

Das Sprachmodell rechnet auf dem Mac Ollama oder llama.cpp läuft nativ mit Metal (Apples GPU-Beschleunigung). Nie in Docker auf diesem Rechner, sonst fehlt die GPU.
Nur die Oberfläche darf ins WLAN Open WebUI ist über Port 8080 (uv) oder 3000 (Docker) erreichbar. Ollama bleibt auf 127.0.0.1, also nur für diesen Mac selbst.
Immer nur eine Engine zur Zeit Ollama und llama.cpp nie gleichzeitig mit demselben großen Modell laden, sonst wird der Arbeitsspeicher knapp.

So läuft eine Anfrage durchs System

1. Schul-WLAN Ein Laptop oder Tablet im Schulnetz öffnet die Chat-Adresse im Browser.
2. Open WebUI Übernimmt Anmeldung, Chatverlauf und Modellwahl. Rechnet selbst nichts, sondern reicht die Frage weiter.
3. Ollama oder später Exo Auf einem Mac erzeugt Ollama die Antwort und bleibt über localhost erreichbar, nie direkt aus dem WLAN. Wenn ein Modell den RAM einer Box sprengt, übernimmt Exo die Gewichte und Open WebUI fragt Port 52415.

Wenn unklar ist, welcher Weg passt: zwei Fragen unter Weg wählen. Der Alltagspfad ohne Docker steht unter Einfacher Chat.

Was wir bewusst nicht nutzen

Image open-webui:ollama Packt Ollama in ein Linux-Image. Auf dem Mac läuft es dann auf der CPU statt auf der GPU, also deutlich langsamer.
llama.cpp in Docker Gleiches Problem: Der Container kommt nicht an Metal heran, die GPU bleibt ungenutzt.
llama.cpp als Cluster über RPC Die Knoten sprechen per normales TCP. Mit jedem zusätzlichen Mac wird die Antwort oft langsamer. Ein Modell über mehrere Geräte legen heißt hier Exo, nicht llama.cpp.
LM Studio als Schulserver Gut zum Ausprobieren am eigenen Rechner, aber keine App für Dauerbetrieb ohne Aufsicht.