Mac mini M4 · Schulnetz

Lokaler KI-Chat für alle Geräte im Schul-WLAN

Der Chat läuft komplett auf diesem Mac mini, nicht in der Cloud. Jedes Gerät im Schul-WLAN kann ihn im Browser öffnen, solange in Open WebUI keine Cloud-API eingetragen ist.

Diese drei Regeln gelten immer

Das Sprachmodell rechnet auf dem Mac Ollama oder llama.cpp läuft nativ mit Metal (Apples GPU-Beschleunigung). Nie in Docker auf diesem Rechner, sonst fehlt die GPU.

Nur die Oberfläche darf ins WLAN Open WebUI ist über Port 8080 (uv) oder 3000 (Docker) erreichbar. Ollama bleibt auf 127.0.0.1, also nur für diesen Mac selbst.

Immer nur eine Engine zur Zeit Ollama und llama.cpp nie gleichzeitig mit demselben großen Modell laden, sonst wird der Arbeitsspeicher knapp.

So läuft eine Anfrage durchs System

1. Schul-WLAN Ein Laptop oder Tablet im Schulnetz öffnet die Chat-Adresse im Browser.

2. Open WebUI Übernimmt Anmeldung, Chatverlauf und Modellwahl. Rechnet selbst nichts, sondern reicht die Frage weiter.

3. Ollama auf diesem Mac Lädt das Sprachmodell, erzeugt die Antwort und schickt sie zurück. Nur über localhost erreichbar, nie direkt aus dem WLAN.

Wenn unklar ist, welcher Weg passt: zwei Fragen unter Weg wählen. Der Alltagspfad ohne Docker steht unter Einfacher Chat.

Was wir bewusst nicht nutzen

Image open-webui:ollama Packt Ollama in ein Linux-Image. Auf dem Mac läuft es dann auf der CPU statt auf der GPU, also deutlich langsamer.

llama.cpp in Docker Gleiches Problem: Der Container kommt nicht an Metal heran, die GPU bleibt ungenutzt.

LM Studio als Schulserver Gut zum Ausprobieren am eigenen Rechner, aber keine App für Dauerbetrieb ohne Aufsicht.

Entscheidung

Welcher Weg?

Zwei Fragen. Danach steht Inferenz und Oberfläche fest. Du richtest nur einen UI-Weg und eine Engine ein.

Kommt SSO, Proxy oder Qdrant?

Nein, erstmal nur Chat Kein Authentik, kein Reverse Proxy, keine eigene Vektordatenbank in Sicht. Ja, das kommt Dann soll Open WebUI von Anfang an in Docker liegen, damit Compose später wächst.

Braucht ihr eine feste GGUF-Datei?

Nein, Katalog reicht Ollama mit ollama pull ist der Default. Ja, eigene Datei oder Extra-Flags Kontextlänge, KV-Cache, parallele Slots: dann llama-server.

Kurzvergleich Oberfläche

	uv auf dem Mac	Docker
Nur Chat, Ausbau unklar	nehmen	übertrieben
RAM fürs Modell	fast alles	plus 2–4 GB für die VM
Autostart	ein LaunchAgent	Docker Desktop plus Compose
Authentik / Qdrant später	umziehen	Compose erweitern
Daten	`$HOME/.open-webui`	`data/m4/open-webui`

Hardware

Was der M4 trägt

Unified Memory ist nicht nachrüstbar. Sobald Modell plus Kontext den RAM sprengen, schreibt macOS auf die SSD. Unterrichtstauglich ist das nicht.

RAM	Alltag	Grobe tok/s	70B Q4
16 GB	7–8B	8B etwa 18–32	nein
24 GB	14B, 27–32B eng	14B etwa 11–14, 32B oft 4–6	nein
32 GB	14–32B	hängt am Chip	nein
64 GB	32B komfortabel	70B oft 3–15	ja, langsam

Ein 32B auf 24 GB wurde mit 0,28 tok/s gemessen. Docker Desktop zieht oft 2–4 GB extra, das zählt auf 16–24 GB.

Erstes Modell laden

Wenig RAM, schneller Test ollama pull llama3.2:3b

Ab 16 GB, alltagstauglich ollama pull llama3.1:8b

Ab 24 GB, kräftiger ollama pull qwen2.5:14b (Namen ändern sich)

Bei llama.cpp dieselbe Größenordnung, Quant Q4_K_M als Schul-Kompromiss.

Anleitung 01 · ohne Docker

Einfacher Chat

Ollama als App, Open WebUI per uv, Autostart per LaunchAgent. Hake Schritte ab, der Stand bleibt in diesem Browser.

Du brauchst einen Mac mit Apple Silicon, Admin-Rechte, eine feste IPv4-Adresse im Schulnetz und einen Passwortmanager oder eine andere sichere Ablage für den Geheimschlüssel. Keine Passwörter ins Git.

1 Terminal öffnen

Programme → Dienstprogramme → Terminal. Den $ vor Befehlen nicht mitkopieren.

2 Apple Silicon prüfen

uname -m

Erwartet: arm64. x86_64 ist Intel, diese Anleitung gilt dann nicht.

3 Ollama installieren

Empfohlen: ollama.com/download, App nach Programme ziehen, einmal starten. Oder:

curl -fsSL https://ollama.com/install.sh | sh

Nur ausführen, wenn du ollama.com vertraust. Der Dienst lauscht auf Port 11434.

4 Prüfen, ob Ollama antwortet

curl http://127.0.0.1:11434/api/tags

JSON ist gut, oft {"models":[]}. „connection refused“: App Ollama starten.

5 Ollama nur lokal binden

Geräte im WLAN sollen Open WebUI sehen, nicht Ollama. In der App prüfen, dass der Dienst nicht im Netz hängt.

launchctl setenv OLLAMA_HOST 127.0.0.1:11434

Ollama vollständig beenden (Quit) und neu starten. Von einem anderen Gerät darf http://<MAC-IP>:11434 nicht gehen.

6 Erstes Modell laden

ollama pull llama3.2:3b

Ab 16 GB eher llama3.1:8b. Test:

ollama run llama3.2:3b

Beenden mit /bye. Größen: siehe RAM und Modelle.

7 uv installieren

curl -LsSf https://astral.sh/uv/install.sh | sh

Terminal schließen und neu öffnen. Kontrolle: which uv und uv --version.

8 Geheimschlüssel erzeugen

openssl rand -hex 32

Wert als WEBUI_SECRET_KEY in den Passwortmanager. Ohne festen Schlüssel sind nach dem Neustart alle abgemeldet.

9 Datenordner anlegen

mkdir -p "$HOME/.open-webui/logs"

Hier liegen später Chats, Nutzer und Einstellungen. Der Punkt macht den Ordner im Finder unsichtbar.

10 Open WebUI installieren

uv tool install --python 3.11 open-webui

Python 3.11, nicht 3.13. Nicht im Alltag uvx open-webui@latest nutzen, das zieht bei jedem Start nach.

11 Einmal manuell starten

DEIN_SCHLUESSEL ersetzen. Warten auf „Application startup complete“.

export DATA_DIR="$HOME/.open-webui"
export WEBUI_SECRET_KEY="DEIN_SCHLUESSEL"
open-webui serve --host 0.0.0.0 --port 8080

0.0.0.0 bedeutet: auch im Schul-WLAN erreichbar.

12 Admin anlegen, Registrierung zu

Auf dem Mac: http://127.0.0.1:8080. Der erste Account ist Administrator. Danach unter Admin → Einstellungen die Selbstregistrierung deaktivieren.

13 Ollama in der UI prüfen

Admin → Einstellungen → Connections. URL http://127.0.0.1:11434. Modell-Liste aktualisieren, Testchat auf Deutsch.

14 Manuellen Server stoppen

Im Terminal von Schritt 11: Ctrl+C. Den Dauerbetrieb übernimmt der LaunchAgent.

15 LaunchAgent anlegen

Zuerst notieren:

whoami
which open-webui

DEIN_USER und DEIN_SCHLUESSEL ersetzen, Pfad von which open-webui übernehmen.

cat > "$HOME/Library/LaunchAgents/local.schule.openwebui.plist" << 'EOF'
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
  <dict>
    <key>Label</key>
    <string>local.schule.openwebui</string>
    <key>ProgramArguments</key>
    <array>
      <string>/Users/DEIN_USER/.local/bin/open-webui</string>
      <string>serve</string>
      <string>--host</string>
      <string>0.0.0.0</string>
      <string>--port</string>
      <string>8080</string>
    </array>
    <key>EnvironmentVariables</key>
    <dict>
      <key>HOME</key>
      <string>/Users/DEIN_USER</string>
      <key>DATA_DIR</key>
      <string>/Users/DEIN_USER/.open-webui</string>
      <key>WEBUI_SECRET_KEY</key>
      <string>DEIN_SCHLUESSEL</string>
      <key>PATH</key>
      <string>/Users/DEIN_USER/.local/bin:/usr/bin:/bin</string>
    </dict>
    <key>RunAtLoad</key>
    <true/>
    <key>KeepAlive</key>
    <true/>
    <key>StandardOutPath</key>
    <string>/Users/DEIN_USER/.open-webui/logs/server.log</string>
    <key>StandardErrorPath</key>
    <string>/Users/DEIN_USER/.open-webui/logs/error.log</string>
  </dict>
</plist>
EOF

plutil -lint "$HOME/Library/LaunchAgents/local.schule.openwebui.plist"
launchctl bootstrap "gui/$(id -u)" "$HOME/Library/LaunchAgents/local.schule.openwebui.plist"

In der Ollama-App „Launch at Login“ einschalten. Erwartet bei plutil: OK.

16 Vom zweiten Gerät testen

IP unter Systemeinstellungen → Netzwerk, dann auf dem Lehrer-Laptop http://10.0.0.40:8080 (deine Adresse). Zweiten Account nutzen, nicht den Admin-Alltagschat. Firewall darf Open WebUI, nicht Port 11434.

Wenn alles läuft

Auf dem Mac: http://127.0.0.1:8080
Im WLAN: http://<IP>:8080
http://<IP>:11434 von außen schlägt fehl
Nach Ab- und Anmelden läuft der Chat ohne Terminal
Registrierung ist zu

Anleitung 02 · UI im Container

Docker für später

Open WebUI in Docker, Ollama bleibt eine normale macOS-App. Nimm diesen Weg, wenn Authentik, Proxy oder Qdrant absehbar sind.

Kein Image-Tag ollama und kein open-webui:ollama. Das packt die Engine in die Linux-VM, Metal fällt aus.

Browser → Mac Port 3000 landet im Container auf Port 8080 (Open WebUI)

Open WebUI → host.docker.internal:11434 das ist Ollama auf dem Mac, nicht im Container

1 Docker Desktop starten

Apple-Silicon-Build von docker.com. Warten auf „Engine running“.

docker version

2 Ollama auf dem Host prüfen

Schritte 3–6 der einfachen Anleitung müssen stehen.

curl http://127.0.0.1:11434/api/tags

Ollama möglichst auf 127.0.0.1 lassen. Schlägt die Container-Verbindung fehl: Ollama kurz auf 0.0.0.0, Firewall so, dass nur dieser Mac Port 11434 sieht.

3 Geheimschlüssel

openssl rand -hex 32

4 Datenordner

cd "/Users/DEIN_USER/Projekte/Lokales RAG System"
mkdir -p data/m4/open-webui

Anführungszeichen wegen des Leerzeichens im Pfad. Ohne Repo: beliebiger Ordner, Volume in Compose anpassen.

5 Compose prüfen

Datei infra/compose/m4/phase-01/compose.yaml. Schlüssel nicht committen.

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    platform: linux/arm64
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
      - WEBUI_SECRET_KEY=DEIN_SCHLUESSEL
    volumes:
      - ../../../../data/m4/open-webui:/app/backend/data

Links Port 3000 auf dem Mac, rechts 8080 im Container. linux/arm64, nicht amd64.

6 Container starten

cd "/Users/DEIN_USER/Projekte/Lokales RAG System"
docker compose -f infra/compose/m4/phase-01/compose.yaml up -d

docker compose -f infra/compose/m4/phase-01/compose.yaml logs -f

Warten auf „Application startup complete“. Ctrl+C beendet nur die Log-Ansicht.

7 Browser, Admin, Registrierung zu

http://127.0.0.1:3000, Schulnetz http://<IP>:3000. Nicht 8080, der Port existiert nur im Container. Erster Nutzer ist Admin.

8 Ollama-URL im Container

Falls keine Modelle: Admin → Connections → http://host.docker.internal:11434. Nicht 127.0.0.1 im Container, das wäre der Container selbst.

9 Autostart

Docker Desktop: Start when you log in. Ollama: Start bei Anmeldung. Compose per LaunchAgent, der kurz wartet und dann docker compose … up -d ruft (siehe Phase-1-Autostart im Repo).

Wechsel von uv zu Docker

Läuft Open WebUI schon per uv und soll auf diesen Docker-Weg umziehen: zuerst Open WebUI stoppen, dann die Daten in den neuen Ordner kopieren. Denselben WEBUI_SECRET_KEY auch in der Compose-Datei setzen.

rsync -a "$HOME/.open-webui/" "/Users/DEIN_USER/Projekte/Lokales RAG System/data/m4/open-webui/"

Anleitung 03 · Alternative zur Engine

llama.cpp statt Ollama

Nur wenn eine bestimmte GGUF-Datei oder Flags nötig sind, die Ollama nicht durchreicht. Open WebUI bleibt. llama-server auf Port 8081, nur localhost.

Homebrew-Bottles kamen schon ohne Metal. Dann rechnet die CPU, 7B wird unbrauchbar langsam. Startlog muss Metal oder GPU-Offload zeigen.

1 Homebrew und llama.cpp

brew --version
brew install llama.cpp
which llama-server || which llama

Fehlt Metal:

brew reinstall --build-from-source llama.cpp

2 Ollama entlasten

ollama stop llama3.1:8b

Bei RAM-Knappheit Ollama in der Menüleiste ganz beenden.

3 Server nur lokal starten

Mini-Test von Hugging Face, oder lokale Datei:

llama-server \
  -m "$HOME/models/mein-modell.Q4_K_M.gguf" \
  --host 127.0.0.1 \
  --port 8081 \
  --ctx-size 8192 \
  --n-gpu-layers 999

curl http://127.0.0.1:8081/v1/models

Aus Docker: Host ist host.docker.internal. Hilfe der installierten Version gilt vor dieser Liste.

4 Als OpenAI-kompatible Verbindung eintragen

Feld	uv	Docker
URL	`http://127.0.0.1:8081/v1`	`http://host.docker.internal:8081/v1`
API-Key	`llama`	`llama`

llama-server spricht dieselbe Schnittstelle wie die OpenAI-API, deshalb kommt der Eintrag unter „OpenAI“, nicht unter „Ollama“. Der API-Key wird oft ignoriert, das Feld muss aber trotzdem gefüllt sein.

5 LaunchAgent analog zu Open WebUI

Datei z. B. local.schule.llamaserver.plist. Argumente einzeln: Pfad zu llama-server, -m, GGUF-Pfad, --host, 127.0.0.1, --port, 8081, --n-gpu-layers, 999.

plutil -lint "$HOME/Library/LaunchAgents/local.schule.llamaserver.plist"
launchctl bootstrap "gui/$(id -u)" "$HOME/Library/LaunchAgents/local.schule.llamaserver.plist"

Eingebaute Mini-UI von llama-server nicht ins LAN hängen. --host 127.0.0.1 belassen.

Zurück zu Ollama

llama-server beenden (Ctrl+C oder LaunchAgent bootout). Ollama-App starten. In Open WebUI wieder http://127.0.0.1:11434 (Docker: host.docker.internal:11434).

Nach der Einrichtung

Alltag

Update bewusst, Daten sichern, Dienst stoppen. Lehrer bekommen die Chat-URL, nicht Port 11434.

Update Open WebUI (uv)

uv tool upgrade open-webui
launchctl kickstart -k "gui/$(id -u)/local.schule.openwebui"

Update Open WebUI (Docker)

cd "/Users/DEIN_USER/Projekte/Lokales RAG System"
docker compose -f infra/compose/m4/phase-01/compose.yaml pull
docker compose -f infra/compose/m4/phase-01/compose.yaml up -d

Volume mit Chats bleibt. Tag :main später auf eine Versionsnummer pinnen, wenn der Betrieb ruhiger laufen soll.

Datensicherung

uv Mindestens $HOME/.open-webui (Time Machine oder verschlüsselte Platte).

Docker data/m4/open-webui im Repo-Ordner.

Modelle $HOME/.ollama ist groß. Neu pullen geht, kostet Leitung.

Stoppen

launchctl bootout "gui/$(id -u)/local.schule.openwebui"

cd "/Users/DEIN_USER/Projekte/Lokales RAG System"
docker compose -f infra/compose/m4/phase-01/compose.yaml down

down entfernt den Container, nicht den Datenordner. Ollama über die Menüleiste beenden.

Was Lehrer brauchen

uv http://<IP-des-Mac>:8080

Docker http://<IP-des-Mac>:3000

Diagnose

Wenn etwas hakt

Zuerst Logs, dann Port, dann die falsche Adresse zwischen Container und Mac.

Port 8080 belegt Anderen Port, z. B. 3000, in Startbefehl, plist und Browser-URL.

Python 3.13 Installation mit --python 3.11 wiederholen.

LaunchAgent startet nicht Logs in $HOME/.open-webui/logs/. Pfad in der plist muss zu which open-webui passen.

Alle nach Neustart ausgeloggt WEBUI_SECRET_KEY fehlt oder hat sich geändert.

Keine Modelle in Docker Ollama nicht gestartet, oder URL localhost im Container statt host.docker.internal.

Sehr langsam Ollama versehentlich im Container, kein Metal bei llama.cpp, oder Modell zu groß (Swap).

Fehler 500 (Docker) Oft Rechte am Datenordner.

Leere llama.cpp-Liste URL ohne /v1, oder im Container localhost statt host.docker.internal.

Wirre Antworten (llama.cpp) Falsches Chat-Template. Anderes GGUF oder --chat-template der Version.

Kontrolle Inferenz: auf dem Mac ollama ps zeigt das Modell, nicht nur der Container. llama-server-Log erwähnt Metal. Port 8081 bzw. 11434 vom Lehrer-Laptop aus zu.

Nachschlagen

Glossar

Kurzerklärungen zu den Fachbegriffen aus diesem Handbuch. Jeder Eintrag sagt, was der Begriff bedeutet und warum er hier überhaupt vorkommt.

Ausbau-Themen

SSO (Single Sign-on): Einmal anmelden und danach automatisch bei mehreren Diensten eingeloggt sein, statt für jeden Dienst ein eigenes Passwort zu brauchen. Kommt hier ins Spiel, wenn neben dem Chat weitere Schul-Dienste dieselbe Anmeldung nutzen sollen.
Authentik: Ein Open-Source-Programm, das zentrale Logins (SSO) für mehrere Dienste verwaltet. Lohnt sich erst, wenn mehr als der reine Chat über gemeinsame Schul-Accounts laufen soll.
Proxy / Reverse Proxy: Ein Server, der Anfragen aus dem Netz entgegennimmt und an den passenden Dienst dahinter weiterleitet. Wird interessant, sobald Chat, Authentik und weitere Dienste über eine gemeinsame Adresse erreichbar sein sollen.
Qdrant: Eine Vektordatenbank, die Textabschnitte durchsuchbar macht, etwa um eigene Dokumente im Chat wiederzufinden. Lohnt sich erst bei größeren Materialmengen, für den reinen Chat nicht nötig.
RAG (Retrieval-Augmented Generation): Der Chat durchsucht vorher eigene Dokumente und lässt die Fundstellen in die Antwort einfließen, statt nur aus dem trainierten Wissen zu antworten. Namensgeber dieses Projekt-Repos, für den Grundchat aber kein Muss.

Programme und Werkzeuge

Ollama: Eine App, die Sprachmodelle auf dem Mac lädt und Chat-Anfragen beantwortet. Der Standardweg in diesem Handbuch, läuft nativ mit Metal statt in Docker.
Open WebUI: Die Chat-Oberfläche im Browser mit Anmeldung, Verlauf und Modellwahl. Rechnet selbst nichts, sondern reicht Fragen an Ollama oder llama-server weiter.
llama.cpp / llama-server: Eine Alternative zu Ollama zum Ausführen von Sprachmodellen, gestartet über das Programm llama-server. Sinnvoll bei einer bestimmten GGUF-Datei oder Start-Flags, die Ollama nicht bietet.
uv: Ein schnelles Python-Werkzeug, mit dem sich Open WebUI ohne Docker installieren und starten lässt. Der einfachere der beiden Einrichtungswege in diesem Handbuch.
Docker: Ein Programm, das Anwendungen in abgeschlossenen Containern laufen lässt. Hier nur für die Oberfläche Open WebUI gedacht, nie für die Inferenz, weil ein Container in diesem Setup nicht an Metal herankommt.
Homebrew: Ein Paketmanager für macOS, mit dem sich Programme wie llama.cpp per Terminal installieren lassen. Manche vorgebauten Pakete (Bottles) fehlt dabei die Metal-Unterstützung.
LaunchAgent: Eine macOS-Konfigurationsdatei (.plist), die einen Dienst beim Login automatisch startet und am Laufen hält. Sorgt dafür, dass Open WebUI oder llama-server einen Neustart des Mac übersteht.
Compose (Docker Compose): Eine Konfigurationsdatei, mit der mehrere Docker-Container zusammen gestartet werden. Beschreibt hier zum Beispiel Open WebUI mit Port, Umgebungsvariablen und Datenordner.

Netzwerk und Technik

localhost / 127.0.0.1: Die Adresse, unter der ein Dienst nur für den eigenen Rechner erreichbar ist, nicht für andere Geräte im Netz. Ollama bleibt hier absichtlich, damit niemand im Schul-WLAN direkt darauf zugreift.
Port: Eine Art Zimmernummer für Dienste auf demselben Rechner, zum Beispiel 8080 für Open WebUI oder 11434 für Ollama. Über den Port weiß der Rechner, welches Programm eine Anfrage bekommen soll.
host.docker.internal: Eine besondere Adresse, über die ein Docker-Container den Mac erreicht, auf dem er läuft. Nötig, damit Open WebUI im Container die Ollama-App auf dem Mac findet.
Volume: Ein Ordner auf dem Mac, den Docker in einen Container einblendet, damit Daten den Container-Neustart überleben. Hier liegen zum Beispiel die Open-WebUI-Daten außerhalb des Containers.
WEBUI_SECRET_KEY: Ein selbst erzeugter Geheimwert, mit dem Open WebUI Sitzungen verschlüsselt. Ohne festen Wert wären nach jedem Neustart alle Nutzer abgemeldet.

Rund ums Sprachmodell

Inferenz: Der Rechenschritt, bei dem ein geladenes Sprachmodell aus einer Eingabe eine Antwort erzeugt. Läuft in diesem Setup immer nativ auf dem Mac, nie in Docker.
Engine: Das Programm, das die Inferenz übernimmt, hier entweder Ollama oder llama.cpp. Immer nur eine Engine gleichzeitig mit einem großen Modell laden, sonst wird der Arbeitsspeicher knapp.
Metal: Apples Schnittstelle, über die Sprachmodelle die GPU des Mac nutzen. Funktioniert nur nativ auf macOS, nicht innerhalb eines Docker-Containers.
GGUF: Ein Dateiformat für Sprachmodelle, das llama.cpp lädt. Wichtig, wenn eine bestimmte Modelldatei oder Quantisierung außerhalb des Ollama-Katalogs gebraucht wird.
Quantisierung (z. B. Q4_K_M): Ein Verfahren, das ein Sprachmodell verkleinert, indem es Zahlenwerte gröber speichert. Q4_K_M ist in diesem Handbuch der übliche Kompromiss zwischen Speicherbedarf und Antwortqualität.
Kontext / Kontextlänge: Wie viel Text aus Frage und Verlauf ein Sprachmodell auf einmal berücksichtigen kann. Eine längere Kontextlänge braucht spürbar mehr Arbeitsspeicher.
KV-Cache: Zwischengespeicherte Rechendaten, die ein Sprachmodell während des Antwortens wiederverwendet. Wächst mit der Kontextlänge und lässt sich bei llama-server gezielt einstellen.
tok/s (Tokens pro Sekunde): Ein grobes Tempo-Maß dafür, wie schnell ein Modell Text erzeugt, ein Token ist ungefähr ein Wortstück. Wenige tok/s fühlen sich im Chat spürbar zäh an.
GPU-Offload (--n-gpu-layers): Wie viele Schichten des Modells auf die GPU statt auf die CPU ausgelagert werden. Der Wert 999 in diesem Handbuch bedeutet: möglichst alles auf die GPU legen.
Chat-Template: Das Format, in dem Fragen und Antworten an ein Sprachmodell übergeben werden. Passt es nicht zum Modell, wirken Antworten wirr oder abgehackt.
Unified Memory: Der gemeinsame Arbeitsspeicher, den sich CPU und GPU im Mac mini M4 teilen. Er ist fest verbaut und lässt sich nachträglich nicht aufrüsten.
Swap (Auslagerung): Wenn der Arbeitsspeicher voll ist, lagert macOS Daten auf die SSD aus. Für ein Sprachmodell bedeutet das einen deutlichen Tempoverlust.