Windows Powershell & Mac - Terminal
Die Befehle, die ich beim Testfall Seeblick am häufigsten gebraucht habe, auf einer Seite. Für Windows mit Docker und für den Mac.
uf meinem ThinkPad und meinem Alienware laufen Ollama und Open WebUI in Docker. Auf dem Mac mini läuft Ollama als gewöhnliches Programm, nur Open WebUI steckt in Docker. Deshalb unterscheiden sich manche Befehle. Wer den Unterschied nicht kennt, sieht auf dem PC bei ollama ps nur eine Fehlermeldung.
Die Namen der Container heissen bei mir ollama und open-webui. Wie sie auf Ihrem Rechner heissen, zeigt docker ps. Setzen Sie dann Ihre Namen in die Befehle ein.
Terminal öffnen
Läuft alles?
Docker-Befehle zur Überprüfung
Steht ein Container nicht in der Liste von docker ps, läuft er nicht. Die letzten Meldungen zeigen meist, warum.
Modelle verwalten und Auslastung prüfen
| Was ich tun will | Windows mit Docker | Mac |
|---|---|---|
| Welche Modelle sind geladen, und wie viel rechnet die Grafikkarte? | docker exec -it ollama ollama ps | ollama ps |
| Welche Modelle sind installiert? | docker exec -it ollama ollama list | ollama list |
| Ein Modell herunterladen | docker exec -it ollama ollama pull <modell> | ollama pull <modell> |
| Ein Modell löschen | docker exec -it ollama ollama rm <modell> | ollama rm <modell> |
| Auslastung und Speicher der Grafikkarte | nvidia-smi | Aktivitätsanzeige, Menü Fenster, GPU-Verlauf |
ollama ps ist der wichtigste Befehl dieser Seite. In der Spalte PROCESSOR steht, wie sich die Arbeit verteilt: 100% GPU heisst, das Modell passt ganz in den Grafikspeicher. Steht dort etwa 15%/85% CPU/GPU, rechnet ein Teil auf dem Prozessor, und die Antwort dauert länger. Der Befehl zeigt nur Modelle, die gerade geladen sind. Ollama entlädt ein Modell nach einigen Minuten ohne Anfrage, danach bleibt die Liste leer.
Aktualisieren ohne Überraschung
Ein automatisches Update hat mir einmal eine ganze Wissensbasis zerstört. Seither halte ich die Version von Open WebUI fest und starte die Container so, dass Docker nichts Neues herunterlädt.
| Was ich tun will | Windows mit Docker | Mac |
|---|---|---|
| Version festhalten | In der Datei docker-compose.yml beim Image eine Versionsnummer angeben, etwa ghcr.io/open-webui/open-webui:v0.11.4 statt :main | Beim Befehl docker run dasselbe Image mit Versionsnummer angeben |
| Neu starten, ohne etwas herunterzuladen | Im Projektordner: docker compose up -d --pull never | docker restart open-webui |
| Eine Datei aus dem Container holen | docker cp open-webui:<pfad im container> <zielordner> | docker cp open-webui:<pfad im container> <zielordner> |
Vor jedem Update sichere ich die Wissensbasis. Dann erst ändere ich die Versionsnummer und teste mit ein paar Fragen, deren Antwort ich kenne.
Der Spickzettel wächst mit jedem neuen lokalen Test.
Weiterlesen
