My Ollama: Einrichtung und Integration in CodeGPT

Ollama ist eine leistungsstarke Lösung, um KI-Modelle lokal auszuführen und über eine API bereitzustellen. In diesem Artikel zeige ich, wie ich Ollama erfolgreich auf meinem Mac eingerichtet habe, nachdem sich eine Docker-basierte Lösung (bei mir) als zu langsam erwiesen hat. Außerdem erkläre ich die Integration mit der VSCode-Erweiterung CodeGPT.

„Vorsicht“: Ich hab das bisher nur soweit ausprobiert, wie es hier steht – Praxiserfahrung fehlt noch.

Problem: Docker-basierte Lösung war zu langsam

Meine erste Variante basierte auf einem Docker-Setup mit einer docker-compose-Datei von valiantlynx/ollama-docker. Trotz Zuweisung von 3–4 CPUs (keine GPUs) lief die Lösung bei mir extrem langsam und war praktisch nicht nutzbar. Daher habe ich auf meinem Mac eine alternative Konfiguration ausprobiert – mit großem Erfolg.

Lösung: Ollama auf dem Mac mit Docker

Die Einrichtung auf dem Mac war vergleichsweise einfach und brachte eine erhebliche Leistungssteigerung. Hier die Schritte:

Installation

Docker-Login für das Container-Image:
```
docker login ghcr.io
```
Start des Containers:
```
docker run --restart always -d \
 --add-host=host.docker.internal:host-gateway \
 -p 8080:8080 \
 -v open-webui:/app/backend/data \
 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
 --name open-webui ghcr.io/open-webui/open-webui:main
```
Wichtig:
- Der Parameter --add-host=host.docker.internal:host-gateway ist essenziell, damit der Container Zugriff auf den Host-Port 11434 erhält.
- Der Netzwerkmodus host darf nicht verwendet werden, da der Port sonst vom Mac aus nicht erreichbar ist.
Ergebnis:
Die Performance ist nun vergleichbar mit ChatGPT – deutlich schneller als die erste Variante.

Integration in VSCode mit CodeGPT

Mit CodeGPT lässt sich Ollama nahtlos in VSCode integrieren, um ein individuelles Copilot-Modell zu nutzen. So geht’s:

Modell erstellen:
Erstelle ein Verzeichnis für das Modell:
```
mkdir Projects/codellama
vi Projects/codellama/Modelfile
```
Füge den Inhalt der Modelfile aus diesem Blog ein.

Modell laden und starten:

ollama create codegpt-codellama -f Projects/codellama/Modelfile
# ollama list
# ollama run codegpt-codellama

Konfiguration in CodeGPT:
Wähle in der VSCode-Erweiterung CodeGPT den Provider ollama und das Modell codegpt-codellama.

Prinzip hinter Ollama

Ollama arbeitet immer nach folgendem Schema:

Eine Model-Engine (z.B. WebUI) läuft lokal und stellt die API unter Port 11434 bereit.
Das eigentliche Modell muss vorab heruntergeladen werden. Eine umfangreiche Bibliothek findet sich hier: Ollama Library.

nerdblog