Lokale KI lernen · Kernmodul 3
Das passende lokale Modell auswählen
Modellfamilien vergleichen und die richtige Wahl treffen.
Stand: 4. Juli 2026
Lektion 1: Systematisch wählen statt raten
Das Prinzip: Klasse vor Namen
Konkrete Modellnamen veralten in Monaten — das Auswahlraster dieser Lektion nicht. Du legst zuerst die Klasse fest (Grösse, Quantisierung, Modellart), dann erst suchst du innerhalb der Klasse nach aktuellen Kandidaten (dafür gibt es den Modell-Finder und später den Technologiekatalog).
Das Kriterienraster
Gehe die sechs Fragen in dieser Reihenfolge durch — jede filtert Kandidaten aus:
- Aufgabe: Chat/Schreiben → Instruct. Logik/Planung → Reasoning. Bilder verstehen → Vision. Dokumentensuche → Embedding (zusätzlich). Programmieren → Coding-Varianten. (Die Modellarten kennst du aus KM1.)
- Hardware: Dein Speicher setzt die Obergrenze — Tabelle unten.
- Sprache: Für Deutsch sind grosse europäische und chinesische Familien oft stark; verlässlich zeigt es nur der eigene Test (Mission 2 — dein Prüfungsbogen!).
- Tempo-Anspruch: Dauereinsatz und Agenten brauchen flotte Modelle (kleiner wählen); für gelegentliche Qualitätsarbeit darf es das grösste sein, das noch passt.
- Lizenz: Für privates Lernen fast immer unkritisch. Kommerzielle Nutzung: Lizenz vor dem Einsatz lesen — «Open Weights» (Gewichte frei herunterladbar) ist nicht automatisch «beliebig nutzbar»; manche Familien haben Nutzungsauflagen.
- Datenschutz: Lokal ist lokal — beim reinen Modell gibt es keinen Abfluss (dein Flugzeugmodus-Beweis aus Mission 1). Achtung eher bei Zusatzfunktionen der Programme (Websuche, Cloud-Fallbacks): bewusst ein- oder ausschalten.
Empfehlungsklassen nach Speicher
Richtwerte bei Q4, mit Luft für Kontext und System (Herleitung: KM2). RAM-Spalte gilt für Geräte ohne eigene GPU, VRAM/Unified für Modelle, die ganz auf der GPU bzw. im gemeinsamen Speicher laufen:
| Dein Speicher | Suchklasse (RAM/CPU) | Suchklasse (VRAM/Unified) |
|---|---|---|
| 8 GB | 1–3B | 3–4B (bei 6–8 GB VRAM) |
| 16 GB | 3–4B, mutig: 7–8B | 7–8B (bei 12 GB), 14B (bei 16 GB) |
| 32 GB | 7–14B | 14–32B (bei 24 GB) |
| 64 GB | 14–32B | 32–70B (Unified) |
| 128 GB+ | 32–70B | 70B+ (Unified/Multi-GPU) |
Der Entscheidungsbaum in Kurzform
Aufgabe bestimmen → Modellart fixiert · Speicher nachschlagen → Grössenklasse fixiert · Q4 als Start (KM1-Regel) · zwei Kandidaten verschiedener Familien laden → Prüfungsbogen aus Mission 2 → Standard küren. Bei Enttäuschung: erst Quantisierung/Grösse variieren, dann Familie wechseln.
Kurz geprüft
3 Fragen zum Festigen — Feedback kommt sofort.
Das kann ich jetzt
- Ich wende das Sechs-Fragen-Raster an: Aufgabe, Hardware, Sprache, Tempo, Lizenz, Datenschutz.
- Ich schlage meine Suchklasse in der Speichertabelle nach — für RAM- und VRAM-Betrieb.
- Ich kombiniere das Raster mit dem Mission-2-Prüfungsbogen zu einer belastbaren eigenen Wahl.
Nächster Schritt: «Modellfamilien und Benchmarks richtig lesen» — wer baut die Modelle, und was taugen Ranglisten?
Lektion 2: Modellfamilien und Benchmarks richtig lesen
Die grossen offenen Familien
Diese Übersicht nennt die etablierten Familien und ihren Charakter — bewusst ohne Versionsnummern und Ranglistenplätze, denn die ändern sich laufend. Aktuelle Kandidaten samt Prüfdatum liefert der Technologiekatalog (Einordnung der Tabelle: etablierte Familienprofile, Stand Kurserstellung Juli 2026; Status: plausibel, per Websuche grob bestätigt, nicht jede Familie selbst getestet).
| Familie | Herkunft | Bekannt für |
|---|---|---|
| Llama | Meta (USA) | der Wegbereiter offener Modelle; riesiges Ökosystem, viele Grössen |
| Qwen | Alibaba (China) | breite Grössenpalette, stark bei Mehrsprachigkeit und Code |
| Mistral | Mistral AI (Frankreich) | effiziente Modelle, europäischer Anbieter, gute EU-Sprachen |
| Gemma | Google (USA) | kompakte Modelle mit starker Qualität pro Grösse |
| Phi | Microsoft (USA) | sehr kleine Modelle, erstaunlich fähig für ihre Grösse |
| DeepSeek | DeepSeek (China) | offene Reasoning-Pioniere, starke Logik |
| Granite | IBM (USA) | auf Unternehmens- und Agenten-Einsatz ausgerichtet |
Dazu kommen Spezialisten-Familien für Embeddings, Spracherkennung (Whisper-Umfeld), Sprachausgabe und Bildgenerierung — sie tauchen in den passenden Modulen auf.
Die Modellkarte: der Beipackzettel
Jedes seriöse Modell hat eine Modellkarte (englisch model card) — die Produktseite beim Anbieter bzw. auf Hugging Face. Lies darin gezielt vier Dinge: Grösse und Varianten (welche Parameterzahlen, welche Quantisierungen), Sprachen (ist Deutsch ausdrücklich dabei?), Kontextlänge (wie viel passt hinein?) und Lizenz (was darfst du damit?). Fünf Minuten Modellkarte ersparen dir Stunden Fehlversuche.
Benchmarks: nützlich, aber mit drei Fussnoten
Benchmarks sind standardisierte Testaufgaben (Wissen, Logik, Mathematik, Code), deren Prozentwerte Modelle vergleichbar machen sollen. Nützlich als Vorauswahl — aber:
- Teaching to the test. Benchmark-Aufgaben sind öffentlich; Trainingsdaten können sie enthalten. Ein Spitzenwert kann Auswendiglernen statt Können bedeuten.
- Dein Fall kommt nicht vor. «Deutsche Verwaltungs-E-Mail, freundlich kürzen» steht in keinem Benchmark. Englische Logik-Scores sagen darüber wenig.
- Quantisierung fehlt. Getestet wird meist das unkomprimierte Modell — du fährst Q4. Der Abstand zweier Modelle kann nach Quantisierung anders aussehen.
Deshalb die Kursregel: Benchmarks für die Vorauswahl (grober Filter), dein Prüfungsbogen aus Mission 2 für die Entscheidung.
Vertiefung: Warum «Open Weights» nicht «Open Source» ist
Bei offenen Modellen bekommst du die fertigen Gewichte — nicht die Trainingsdaten und selten den vollständigen Trainingscode. Das ist, als bekämst du den gebackenen Kuchen, aber nicht das Rezept. Für die Nutzung ist das meist egal; für die Beurteilung («womit wurde trainiert?») und manche Lizenzfragen nicht. Die präzise Bezeichnung ist darum «Open Weights», auch wenn umgangssprachlich alle «Open Source» sagen.
Kurz geprüft
3 Fragen zum Festigen — Feedback kommt sofort.
Das kann ich jetzt
- Ich kenne die etablierten offenen Modellfamilien und ihren Grundcharakter.
- Ich lese Modellkarten mit dem Vier-Punkte-Blick (Grösse, Sprachen, Kontext, Lizenz).
- Ich nutze Benchmarks als Filter — und entscheide mit dem eigenen Prüfungsbogen.
Nächster Schritt: Der Modell-Finder giesst dein neues Wissen in ein interaktives Werkzeug.