Zum Inhalt springen
Lokale KI lernen
Modul 3: Entscheidungslektion

Systematisch wählen statt raten

Ein Auswahlraster, das nicht veraltet: Aufgabe, Sprache, Hardware, Lizenz, Datenschutz — und Empfehlungsklassen für jede Speichergrösse.

Dauer
ca. 30 Minuten
Lernziel
Du wählst Modelle anhand eines festen Kriterienrasters und weisst für jede Speicherklasse, in welcher Modellgrösse du suchen musst.
Voraussetzungen
Kernmodul 1 und 2 · ideal: Mission 2 (eigener Modellvergleich)

Das Prinzip: Klasse vor Namen

Konkrete Modellnamen veralten in Monaten — das Auswahlraster dieser Lektion nicht. Du legst zuerst die Klasse fest (Grösse, Quantisierung, Modellart), dann erst suchst du innerhalb der Klasse nach aktuellen Kandidaten (dafür gibt es den Modell-Finder und später den Technologiekatalog).

Das Kriterienraster

Gehe die sechs Fragen in dieser Reihenfolge durch — jede filtert Kandidaten aus:

  1. Aufgabe: Chat/Schreiben → Instruct. Logik/Planung → Reasoning. Bilder verstehen → Vision. Dokumentensuche → Embedding (zusätzlich). Programmieren → Coding-Varianten. (Die Modellarten kennst du aus KM1.)
  2. Hardware: Dein Speicher setzt die Obergrenze — Tabelle unten.
  3. Sprache: Für Deutsch sind grosse europäische und chinesische Familien oft stark; verlässlich zeigt es nur der eigene Test (Mission 2 — dein Prüfungsbogen!).
  4. Tempo-Anspruch: Dauereinsatz und Agenten brauchen flotte Modelle (kleiner wählen); für gelegentliche Qualitätsarbeit darf es das grösste sein, das noch passt.
  5. Lizenz: Für privates Lernen fast immer unkritisch. Kommerzielle Nutzung: Lizenz vor dem Einsatz lesen — «Open Weights» (Gewichte frei herunterladbar) ist nicht automatisch «beliebig nutzbar»; manche Familien haben Nutzungsauflagen.
  6. Datenschutz: Lokal ist lokal — beim reinen Modell gibt es keinen Abfluss (dein Flugzeugmodus-Beweis aus Mission 1). Achtung eher bei Zusatzfunktionen der Programme (Websuche, Cloud-Fallbacks): bewusst ein- oder ausschalten.

Empfehlungsklassen nach Speicher

Richtwerte bei Q4, mit Luft für Kontext und System (Herleitung: KM2). RAM-Spalte gilt für Geräte ohne eigene GPU, VRAM/Unified für Modelle, die ganz auf der GPU bzw. im gemeinsamen Speicher laufen:

Dein Speicher Suchklasse (RAM/CPU) Suchklasse (VRAM/Unified)
8 GB 1–3B 3–4B (bei 6–8 GB VRAM)
16 GB 3–4B, mutig: 7–8B 7–8B (bei 12 GB), 14B (bei 16 GB)
32 GB 7–14B 14–32B (bei 24 GB)
64 GB 14–32B 32–70B (Unified)
128 GB+ 32–70B 70B+ (Unified/Multi-GPU)

Der Entscheidungsbaum in Kurzform

Aufgabe bestimmen → Modellart fixiert · Speicher nachschlagen → Grössenklasse fixiert · Q4 als Start (KM1-Regel) · zwei Kandidaten verschiedener Familien laden → Prüfungsbogen aus Mission 2 → Standard küren. Bei Enttäuschung: erst Quantisierung/Grösse variieren, dann Familie wechseln.

Kurz geprüft

3 Fragen zum Festigen — Feedback kommt sofort.

Warum empfiehlt der Kurs Klassen («7–8B, Q4, Instruct») statt konkreter Modellnamen?
32 GB RAM, keine GPU, Aufgabe: lange deutsche Berichte zusammenfassen. Wo suchst du?
Du willst ein Modell in ein kommerzielles Produkt einbauen. Was prüfst du zwingend vorher?

Das kann ich jetzt

  • Ich wende das Sechs-Fragen-Raster an: Aufgabe, Hardware, Sprache, Tempo, Lizenz, Datenschutz.
  • Ich schlage meine Suchklasse in der Speichertabelle nach — für RAM- und VRAM-Betrieb.
  • Ich kombiniere das Raster mit dem Mission-2-Prüfungsbogen zu einer belastbaren eigenen Wahl.

Nächster Schritt: «Modellfamilien und Benchmarks richtig lesen» — wer baut die Modelle, und was taugen Ranglisten?