Zum Inhalt springen
Lokale KI lernen

Druckansicht: Das passende lokale Modell auswählen

Diese Ansicht enthält alle bisher produzierten Lektionen des Moduls in Lesereihenfolge. Über den Druckdialog deines Browsers («Als PDF speichern») erhältst du eine PDF-Datei.

Lokale KI lernen · Kernmodul 3

Das passende lokale Modell auswählen

Modellfamilien vergleichen und die richtige Wahl treffen.

Stand: 4. Juli 2026

Lektion 1: Systematisch wählen statt raten

Entscheidungslektion· ca. 30 Minuten · Lernziel: Du wählst Modelle anhand eines festen Kriterienrasters und weisst für jede Speicherklasse, in welcher Modellgrösse du suchen musst.

Das Prinzip: Klasse vor Namen

Konkrete Modellnamen veralten in Monaten — das Auswahlraster dieser Lektion nicht. Du legst zuerst die Klasse fest (Grösse, Quantisierung, Modellart), dann erst suchst du innerhalb der Klasse nach aktuellen Kandidaten (dafür gibt es den Modell-Finder und später den Technologiekatalog).

Das Kriterienraster

Gehe die sechs Fragen in dieser Reihenfolge durch — jede filtert Kandidaten aus:

  1. Aufgabe: Chat/Schreiben → Instruct. Logik/Planung → Reasoning. Bilder verstehen → Vision. Dokumentensuche → Embedding (zusätzlich). Programmieren → Coding-Varianten. (Die Modellarten kennst du aus KM1.)
  2. Hardware: Dein Speicher setzt die Obergrenze — Tabelle unten.
  3. Sprache: Für Deutsch sind grosse europäische und chinesische Familien oft stark; verlässlich zeigt es nur der eigene Test (Mission 2 — dein Prüfungsbogen!).
  4. Tempo-Anspruch: Dauereinsatz und Agenten brauchen flotte Modelle (kleiner wählen); für gelegentliche Qualitätsarbeit darf es das grösste sein, das noch passt.
  5. Lizenz: Für privates Lernen fast immer unkritisch. Kommerzielle Nutzung: Lizenz vor dem Einsatz lesen — «Open Weights» (Gewichte frei herunterladbar) ist nicht automatisch «beliebig nutzbar»; manche Familien haben Nutzungsauflagen.
  6. Datenschutz: Lokal ist lokal — beim reinen Modell gibt es keinen Abfluss (dein Flugzeugmodus-Beweis aus Mission 1). Achtung eher bei Zusatzfunktionen der Programme (Websuche, Cloud-Fallbacks): bewusst ein- oder ausschalten.

Empfehlungsklassen nach Speicher

Richtwerte bei Q4, mit Luft für Kontext und System (Herleitung: KM2). RAM-Spalte gilt für Geräte ohne eigene GPU, VRAM/Unified für Modelle, die ganz auf der GPU bzw. im gemeinsamen Speicher laufen:

Dein Speicher Suchklasse (RAM/CPU) Suchklasse (VRAM/Unified)
8 GB 1–3B 3–4B (bei 6–8 GB VRAM)
16 GB 3–4B, mutig: 7–8B 7–8B (bei 12 GB), 14B (bei 16 GB)
32 GB 7–14B 14–32B (bei 24 GB)
64 GB 14–32B 32–70B (Unified)
128 GB+ 32–70B 70B+ (Unified/Multi-GPU)

Der Entscheidungsbaum in Kurzform

Aufgabe bestimmen → Modellart fixiert · Speicher nachschlagen → Grössenklasse fixiert · Q4 als Start (KM1-Regel) · zwei Kandidaten verschiedener Familien laden → Prüfungsbogen aus Mission 2 → Standard küren. Bei Enttäuschung: erst Quantisierung/Grösse variieren, dann Familie wechseln.

Kurz geprüft

3 Fragen zum Festigen — Feedback kommt sofort.

Warum empfiehlt der Kurs Klassen («7–8B, Q4, Instruct») statt konkreter Modellnamen?
32 GB RAM, keine GPU, Aufgabe: lange deutsche Berichte zusammenfassen. Wo suchst du?
Du willst ein Modell in ein kommerzielles Produkt einbauen. Was prüfst du zwingend vorher?

Das kann ich jetzt

  • Ich wende das Sechs-Fragen-Raster an: Aufgabe, Hardware, Sprache, Tempo, Lizenz, Datenschutz.
  • Ich schlage meine Suchklasse in der Speichertabelle nach — für RAM- und VRAM-Betrieb.
  • Ich kombiniere das Raster mit dem Mission-2-Prüfungsbogen zu einer belastbaren eigenen Wahl.

Nächster Schritt: «Modellfamilien und Benchmarks richtig lesen» — wer baut die Modelle, und was taugen Ranglisten?

Lektion 2: Modellfamilien und Benchmarks richtig lesen

Erklärlektion· ca. 25 Minuten · Lernziel: Du kennst die wichtigsten offenen Modellfamilien, kannst Modellkarten lesen und Benchmark-Zahlen kritisch einordnen.

Die grossen offenen Familien

Diese Übersicht nennt die etablierten Familien und ihren Charakter — bewusst ohne Versionsnummern und Ranglistenplätze, denn die ändern sich laufend. Aktuelle Kandidaten samt Prüfdatum liefert der Technologiekatalog (Einordnung der Tabelle: etablierte Familienprofile, Stand Kurserstellung Juli 2026; Status: plausibel, per Websuche grob bestätigt, nicht jede Familie selbst getestet).

Familie Herkunft Bekannt für
Llama Meta (USA) der Wegbereiter offener Modelle; riesiges Ökosystem, viele Grössen
Qwen Alibaba (China) breite Grössenpalette, stark bei Mehrsprachigkeit und Code
Mistral Mistral AI (Frankreich) effiziente Modelle, europäischer Anbieter, gute EU-Sprachen
Gemma Google (USA) kompakte Modelle mit starker Qualität pro Grösse
Phi Microsoft (USA) sehr kleine Modelle, erstaunlich fähig für ihre Grösse
DeepSeek DeepSeek (China) offene Reasoning-Pioniere, starke Logik
Granite IBM (USA) auf Unternehmens- und Agenten-Einsatz ausgerichtet

Dazu kommen Spezialisten-Familien für Embeddings, Spracherkennung (Whisper-Umfeld), Sprachausgabe und Bildgenerierung — sie tauchen in den passenden Modulen auf.

Die Modellkarte: der Beipackzettel

Jedes seriöse Modell hat eine Modellkarte (englisch model card) — die Produktseite beim Anbieter bzw. auf Hugging Face. Lies darin gezielt vier Dinge: Grösse und Varianten (welche Parameterzahlen, welche Quantisierungen), Sprachen (ist Deutsch ausdrücklich dabei?), Kontextlänge (wie viel passt hinein?) und Lizenz (was darfst du damit?). Fünf Minuten Modellkarte ersparen dir Stunden Fehlversuche.

Benchmarks: nützlich, aber mit drei Fussnoten

Benchmarks sind standardisierte Testaufgaben (Wissen, Logik, Mathematik, Code), deren Prozentwerte Modelle vergleichbar machen sollen. Nützlich als Vorauswahl — aber:

  1. Teaching to the test. Benchmark-Aufgaben sind öffentlich; Trainingsdaten können sie enthalten. Ein Spitzenwert kann Auswendiglernen statt Können bedeuten.
  2. Dein Fall kommt nicht vor. «Deutsche Verwaltungs-E-Mail, freundlich kürzen» steht in keinem Benchmark. Englische Logik-Scores sagen darüber wenig.
  3. Quantisierung fehlt. Getestet wird meist das unkomprimierte Modell — du fährst Q4. Der Abstand zweier Modelle kann nach Quantisierung anders aussehen.

Deshalb die Kursregel: Benchmarks für die Vorauswahl (grober Filter), dein Prüfungsbogen aus Mission 2 für die Entscheidung.

Vertiefung: Warum «Open Weights» nicht «Open Source» ist

Bei offenen Modellen bekommst du die fertigen Gewichte — nicht die Trainingsdaten und selten den vollständigen Trainingscode. Das ist, als bekämst du den gebackenen Kuchen, aber nicht das Rezept. Für die Nutzung ist das meist egal; für die Beurteilung («womit wurde trainiert?») und manche Lizenzfragen nicht. Die präzise Bezeichnung ist darum «Open Weights», auch wenn umgangssprachlich alle «Open Source» sagen.

Kurz geprüft

3 Fragen zum Festigen — Feedback kommt sofort.

Ein Modell führt eine Benchmark-Rangliste an. Was folgt daraus für dich?
Welche vier Angaben liest du zuerst in einer Modellkarte?
Warum ist «Open Weights» die genauere Bezeichnung als «Open Source»?

Das kann ich jetzt

  • Ich kenne die etablierten offenen Modellfamilien und ihren Grundcharakter.
  • Ich lese Modellkarten mit dem Vier-Punkte-Blick (Grösse, Sprachen, Kontext, Lizenz).
  • Ich nutze Benchmarks als Filter — und entscheide mit dem eigenen Prüfungsbogen.

Nächster Schritt: Der Modell-Finder giesst dein neues Wissen in ein interaktives Werkzeug.