Tagesausgabe
Der Fokus des Tages liegt auf der Optimierung lokaler Inferenz-Engines, die es ermöglichen, große Mixture-of-Experts-Modelle effizient auf Consumer-Hardware auszuführen. Neue Tools und Patches beschleunigen den Start von Agent-Sessions und verbessern die Geschwindigkeit bei begrenztem VRAM. Parallel dazu erscheinen akademische Arbeiten, die sich mit kognitiven Architekturen und Problemen im Reinforcement Learning befassen.
Automatisch erstellt aus öffentlichen Quellen, kann Fehler enthalten. Die Kurzfassungen sind eigene Formulierungen, maßgeblich ist der verlinkte Originalartikel.
tandem.cpp ist ein Patch-Set für llama.cpp, das MoE-Modelle beschleunigt, die nicht vollständig in den VRAM passen, indem häufig genutzte Experten auf der GPU belassen und der Rest auf die CPU ausgelagert wird. Auf einer RTX 4090 mit 64 GB RAM wurden 97 tok/s für Qwen3.8-Flash-Next gemessen.
r/LocalLLaMAAcht Agents mit je 250K Kontextlänge laufen parallel auf zwei RTX 3090-GPUs und erreichen zusammen über 600 tok/s. Das Setup demonstriert die Möglichkeit, mehrere Coding- oder Analyse-Agenten gleichzeitig lokal auszuführen.
r/LocalLLaMADurch einen Patch für Strata konnten Agent-Sessions von DeepSeek V4.1 auf Standard-Gaming-GPUs 20-mal schneller gestartet werden. Dies reduziert den Bedarf an spezialisierten Datacenter-Hardware für bestimmte lokale Workflows.
r/LocalLLaMAGLM-5.3-Flash (MoE, 320B total, 18B aktiv) läuft lokal auf H200-Servern und übernimmt zunehmend Coding-Aufgaben, während GPT-6.1 Sol die Orchestration steuert. Das Setup nutzt OpenCode und bietet ein 512K-Kontextfenster.
r/LocalLLaMAEin Paper untersucht, ob der Weg zum AGI davon abhängt, was das intuitive System-1 dem analytischen System-2 erlaubt, auszuführen. Es hinterfragt die reine Skalierung von Ressourcen und Modellen zugunsten einer besseren Interaktion zwischen kognitiven Systemen.
HF Daily PapersDie Inferenz-Engine Infernix wurde aktualisiert und ist nun speziell für die Ausführung neuester Qwen-Architektur-Modelle auf RTX 5090-Grafikkarten optimiert. Das Update umfasst Verbesserungen für Windows und Linux.
r/LocalLLaMAllama.cpp hat zehn neue Builds (b12023–b12033) veröffentlicht, die unter anderem numpy-Abhängigkeiten korrigieren und initialen iq3-Support für OpenCL hinzufügen. Weitere Änderungen betreffen SYCL und LevelZero-Includes.
llama.cpp ReleasesEin Nutzer berichtet von guten Ergebnissen mit Qwen 3.8 Flash Next im NVFP4-Format auf einer RTX 5090 und 64 GB RAM unter Verwendung der Inferenz-Engine Basalt. Die Kombination aus Geschwindigkeit und Intelligenz wird als überzeugend beschrieben.
r/LocalLLaMAMit einer einzelnen RTX 3090 Ti und 128 GB RAM werden hohe Decode-Raten für Deepseek-V4.1-Flash (35 tok/s) und Qwen3.8-Flash-Next (130 tok/s) erzielt. Der Beitrag betont die verbesserte Leistungsfähigkeit aktueller Modelle im Vergleich zu älteren Setups.
r/LocalLLaMAEin Tool namens 'braindead-local-intelligence' wird vorgestellt, um lokale KI einfach zu testen. Der Fokus liegt auf der einfachen Nutzung lokaler Modelle.
LobstersDas Paper 'CaPtain' beschreibt eine Pipeline für das Post-Training von Roboter-Agenten, die Code als Policy nutzen. Es kombiniert Supervised Fine-Tuning mit Multi-Turn Reinforcement Learning.
HF Daily PapersDas Paper analysiert das Training-Inference Mismatch im Reinforcement Learning für LLMs. Es untersucht Diskrepanzen zwischen Sampling während des Trainings und Inferenz.
HF Daily Papers