spacy.cloudTech-News
← Zurück

Tagesausgabe

Tech-News

Der Fokus des Tages liegt auf der Optimierung lokaler Inferenz-Engines, die es ermöglichen, große Mixture-of-Experts-Modelle effizient auf Consumer-Hardware auszuführen. Neue Tools und Patches beschleunigen den Start von Agent-Sessions und verbessern die Geschwindigkeit bei begrenztem VRAM. Parallel dazu erscheinen akademische Arbeiten, die sich mit kognitiven Architekturen und Problemen im Reinforcement Learning befassen.

Datum
Mo, 2. Nov 2026
Einträge
12
Quellen
4
Formate
Markdown · JSON

Automatisch erstellt aus öffentlichen Quellen, kann Fehler enthalten. Die Kurzfassungen sind eigene Formulierungen, maßgeblich ist der verlinkte Originalartikel.

Top 5das Wichtigste

  1. 01
    tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE

    tandem.cpp ist ein Patch-Set für llama.cpp, das MoE-Modelle beschleunigt, die nicht vollständig in den VRAM passen, indem häufig genutzte Experten auf der GPU belassen und der Rest auf die CPU ausgelagert wird. Auf einer RTX 4090 mit 64 GB RAM wurden 97 tok/s für Qwen3.8-Flash-Next gemessen.

    r/LocalLLaMA
  2. 02
    8 agents × 250K context, concurrently, on two 3090s (~600+ tok/s total)

    Acht Agents mit je 250K Kontextlänge laufen parallel auf zwei RTX 3090-GPUs und erreichen zusammen über 600 tok/s. Das Setup demonstriert die Möglichkeit, mehrere Coding- oder Analyse-Agenten gleichzeitig lokal auszuführen.

    r/LocalLLaMA
  3. 03
    Sorry Sam, my "quite terrible" home DRAM is at 100% now: patched Strata to make DeepSeek V4.1 agent sessions start 20× faster on a good old standard gaming GPU, no datacenter required

    Durch einen Patch für Strata konnten Agent-Sessions von DeepSeek V4.1 auf Standard-Gaming-GPUs 20-mal schneller gestartet werden. Dies reduziert den Bedarf an spezialisierten Datacenter-Hardware für bestimmte lokale Workflows.

    r/LocalLLaMA
  4. 04
    GLM-5.3-Flash on our H200s does most of my coding now while GPT-6.1 Sol orchestrates (OpenCode setup)

    GLM-5.3-Flash (MoE, 320B total, 18B aktiv) läuft lokal auf H200-Servern und übernimmt zunehmend Coding-Aufgaben, während GPT-6.1 Sol die Orchestration steuert. Das Setup nutzt OpenCode und bietet ein 512K-Kontextfenster.

    r/LocalLLaMA
  5. 05
    Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?

    Ein Paper untersucht, ob der Weg zum AGI davon abhängt, was das intuitive System-1 dem analytischen System-2 erlaubt, auszuführen. Es hinterfragt die reine Skalierung von Ressourcen und Modellen zugunsten einer besseren Interaktion zwischen kognitiven Systemen.

    HF Daily Papers

Lokale LLMs & Open Weights5 Einträge

  1. Infernix - New Release!

    Die Inferenz-Engine Infernix wurde aktualisiert und ist nun speziell für die Ausführung neuester Qwen-Architektur-Modelle auf RTX 5090-Grafikkarten optimiert. Das Update umfasst Verbesserungen für Windows und Linux.

    r/LocalLLaMA
  2. llama.cpp: 10 neue Builds (b12023–b12033)

    llama.cpp hat zehn neue Builds (b12023–b12033) veröffentlicht, die unter anderem numpy-Abhängigkeiten korrigieren und initialen iq3-Support für OpenCL hinzufügen. Weitere Änderungen betreffen SYCL und LevelZero-Includes.

    llama.cpp Releases
  3. Qwen 3.8 Flash Next NVFP4 on 64gb RAM and 5090, Basalt. Ditched windows for it. Very hyped for qwen 4 model family now.

    Ein Nutzer berichtet von guten Ergebnissen mit Qwen 3.8 Flash Next im NVFP4-Format auf einer RTX 5090 und 64 GB RAM unter Verwendung der Inferenz-Engine Basalt. Die Kombination aus Geschwindigkeit und Intelligenz wird als überzeugend beschrieben.

    r/LocalLLaMA
  4. Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode)

    Mit einer einzelnen RTX 3090 Ti und 128 GB RAM werden hohe Decode-Raten für Deepseek-V4.1-Flash (35 tok/s) und Qwen3.8-Flash-Next (130 tok/s) erzielt. Der Beitrag betont die verbesserte Leistungsfähigkeit aktueller Modelle im Vergleich zu älteren Setups.

    r/LocalLLaMA
  5. An easy way to try local AI with braindead-local-intelligence

    Ein Tool namens 'braindead-local-intelligence' wird vorgestellt, um lokale KI einfach zu testen. Der Fokus liegt auf der einfachen Nutzung lokaler Modelle.

    Lobsters

Coding-Tools & Agents1 Eintrag

  1. CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents

    Das Paper 'CaPtain' beschreibt eine Pipeline für das Post-Training von Roboter-Agenten, die Code als Policy nutzen. Es kombiniert Supervised Fine-Tuning mit Multi-Turn Reinforcement Learning.

    HF Daily Papers

Research & Papers1 Eintrag

  1. On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning

    Das Paper analysiert das Training-Inference Mismatch im Reinforcement Learning für LLMs. Es untersucht Diskrepanzen zwischen Sampling während des Trainings und Inferenz.

    HF Daily Papers