Echte Frage an alle hier: Würdet ihr an einer Reihe über LLM-Inferenzoptimierung interessiert sein? Ich denke an Dinge wie: - Wie Quantisierung tatsächlich funktioniert (GGUF vs AWQ vs bitsandbytes, einfach erklärt, ohne Schnickschnack) - Ollama vs vLLM für lokale Bereitstellung und wann man welches verwenden sollte - Spekulative Dekodierung: 2-3x Geschwindigkeitssteigerungen ohne Qualitätsverlust - KV-Cache und Prompt-Caching - Strukturierte Ausgabegenerierung - Benchmarking und Profiling von LLM-Inferenz Wenn das euch helfen oder eure Neugier wecken würde, antwortet einfach mit eurem Hauptinteresse oder ob ihr mit dieser Idee einverstanden oder nicht einverstanden seid. Wenn genug Leute dabei sind, starte ich das im neuen Jahr.