🚀 Škálování embeddingů, nejen expertů – zavádění nové cesty pro efektivní LLM. Klíčový závěr: V scénářích s vysokou řídkostí poskytují N-gramové embeddingy lepší Pareto hranici než jen přidání dalších expertů MoE. Proto představujeme LongCat-Flash-Lite – první opensource model postavený na tomto poznatku. ⚙️ 68,5B Celkem parametrů (37,13B bez vložení) | 2.9B~4.5B Active 📊 Vysoký výkon: SWE-Bench 54,4 | τ²-Bench 72,8 | TerminalBench 33,75 📃 256K kontextové okno (poháněné YARN) ✨ Optimalizováno pro agentickou/programování, silné v obecném uvažování ⚡ ~700 tokenů/s maximální rychlost inference Výsledek: Dosahuje konkurenceschopného výkonu ve svém měřítku za výrazně nižší náklady a latenci. Objímající obličej: Technická zpráva:

🚀 Technická zpráva LongCat-Flash-Thinking-2601 – nyní plně zveřejněná! Klíčové poznatky: 🌍 Velkoplošné agentické RL (14 stran hlubokých ponorů!) 🔹 Škálování prostředí: Podrobný pohled na náš automatizovaný pipeline, který vytváří 10 000+ spustitelných, ověřitelných prostředí napříč 20+ doménami. 🔹 RL infrastruktura: Vylepšený rámec DORA podporující asynchronní trénink s 32 000+ souběžnými prostředími, řeší problémy se stabilitou v dlouhých a vysoce heterogenních úlohách. 🛡️ Odolnost ve volné přírodě 🔹 Injekce hluku: Žádné další "skleníkové" látky. Systematicky analyzujeme skutečný šum (uživatelský/nástrojový šum) a přímo ho vkládáme do trénovací smyčky. 🔹 Curriculum RL: Strategie založená na kurikulu, která postupně zpřísňuje model proti chaotickým, nedokonalým prostředím. 🧠 Rámec těžkého myšlení 🔹 Paralelní uvažování: Rozšiřuje záběr generováním více nezávislých trajektorií uvažování. 🔹 Iterativní shrnutí: Rozšiřuje hloubku pomocí souhrnného modelu k reflexi a syntéze paralelních trajektorií před konečným rozhodnutím. 🔹 Kontextová paměť: Speciálně vytvořený paměťový modul, který udržuje uvažování soudržné i v dlouhodobých horizontech. ⚡ Cikcak pozornost 🔹 Návrh Zigzag Connectivity kombinující MLA + SSA pro snížení výpočetní kapacity při zachování globálního toku informací. 🔹 Přechod na řídké varianty během tréninku přináší zrychlení o 1,5 × a podporuje kontexty s 1M-tokenem — což vytváří základy pro budoucí průlomy v agentickém uvažování s dlouhým kontextem. 🔹 Prozkoumejte: 📊 Dosahuje soty mezi Open-source modely napříč klíčovými agentickými benchmarky: vyhledávání, používání nástrojů, matematické uvažování a programování. Pokud chcete více podrobností, klidně si přečtěte kompletní technickou zprávu. • Papír: • Web: • GitHub: • Objímající obličej:

🚀 Představujeme LongCat-Flash-Thinking-2601 — Verzi vytvořenou pro hluboké a obecné agentické myšlení. ✨ Hlavní body: 🤖 Špičkové agentní schopnosti 🔹 Výkon: Výsledky špičkových benchmarků (TIR / Agentic Search / Agentic Tooluse); vynikající schopnosti zobecňování, překonávající Clauda v složitých, náhodných úkolech 🔹 Env Scaling: Více automaticky vytvořených vysoce kvalitních prostředí; Graf hustých závislostí 🔹 Multi-Env RL: Rozšířená DORA (naše RL infrastruktura), podporující rozsáhlé víceenvironmentální agentické školení 🛡️ Reálná odolnost 🔹 Výkon: Solidní výkon v chaotických, nejistých situacích (Vita-Noise & Tau^2-Noise) 🔹 Analýza šumu: Systematicky analyzovaná skutečná šumová situace v agentických scénářích 🔹 Studijní plán RL: Zvyšování typu hluku a intenzity během tréninku 🎯 Režim těžkého myšlení 🔹 Paralelní myšlení: Rozšiřuje záběr prostřednictvím několika nezávislých směrů uvažování 🔹 Iterativní shrnování: Zvyšuje hloubku použitím souhrnného modelu k syntéze výstupů, podporující iterativní smyčky uvažování 📅 Ještě jedna věc: 1M-tokenový kontext přes Zigzag Attention brzy přijde. 🔍 Vyzkoušejte to teď: ✅ Pro tuto verzi je také dostupný přístup k API. Objímající obličej: GitHub: