Penso che HBF sia sopravvalutato. In alcune parti, se si effettuano ulteriori e significative modifiche al software, potrebbe non essere inutilizzabile, ma affermare che possa sostituire HBM o che il mercato sia di dimensioni maggiori è pura fantasia. Se come scritto qui si tratta solo di caricare dati, non si tratterebbe di kv, ma di bias e pesi dello stesso modello, e in tal caso sarebbe estremamente scomodo da usare. [Notizie] Secondo gli esperti, HBF potrebbe essere integrato nelle GPU NVIDIA entro il 2027-28, e il mercato potrebbe superare HBM entro il 2038. Con l'aumento del carico di lavoro AI, la diffusione dell'High Bandwidth Flash (HBF) sta accelerando, e gli esperti prevedono una commercializzazione più rapida del previsto. Secondo il Sisa Journal, il professor Kim Jong-ho della KAIST, ampiamente conosciuto come il "padre di HBM", ha suggerito che Samsung Electronics e SanDisk pianificano di integrare HBF nei prodotti di NVIDIA, AMD e Google entro la fine del 2027 o all'inizio del 2028. Come indicato nel rapporto, il professor Kim ha aggiunto che, mentre lo sviluppo di HBM richiede oltre 10 anni, le aziende stanno già utilizzando l'expertise accumulata nei processi e nei design di HBM per avviare lo sviluppo di HBF, il che significa che HBF potrebbe essere commercializzato molto più rapidamente. Inoltre, Kim prevede che l'adozione di HBF si espanderà intorno all'introduzione di HBM6, e che entro il 2038 il mercato di HBF potrebbe superare HBM. Secondo Kim, HBM6 non sarà un singolo stack di memoria, ma più stack interconnessi come in un condominio. Con HBM basato su DRAM che affronta limiti di capacità, Kim ritiene che emergerà HBF basato su stack NAND per colmare quel divario. Il ruolo di HBF nell'inferenza AI e nell'architettura di sistema Riguardo al ruolo di HBF nei carichi di lavoro AI, Kim spiega che la GPU prima ottiene i dati variabili da HBM durante l'inferenza, li elabora e genera un output. Kim crede che in futuro HBF assumerà questo ruolo e fornirà capacità significativamente maggiori per supportare i compiti. HBM è veloce, ma HBF offre circa 10 volte la capacità. Come indicato nel rapporto, Kim sottolinea che HBF supporta cicli di lettura illimitati, mentre i cicli di scrittura sono limitati a circa 100.000, quindi il software di aziende come OpenAI e Google deve essere ottimizzato per operazioni a lettura intensiva. Kim aggiunge che il processo attuale di fornitura di dati alle GPU include un lungo percorso di trasmissione attraverso reti di archiviazione, processori di dati e pipeline GPU. In futuro, immagina un'architettura più snella che possa elaborare direttamente i dati dietro HBM. Questa struttura, prevista per HBM7, è talvolta chiamata "fabbrica di memoria". Samsung e SK Hynix spingono lo sviluppo di HBF Come evidenziato nel rapporto, SK Hynix prevede di rilasciare una versione dimostrativa di HBF entro la fine di questo mese. Inoltre, Samsung Electronics e SK Hynix hanno firmato un memorandum d'intesa (MOU) per promuovere la standardizzazione di HBF con SanDisk, e attualmente stanno portando avanti i loro sforzi attraverso un consorzio congiunto. Entrambe le aziende stanno attivamente sviluppando prodotti HBF, puntando a un lancio sul mercato nel 2027. Secondo fonti del settore citate nel rapporto, si stima che HBF possa raggiungere una larghezza di banda superiore a 1.638 GB/s, un notevole balzo rispetto ai normali SSD che forniscono circa 7.000 MB/s tramite NVMe PCIe 4.0. Per quanto riguarda la capacità, si prevede che HBF raggiunga un massimo di 512 GB, superando di gran lunga i 64 GB di HBM4.