Ini selalu bagaimana saya berasumsi LLM akan berfungsi karena inilah cara saya (dan mungkin kebanyakan orang lain) berpikir Saya berasumsi unit dasar pemikiran adalah vektor pemikiran gestalt ini, bukan "kata-kata", dan kita semua telah mengembangkan cara yang sangat cepat untuk menerjemahkannya ke kata-kata karena kata-kata lebih mudah dikomunikasikan daripada potongan pemikiran Ini selalu menjadi masalah saya dengan wacana "beberapa orang tidak memiliki monolog internal!" Tidak masuk akal jika kata-kata menjadi unit dasar yang dipikirkan orang. Ini seperti 1000x lebih cepat untuk berpikir dalam istilah gambar atau potongan pemikiran ini atau apa pun Saya berasumsi sepertinya orang berpikir dengan kata-kata karena ketika mereka menggambarkan apa yang mereka pikirkan kepada orang-orang, mereka harus menerjemahkan potongan pemikiran menjadi kata-kata - karena itulah cara kita berkomunikasi - dan proses ini mengubah pikiran mereka yang sebenarnya menjadi bentuk monolog Tetapi masuk akal untuk berpikir dengan kata-kata ketika Anda perlu mengeluarkan beberapa bentuk komunikasi. Jika tidak, itu tidak terlalu efisien Dan otak manusia sangat efisien
Simplifying AI
Simplifying AI23 Mar, 00.54
🚨 BREAKING: Tencent telah membunuh paradigma "token berikutnya". Tencent dan Tsinghua telah merilis CALM (Continuous Autoregressive Language Models), dan itu benar-benar mengganggu paradigma token berikutnya. LLM saat ini membuang sejumlah besar komputasi untuk memprediksi token tunggal diskrit melalui lapisan softmax kosakata yang sangat besar. Ini lambat dan skala yang buruk. CALM melewati kosakata sepenuhnya. Ini menggunakan autoencoder fidelitas tinggi untuk mengompres potongan teks menjadi vektor kontinu tunggal dengan akurasi rekonstruksi 99,9%. Model sekarang memprediksi "vektor berikutnya" dalam ruang kontinu. Angka-angkanya sebenarnya gila: - Setiap langkah generatif sekarang membawa 4× bandwidth semantik. - Komputasi pelatihan berkurang sebesar 44%. - Kemacetan softmax benar-benar dihilangkan. Kami benar-benar menyaksikan model bahasa berkembang dari mengetik simbol diskrit menjadi streaming pikiran terus menerus. Ini mengubah seluruh lintasan AI.
Saya hanya mengomentari mekanisme yang dijelaskan di sini btw, bukan teknologi sebenarnya dari tencent atau apa pun Saya berasumsi beralih dari vektor ke token akan sangat lambat/tidak efisien untuk waktu yang lama dan saya ragu ini MEMEREVOLUSI AI atau apa pun dalam jangka pendek
294