Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Awni Hannun
AI @apple
Exploração interessante da inferência distribuída em hardware heterogéneo. Incluindo o silício da Apple com MLX:
2/08, 21:00
A inteligência tem estado encerrada em jardins murados. Hoje, estamos a abrir os portões.
O Parallax agora funciona em modo Híbrido, com Macs e GPUs a servirem grandes modelos juntos numa estrutura verdadeiramente distribuída.
15,39K
A superinteligência no seu bolso vai acontecer. E se você quiser acelerar o cronograma, entre em contato comigo.
Estamos a trabalhar nisso em todos os níveis com o MLX.
6/08, 07:48
em breve, algo mais inteligente do que a pessoa mais inteligente que você conhece estará rodando em um dispositivo no seu bolso, ajudando você com o que quer que precise.
isto é uma coisa muito notável.
61,27K
A superinteligência no seu bolso vai acontecer. E se você quiser acelerar o cronograma, entre em contato comigo.
Estamos a trabalhar nisso em todas as camadas com a MLX.
6/08, 07:48
em breve, algo mais inteligente do que a pessoa mais inteligente que você conhece estará rodando em um dispositivo no seu bolso, ajudando você com o que quer que precise.
isto é uma coisa muito notável.
200
Acabei de começar a brincar com isso, mas o modelo parece ótimo até agora.
Mas também tem algumas idiossincrasias de implementação:
- Um novo protocolo de chat
- Disponível apenas na quantização fp4
- Um sink de atenção que meio que quebra a atenção fundida
Modelos abertos evoluem rapidamente e me pergunto quanto tempo investir no suporte a essas funcionalidades? A OpenAI vai abrir mais modelos?
6/08, 12:43
O novo MoE de 120B da OpenAI funciona bem no mlx-lm em um M3 Ultra.
Executando a quantização de 8 bits:
172
Top
Classificação
Favoritos