Tôi nghĩ điều này thật ấm lòng. Sự cô đơn là một vấn đề lớn ngày nay.

Internet đã giúp cho phần đuôi dài. AI sẽ là điều ngược lại trong 3-5 năm tới.

Danh sách thời gian của các công ty VC tốt nhất thật thú vị. Founders Fund #37 Benchmark #56 Greenoaks #114 First Round #174 Sutter Hill #176 với tỷ lệ tăng trưởng hàng năm (CAGR) trên 60% trong 20 năm qua. Họ cũng dường như không biết đến sự tồn tại của Sequoia. Kiểm tra xong.

Ngày càng tin rằng việc điền trước và giải mã sẽ xuất hiện như những thị trường riêng biệt trong suy diễn. Các hệ thống khác nhau sẽ được sử dụng cho mỗi loại; rõ ràng là chúng sẽ phải làm việc cùng nhau. Có lẽ còn khoảng 18 tháng nữa.

Vốn hóa thị trường chia cho phân bổ CoWoS thì thú vị. Thông thường mất ba thế hệ để một ASIC có được sự thu hút thực sự.

Quan trọng là nhớ rằng Grok-4, GPT5, Opus 4.1 đều được đào tạo trên GPU Hopper. Hào hứng chờ đợi những mô hình đầu tiên được đào tạo trên Blackwell trong sáu tháng tới.

Thật vui khi được tham gia @theallinpod Rất vui được gặp Ben và Phil. Còn bao nhiêu nữa thì tôi mới có một chai tequila?

Hội đồng quản trị là vấn đề quản lý tại Intel, không phải là CEO.

Với tầm quan trọng to lớn - và ngày càng tăng - của việc tính toán trong thời gian kiểm tra và RL sau đào tạo được thể hiện qua sự thống trị tuyệt đối của Grok-4, việc trở thành nhà sản xuất token với chi phí thấp hơn bao giờ hết là điều quan trọng hơn bao giờ hết. Nhân tiện, đây là lần đầu tiên trong sự nghiệp của tôi với tư cách là một nhà đầu tư công nghệ mà việc trở thành nhà sản xuất với chi phí thấp của bất kỳ thứ gì lại có ý nghĩa. Hiện nay, những nhà sản xuất token có chi phí thấp nhất là Google (TPUs) và xAI (cụm đồng nhất lớn nhất, chi phí vốn thấp nhất trên mỗi GPU được triển khai, gần như chắc chắn có MFU cao nhất và đã đưa ra một số quyết định kiến trúc rất thông minh). Tôi rõ ràng có thiên kiến khi nói về xAI. Từ góc độ kỹ thuật thuần túy, việc có mạng lưới mở rộng tốt nhất và việc tải KV cache hiệu quả nhất là điều quan trọng nhất đối với cả chi phí và độ trễ cho các mô hình và cửa sổ ngữ cảnh ngày càng lớn. Đây là những trục cạnh tranh quan trọng nhất trong cơ sở hạ tầng AI ngày nay - không phải tính toán. Lưu ý rằng băng thông bộ nhớ trên gói là quan trọng nhất khi bạn có thể đặt mô hình trên một chip duy nhất (@cerebras) nhưng đối với bất kỳ mô hình thực sự lớn nào cần nhiều gói, việc mở rộng và tải KV cache là quan trọng nhất. Như mọi người làm việc trên ASIC đang dần hiểu. Đó là lý do tại sao Dynamo và việc mã nguồn mở NVLink đều quan trọng và thông minh. Điều sau có thể dẫn đến việc chia sẻ ASIC chuyển sang các đối tác NVLink ngày càng nhiều. Chưa kể đến lợi ích thương lượng tự nhiên của việc có một nhà cung cấp thứ hai. Có khả năng sẽ thấy nhiều điều như vậy trong ý kiến của tôi:

Giả thuyết độ tin cậy trung bình: trong 3 năm nữa Trainium, TPU và Dojo sẽ là những ASIC duy nhất còn tồn tại.