Khó nói nó sẽ ảnh hưởng đến lợi nhuận của họ như thế nào, nhưng bộ vi xử lý mới "Halo Strix" của AMD hiện là hệ thống tốt nhất cho bất kỳ ai muốn chạy một LLM cục bộ.
Có thể mua một trong những cái này với 128GB RAM chỉ khoảng $1.5k tổng cộng và nó sẽ chạy các mô hình vừa/lớn như gpt-oss 120B một cách hoàn hảo.
Để tham khảo, một chiếc Nvidia 5090 ( mà không có phần còn lại của PC) có giá từ $2-3k và không thể chạy được toàn bộ mô hình đó.
Một chiếc mac mini với 64GB RAM có giá 2k và cũng không thể chạy được mô hình đầy đủ đó.
Một mac studio với 128GB RAM có thể chạy nó nhưng có giá 3,7k đô la
Xem bản gốc