Duy Minh
Well-known member
Qualcomm sẽ đưa mô hình ngôn ngữ lớn Llama 2 của của Meta lên smartphone và máy tính sử dụng chip của hãng từ 2024.
Hiện nay mô hình AI ngôn ngữ lớn (LLM) chủ yếu chạy trên hệ thống máy chủ mạnh và sử dụng GPU của Nvidia, do đòi hỏi nhu cầu lớn về sức mạnh tính toán và dữ liệu. Trong khi đó, các nhà sản xuất chip hàng đầu cho điện thoại và PC bị bỏ lỡ xu hướng mới.
Qualcomm muốn thay đổi điều đó. Họ đặt mục tiêu các mô hình ngôn ngữ lớn có thể chạy trên smartphone thay vì trên đám mây trong các trung tâm dữ liệu lớn. Nếu thành công, điều này sẽ làm giảm đáng kể chi phí vận hành AI và mở ra kỷ nguyên của những trợ lý AI trên điện thoại.
View attachment 8596
Qualcomm cho biết sẽ trang bị Llama 2 mã nguồn mở trên thiết bị sử dụng chip của hãng. Llama 2 có thể thực hiện nhiều tác vụ giống ChatGPT nhưng được chia thành các chương trình nhỏ khác nhau để có thể hoạt động trên smartphone.
Chip của Qualcomm tích hợp một bộ xử lý TPU, phù hợp cho việc tính toán AI mà mô hình ngôn ngữ lớn cần, nhưng sức mạnh của nó không thể so với một trung tâm dữ liệu chứa các GPU hiện đại.
Llama 2 của Meta là mô hình ngôn ngữ lớn đang rất được quan tâm vì là mã nguồn mở, cho phép các doanh nghiệp điều chỉnh cách thức hoạt động theo nhu cầu mà không cần xin phép hoặc trả tiền. Trong khi đó, GPT-4 của OpenAI hay Bard của Google là nguồn đóng và được giữ bí mật.
Hiện nay mô hình AI ngôn ngữ lớn (LLM) chủ yếu chạy trên hệ thống máy chủ mạnh và sử dụng GPU của Nvidia, do đòi hỏi nhu cầu lớn về sức mạnh tính toán và dữ liệu. Trong khi đó, các nhà sản xuất chip hàng đầu cho điện thoại và PC bị bỏ lỡ xu hướng mới.
Qualcomm muốn thay đổi điều đó. Họ đặt mục tiêu các mô hình ngôn ngữ lớn có thể chạy trên smartphone thay vì trên đám mây trong các trung tâm dữ liệu lớn. Nếu thành công, điều này sẽ làm giảm đáng kể chi phí vận hành AI và mở ra kỷ nguyên của những trợ lý AI trên điện thoại.
View attachment 8596
Qualcomm cho biết sẽ trang bị Llama 2 mã nguồn mở trên thiết bị sử dụng chip của hãng. Llama 2 có thể thực hiện nhiều tác vụ giống ChatGPT nhưng được chia thành các chương trình nhỏ khác nhau để có thể hoạt động trên smartphone.
Chip của Qualcomm tích hợp một bộ xử lý TPU, phù hợp cho việc tính toán AI mà mô hình ngôn ngữ lớn cần, nhưng sức mạnh của nó không thể so với một trung tâm dữ liệu chứa các GPU hiện đại.
Llama 2 của Meta là mô hình ngôn ngữ lớn đang rất được quan tâm vì là mã nguồn mở, cho phép các doanh nghiệp điều chỉnh cách thức hoạt động theo nhu cầu mà không cần xin phép hoặc trả tiền. Trong khi đó, GPT-4 của OpenAI hay Bard của Google là nguồn đóng và được giữ bí mật.