Việc chạy các mô hình AI lớn cục bộ trên điện thoại thông minh hoặc máy tính xách tay có thể khả thi sau khi thuật toán nén mới cắt giảm kích thước của chúng — nghĩa là dữ liệu của bạn không bao giờ rời khỏi thiết bị của bạn.
Các mô hình trí tuệ nhân tạo (AI) mạnh mẽ như ChatGPT vốn đòi hỏi lượng lớn năng lượng và thường được lưu trữ tại các trung tâm dữ liệu khổng lồ. Tuy nhiên, một bước đột phá mới có thể nén các mô hình AI này để chúng hoạt động ngay trên smartphone hoặc laptop.
Thuật toán nén đột phá: CALDERA
Một thuật toán mới, mang tên Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), cho phép nén lượng dữ liệu khổng lồ cần thiết để vận hành các mô hình ngôn ngữ lớn (LLM) bằng cách loại bỏ sự dư thừa trong mã và giảm độ chính xác của các lớp thông tin.
Theo nghiên cứu được công bố vào ngày 24/5 trên cơ sở dữ liệu tiền in arXiv, CALDERA giúp các mô hình ngôn ngữ trở nên gọn nhẹ hơn, nhưng vẫn giữ được độ chính xác và tính tinh tế gần tương đương với phiên bản gốc. Thuật toán này sẽ được trình bày tại Hội nghị về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) vào tháng 12 tới.
Thuật toán này kết hợp hai kỹ thuật chính: Đầu tiên, kĩ thuật "Low-precision" sẽ giảm số lượng bit được sử dụng để lưu trữ thông tin, giúp tăng tốc độ xử lý và cải thiện hiệu quả năng lượng. Trong khi đó, kĩ thuật "Low-rank" sẽ cắt giảm các tham số dư thừa trong quá trình đào tạo mô hình, giúp giảm dung lượng lưu trữ.
Sự kết hợp này cho phép CALDERA đạt mức độ nén vượt trội hơn hẳn so với khi chỉ sử dụng từng kỹ thuật riêng lẻ.
"Chúng tôi phát hiện rằng không chỉ các tập dữ liệu mà cả các mô hình ngày nay cũng đang trở nên khổng lồ. Thuật toán của chúng tôi có thể áp dụng để nén cả hai," Rajarshi Saha, đồng tác giả nghiên cứu và nghiên cứu sinh tại Đại học Stanford, chia sẻ.
Kết quả thử nghiệm đầy triển vọng
Nhóm nghiên cứu đã thử nghiệm CALDERA trên các mô hình mã nguồn mở của Meta như Llama 2 và Llama 3. Kết quả cho thấy thuật toán này cải thiện hiệu suất nén lên đến 5% so với các phương pháp chỉ sử dụng một trong hai kỹ thuật trên.
Việc này mở ra triển vọng cho các mô hình AI lớn có thể được lưu trữ và vận hành trực tiếp trên smartphone hoặc laptop trong tương lai — đặc biệt ở những trường hợp đòi hỏi sự bảo mật cao hoặc khi không cần độ chính xác tối đa.
Dù CALDERA mang lại tiềm năng lớn, các nhà khoa học cũng cảnh báo rằng các mô hình AI hiện tại chưa được tối ưu hóa để hoạt động hiệu quả trên các thiết bị nhỏ như smartphone.
"Nếu bạn chạy một mô hình AI lớn và điện thoại hết pin chỉ trong một giờ, điều đó sẽ không hề lý tưởng," Saha giải thích. "Thuật toán này là một phần trong giải pháp tổng thể, kết hợp với các kỹ thuật khác để làm cho việc sử dụng AI trên thiết bị di động trở nên khả thi và hiệu quả hơn."
Các mô hình trí tuệ nhân tạo (AI) mạnh mẽ như ChatGPT vốn đòi hỏi lượng lớn năng lượng và thường được lưu trữ tại các trung tâm dữ liệu khổng lồ. Tuy nhiên, một bước đột phá mới có thể nén các mô hình AI này để chúng hoạt động ngay trên smartphone hoặc laptop.
Thuật toán nén đột phá: CALDERA
Một thuật toán mới, mang tên Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), cho phép nén lượng dữ liệu khổng lồ cần thiết để vận hành các mô hình ngôn ngữ lớn (LLM) bằng cách loại bỏ sự dư thừa trong mã và giảm độ chính xác của các lớp thông tin.
Theo nghiên cứu được công bố vào ngày 24/5 trên cơ sở dữ liệu tiền in arXiv, CALDERA giúp các mô hình ngôn ngữ trở nên gọn nhẹ hơn, nhưng vẫn giữ được độ chính xác và tính tinh tế gần tương đương với phiên bản gốc. Thuật toán này sẽ được trình bày tại Hội nghị về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) vào tháng 12 tới.
Thuật toán này kết hợp hai kỹ thuật chính: Đầu tiên, kĩ thuật "Low-precision" sẽ giảm số lượng bit được sử dụng để lưu trữ thông tin, giúp tăng tốc độ xử lý và cải thiện hiệu quả năng lượng. Trong khi đó, kĩ thuật "Low-rank" sẽ cắt giảm các tham số dư thừa trong quá trình đào tạo mô hình, giúp giảm dung lượng lưu trữ.
Sự kết hợp này cho phép CALDERA đạt mức độ nén vượt trội hơn hẳn so với khi chỉ sử dụng từng kỹ thuật riêng lẻ.
"Chúng tôi phát hiện rằng không chỉ các tập dữ liệu mà cả các mô hình ngày nay cũng đang trở nên khổng lồ. Thuật toán của chúng tôi có thể áp dụng để nén cả hai," Rajarshi Saha, đồng tác giả nghiên cứu và nghiên cứu sinh tại Đại học Stanford, chia sẻ.
Kết quả thử nghiệm đầy triển vọng
Nhóm nghiên cứu đã thử nghiệm CALDERA trên các mô hình mã nguồn mở của Meta như Llama 2 và Llama 3. Kết quả cho thấy thuật toán này cải thiện hiệu suất nén lên đến 5% so với các phương pháp chỉ sử dụng một trong hai kỹ thuật trên.
Việc này mở ra triển vọng cho các mô hình AI lớn có thể được lưu trữ và vận hành trực tiếp trên smartphone hoặc laptop trong tương lai — đặc biệt ở những trường hợp đòi hỏi sự bảo mật cao hoặc khi không cần độ chính xác tối đa.
Dù CALDERA mang lại tiềm năng lớn, các nhà khoa học cũng cảnh báo rằng các mô hình AI hiện tại chưa được tối ưu hóa để hoạt động hiệu quả trên các thiết bị nhỏ như smartphone.
"Nếu bạn chạy một mô hình AI lớn và điện thoại hết pin chỉ trong một giờ, điều đó sẽ không hề lý tưởng," Saha giải thích. "Thuật toán này là một phần trong giải pháp tổng thể, kết hợp với các kỹ thuật khác để làm cho việc sử dụng AI trên thiết bị di động trở nên khả thi và hiệu quả hơn."