Apple âm thầm ra mắt mô hình AI chỉnh ảnh, đặt tên là MGIE, mạnh như Photoshop

[pmtdung452]

Hôm qua mình ngồi đọc Reddit, trên mấy hội nhóm về chủ đề tạo hình bằng AI, có người phát hiện ra thông tin là 5 ngày trước trên GitHub, các nhà phát triển của Apple đã âm thầm cho ra mắt một mô hình chỉnh sửa hình ảnh dựa trên lệnh văn bản và mô hình ngôn ngữ đa công dụng. Apple đặt tên cho mô hình AI này là MGIE, viết tắt của MLLM-Guided Image Editing, MLLM là viết tắt của Multimodal Large Language Models.

Checkpoint chia sẻ trên GitHub của Apple cũng là mã nguồn mở, ai cũng có thể tải về và sử dụng thử nghiệm với dịch vụ chạy repo mang tên Spaces trên trang web Hugging Face, từ đó chỉnh sửa hình ảnh bằng mô hình AI và lệnh dưới dạng văn bản, nói chung khá giống Adobe Firefly, tạo hình từ mô hình AI trong Photoshop.

Tìm thêm thông tin thì được biết, MGIE là thành quả hợp tác giữa các nhà phát triển của Apple với các nhà nghiên cứu tại đại học California tại Santa Barbara. Đi kèm với thành quả bản repo model AI, là báo cáo nghiên cứu được gửi tới hội thảo quốc tế ICLR 2024, một trong những nơi quy tụ những nhà nghiên cứu AI hàng đầu thế giới.

MGIE ứng dụng những mô hình ngôn ngữ quy mô lớn (MLLM) theo hai bước. Đầu tiên, nó sử dụng MLLM để dịch thuật lệnh chỉnh sửa mà người dùng đã nhập vào trong quá trình chỉnh ảnh. Lấy ví dụ, nếu anh em gõ “làm bầu trời xanh hơn”, thì MGIE sẽ hiểu theo hướng “tăng độ rực của màu sắc bầu trời thêm 20%.”

Thứ hai, MGIE ứng dụng mô hình ngôn ngữ để tạo ra những hình ảnh dựa theo mô tả bằng từ ngữ. Nhờ đó, bức hình có thể được chỉnh sửa tới từng điểm ảnh, tạo ra những chi tiết mới hoặc xóa đi những chi tiết không mong muốn trong tấm hình.

Apple và các nhà nghiên cứu tại đại học California liệt kê những tính năng mà MGIE có thể làm được:

• Chỉnh ảnh dựa trên lệnh văn bản: Hiểu ngôn ngữ con người để chuyển đổi lệnh văn bản thành những lệnh điều chỉnh chính xác từng chi tiết và khu vực trong tấm hình. Điều này không chỉ giúp chất lượng chỉnh ảnh tốt hơn, mà còn cải thiện cả trải nghiệm người dùng.
• Chỉnh hình hệt như Photoshop: MGIE có thể thực hiện những lệnh chỉnh hình cơ bản giống như Adobe Photoshop, ví dụ khoanh hình, phóng to thu nhỏ, xoay lật hình, hoặc thêm bộ lọc màu vào hình ảnh. Mô hình này có thể thực hiện nhiều lệnh chỉnh sửa cao cấp hơn, ví dụ đổi cả chi tiết nền, cân bằng màu sắc và ghép hình.
• Tối ưu hình ảnh: MGIE có thể tối ưu chất lượng của một tấm hình, như điều chỉnh độ sáng, độ tương phản, độ nét và cân bằng màu, hay thậm chí là ứng dụng những bộ lọc để biến hình ảnh thành tranh vẽ hoặc hoạt hình.
• Chỉnh sửa chi tiết hình ảnh: MGIE có thể chỉnh một khu vực nhất định trong một bức hình, như gương mặt, đôi mắt, tóc, trang phục và trang sức.

Nếu đã sử dụng tính năng Generative Fill, tên mã Firefly mà Adobe ứng dụng trong những phiên bản Photoshop mới nhất, thì anh em có thể thấy MGIE không khác biệt gì trong việc chỉnh sửa hình ảnh. Câu hỏi giờ chỉ là, đến khi nào những công cụ cực mạnh này sẽ được Apple mang lên những sản phẩm thương mại mà họ đang có, từ iPhone đến iPad, rồi cả máy tính Mac nữa.