PocketPal AI

PocketPal AI là một ứng dụng cho phép người dùng chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên điện thoại của mình, hoàn toàn ngoại tuyến. Thay vì dựa vào các máy chủ đám mây, ứng dụng này mang đến khả năng tương tác với trí tuệ nhân tạo mà không cần kết nối internet hay lo lắng về việc dữ liệu cá nhân rời khỏi thiết bị. Điều này đặc biệt hữu ích cho những ai ưu tiên quyền riêng tư và muốn sở hữu AI của riêng mình, với các cuộc trò chuyện chỉ tồn tại cục bộ trên thiết bị.

Vận hành AI hoàn toàn ngoại tuyến và bảo mật dữ liệu

Điểm nổi bật của PocketPal AI là khả năng hoạt động độc lập, không yêu cầu kết nối internet. Điều này có nghĩa là bạn có thể sử dụng các mô hình AI ngay cả khi ở chế độ máy bay, không có sóng, hoặc ở những nơi không có mạng. Ứng dụng đảm bảo không có bất kỳ dữ liệu nào rời khỏi thiết bị của bạn, không có máy chủ nào được sử dụng, và không có dữ liệu đo từ xa nào được gửi đi. Người dùng có thể tự kiểm chứng điều này vì ứng dụng là mã nguồn mở, mang lại sự yên tâm tuyệt đối về quyền riêng tư và bảo mật thông tin cá nhân.

Yêu cầu thiết bị và hiệu năng

Để chạy các mô hình AI phức tạp, PocketPal AI cần một thiết bị có cấu hình đủ mạnh. Người dùng sẽ cần ít nhất 6GB RAM cho các mô hình nhỏ hơn và 8GB RAM trở lên để trải nghiệm các mô hình chất lượng cao hơn. Các điện thoại flagship và tầm trung ra mắt trong 2-3 năm gần đây thường có thể chạy các mô hình một cách mượt mà. Ứng dụng này sử dụng sức mạnh xử lý thực tế của điện thoại (Metal acceleration trên iOS và NNAPI trên Android) để thực hiện suy luận AI, thay vì chỉ là một giao diện đám mây. Nếu không chắc chắn về khả năng của thiết bị, bạn có thể tải xuống một mô hình nhỏ và sử dụng tính năng kiểm tra hiệu năng (benchmarking) tích hợp sẵn để xem điện thoại có thể xử lý được những gì.

Kiểm soát mô hình và cá nhân hóa

Ứng dụng cung cấp quyền kiểm soát hoàn toàn đối với các tham số của mô hình, bao gồm nhiệt độ (temperature), độ dài ngữ cảnh (context length) và các lời nhắc hệ thống (system prompts). Điều này cho phép người dùng tinh chỉnh trải nghiệm AI theo nhu cầu cụ thể của mình. Bạn có thể tải xuống hàng trăm mô hình mã nguồn mở từ HuggingFace trực tiếp về thiết bị. Ngoài ra, ứng dụng còn hỗ trợ Pals – các cá tính AI từ Palshub.ai, giúp mang lại tính cách và mục đích đa dạng cho các mô hình, tạo ra những tương tác phong phú hơn.

Cập nhật gần đây

Trong phiên bản 1.22.0, PocketPal AI đã bổ sung hỗ trợ cho các mô hình LFM3 và Bonsai 2, đồng thời cải thiện tốc độ cho các mô hình Q2_K và Q3_K trên GPU. Ứng dụng cũng đã khắc phục lỗi chế độ giọng nói rảnh tay có thể bị lỗi khi không có internet đối với một số giọng nói, đảm bảo các giọng nói đã tải xuống hiện hoạt động ngoại tuyến.