Case study bards.ai: Modele AI / LLM już niedługo uruchomią się na mobile bez dostępu do internetu

W dzisiejszym świecie, gdzie technologia stale się rozwija, coraz częściej zaczynamy dostrzegać sztuczną inteligencję (AI) jako integralną część naszego codziennego życia. Jednym z najnowszych i najbardziej fascynujących trendów jest możliwość uruchamiania modeli AI bezpośrednio na urządzeniach mobilnych, nawet bez dostępu do internetu. To otwiera nowe możliwości, zapewniając większą prywatność użytkownikom oraz eliminując konieczność stałego połączenia z siecią. Niemniej jednak, to również wyzwanie, zwłaszcza jeśli chodzi o wydajność i dostępność.

Obecnie modele językowe i generatywne wymagają ogromnej mocy obliczeniowej i pamięci, co czyni ich uruchomienie na tradycyjnych telefonach praktycznie niemożliwym. Nawet najmniejsze wersje tych modeli liczą miliardy parametrów, co znacząco obciąża zasoby urządzenia. Jednak, rozwój podzespołów dedykowanych dla telefonów przynosi nadzieję na przełamanie tych ograniczeń. Przykładem może być procesor Qualcomm Snapdragon 8 Gen 3, który według twórców jest zdolny do uruchamiania nawet modeli z 10 miliardami parametrów, takich jak mniejsza wersja LLaMA.

Dedykowane modele – Gemini Nano oraz MobiLlama

Wraz z rosnącym zapotrzebowaniem na uruchamianie AI na urządzeniach mobilnych, pojawiają się również dedykowane modele. Przykładem jest Gemini Nano opracowany przez Google. Ten model, dostępny w dwóch wersjach – jednej z 1,8 miliarda parametrów i drugiej z 3,25 miliarda parametrów – został zoptymalizowany pod kątem urządzeń mobilnych poprzez kwantyzację wag do 4-bitowej reprezentacji. Chociaż narzędzia do wykorzystania tych modeli w aplikacjach mobilnych dopiero powstają, Google aktywnie rekrutuje deweloperów z istniejącymi aplikacjami, którzy chcą wzbogacić je o możliwości sztucznej inteligencji.

Innym ciekawym przykładem jest MobiLlama, model generatywny stworzony z myślą o małych urządzeniach. Autorzy pokazują, że mimo ograniczonych zasobów, można osiągnąć zadowalające wyniki w prostych zadaniach, takich jak standardowe pytania czy proste zadania programistyczne. Jednake, w przypadku bardziej złożonych zadań, model ten może okazać się niewystarczający. Wagi MobiLlamy są dostępne publicznie na platformie Hugging Face.

Frameworki

Już teraz na rynku istnieją rozwiązania umożliwiające uruchomienie modeli AI na urządzeniach mobilnych. MLC LLM, na przykład, pozwala na natywne uruchamianie dużych modeli językowych na różnych platformach, w tym Android i iOS. 

Aplikacja demonstracyjna umożliwia włączenie takich modeli jak phi-2 na urządzeniu średniej klasy, chociaż szybkość działania jest wyraźnie wolniejsza, niż choćby w przypadku Chat GPT. – podkreśla Marcin Przymus. 

Również znane frameworki do tworzenia sieci głębokich, takie jak PyTorch i TensorFlow, mają swoje wersje dedykowane urządzeniom mobilnym – PyTorch Mobile i TensorFlow Lite.

Nie można zapomnieć o inicjatywach takich jak Core ML od Apple czy biblioteka ML Kit od Google, które umożliwiają deweloperom korzystanie z gotowych narzędzi do wykonywania różnorodnych zadań związanych z AI na urządzeniach mobilnych. To otwiera nowe możliwości dla twórców aplikacji, pozwalając im tworzyć bardziej inteligentne i responsywne produkty, nawet bez stałego połączenia z internetem.

Przykładem zastosowania na urządzeniu sztucznej inteligencji do podobnych zadań jest tłumacz Google, który umożliwia offline wykrycie i przetłumaczenie tekstu na zdjęciu. W przeciwieństwie do wcześniej opisanych modeli, ta funkcja działa bardzo sprawnie na większości urządzeń. 

Rozwój sztucznej inteligencji na urządzeniach mobilnych staje się coraz bardziej powszechny, dzięki czemu istnieje szansa, że coraz więcej zastosowań AI będzie dostępnych na nich bez potrzeby wysyłania danych na serwer. Na ten moment większość aplikacji preferuje rozwiązania, w których obliczenia związane z modelami są wykonywane na serwerze, lecz zarówno w rozwoju oprogramowania, jak i sprzętu, widać trend, aby obliczenia móc wykonywać również na urządzeniu. – podsumowuje Marcin Przymusz bards.ai. 

Źródła:
https://www.qualcomm.com/products/mobile/snapdragon/smartphones/snapdragon-8-series-mobile-platforms/snapdragon-8-gen-3-mobile-platform
https://ai.google.dev/tutorials/android_aicore
https://arxiv.org/abs/2402.16840
https://llm.mlc.ai/