Phi-3 – kolejna generacja modeli językowych od Microsoftu. Skorzystają z niej smartfony i mniej wydajne urządzenia

Spośród obecnych modeli językowych wyróżnia się te o naprawdę dużych możliwościach, które charakteryzują się wysoką liczbą parametrów, a także ich mniejsze odpowiedniki. Do tej drugiej grupy należą rozwiązania, które nie wymagają do działania bardzo wydajnych urządzeń, ponieważ są w stanie funkcjonować nawet na smartfonach. Właśnie w tym segmencie pojawiła się kolejna generacja modeli od Microsoftu — tytułowa Phi-3.

Microsoft zaprezentował nową generację modeli językowych Phi-3, która może działać nawet na smartfonach. Jej najsłabszy wariant możliwościami zbliża się do dużo większych modeli, takich jak GPT-3.5.

Microsoft nawiązuje partnerstwo z Mistral AI. Najnowszy duży model językowy Mistral Large już na platformie Azure AI

Pod koniec 2023 roku Microsoft zaskoczył nieco konkurencję, ponieważ zadebiutowała wtedy druga generacja modeli z rodziny Phi. Mimo dużo mniejszej liczby parametrów (wartość ta określa możliwości modeli językowych) edycja mogła rywalizować nawet z rozwiązaniem od Mety, a mianowicie modelem Llama 2 (2,7 vs 13 mld parametrów). Podobnie jest i tym razem. Firma przedstawiła nowe modele z serii Phi-3, w skład której wchodzą: phi-3-mini (3,8 mld), phi-3-small (7 mld) oraz phi-3-medium (13 mld). Cały raport opublikowany na stronie ArXiv skupia się głównie na tym pierwszym. W teście MMLU, który sprawdza modele językowe w wielu aspektach i określa ich możliwości, phi-3-mini osiągnął dokładność na poziomie 68,8% – dla porównania GPT-3.5 Turbo plasuje się na wartości 70%, a Mixtral 8x7B na 70,6%. Eksperci wśród ludzi mogą się pochwalić wynikiem 89,8%, co obecnie “przebija” jedynie Gemini Ultra (90%).

Kosmos-1 – multimodalny duży model językowy od Microsoftu. Jest dużo bardziej zaawansowany od GPT-3

Wariant phi-3-mini może zostać odpowiednio zoptymalizowany, tak aby zajmował jedynie 1,8 GB pamięci i dzięki temu funkcjonował na mobilnych urządzeniach. Microsoft przeprowadził testy na smartfonie Apple iPhone 14 (Apple A16 Bionic), gdzie model językowy działał całkowicie lokalnie i osiągnął prędkość 12 t/s (tokenów na sekundę). Według portalu TheVerge nowość powinna być już dostępna choćby na platformie Hugging Face, jednak w momencie pisania tego materiału modelu phi-3-mini nie można znaleźć ani w tym miejscu, ani w innych popularnych serwisach. Natomiast z pewnością można stwierdzić, że niebawem “sztuczna inteligencja” na smartfonach rozwinie się jeszcze bardziej i będzie dostępna na większej liczbie urządzeń.

Przykładowe pytania z testu MMLU.

Źródło: ArXiv

Reakcja

0%0Pozytywnie0%0Neutralnie 0%0Negatywnie

Twoje emocje

0%0Lubię to!

0%0Super0%0Ekscytujący 0%0Ciekawy0%0Smieszny0%0Smutny0%0Wściekły0%0Przerażony0%0Szokujący0%0Wzruszający0%0Rozczarowany0%0Zaskoczony

Co sądzisz?

0%0Prawda0%0Manipulacja0%0Fake news

0

0Ulub

Oryginalne źródło ZOBACZ