Meta Llama 3.1 – nowy model językowy LLM open-source dostępny

Meta udostępniła we wtorek publicznie swój najnowszy i największy model sztucznej inteligencji (AI). Nazwany Meta Llama 3.1 405B model open-source według producenta przewyższa konkurencyjne modele AI, takie jak GPT-4, GPT-4o i Claude 3.5 Sonnet w kilku testach porównawczych. Wcześniej wydane modele Llama 3 8B i 70B AI również zostały zaktualizowane. Nowsze wersje zostały wydestylowane z modelu 405B i oferują teraz okno kontekstowe 1,28,000 tokenów. Meta twierdzi, że oba te modele są obecnie wiodącymi dużymi modelami językowymi (LLM) o otwartym kodzie źródłowym dla swoich rozmiarów.

Llama 3.1 405B jest pierwszym otwarcie dostępnym modelem, który rywalizuje z najlepszymi modelami sztucznej inteligencji, jeśli chodzi o najnowocześniejsze możliwości w zakresie wiedzy ogólnej, sterowalności, matematyki, korzystania z narzędzi i tłumaczenia wielojęzycznego – przekazał zespół prasowy Meta.

Liczba 405B odnosi się tutaj do 405 miliardów parametrów, co można rozumieć jako liczbę węzłów wiedzy LLM. Im wyższy rozmiar parametru, tym bardziej zaawansowany jest model sztucznej inteligencji w obsłudze złożonych zapytań. Okno kontekstowe modelu wynosi w tym przypadku 128 000 tokenów.

Zobacz również:

Największy model sztucznej inteligencji firmy Meta został przeszkolony na ponad 15 bilionach tokenów przy użyciu ponad 16 tysięcy procesorów graficznych Nvidia H100. Jedną z głównych nowości w Llama 3.1 405B jest oficjalne wsparcie dla wywoływania narzędzi, które pozwoli programistom korzystać z Brave Search do wyszukiwania w sieci, Wolfram Alpha do wykonywania złożonych obliczeń matematycznych oraz Code Interpreter do generowania kodu Pythona.

Ponieważ Meta Llama 3.1 405B jest dostępna w wersji open source, użytkownicy mogą uzyskać do niej dostęp zarówno na stronie internetowej firmy, jak i na liście Hugging Face. Ponieważ jednak jest to duży model, do jego uruchomienia potrzeba około 750 GB miejsca na dysku.

Zgłoś naruszenie/Błąd