Meta zaprezentowała wczoraj oficjalnie swoją największą wersję dużego (czyli należącego do rozwiązań klasy LLM) modelu językowego Llama, nadając mu nazwę Llama 3.1. To bezpłatny model bazujący na oprogramowaniu open source, przeszkolony z użyciem rekordowej liczby 405 mld parametrów.
Europa musi póki co obejść się smakiem, ponieważ model jest na razie dostępny tylko w USA. Ilość parametrów odgrywa w świecie AI pierwszoplanową rolę. Są to zmienne wartości, dostosowywane w trakcie treningu modelu w taki sposób, aby przekształcić dane wejściowe w najlepszy oczekiwany rezultat. Tak dużo ilość parametrów – bo ponad 400 mld – oznacza, że Llama 3.1 działa niezwykle precyzyjnie i może szkolić mniejsze modele, jak również tworzyć syntetyczne dane.
Pierwszy model Llama pojawił się w ofercie firmy Meta w kwietniu tego roku i był dostępny w wersjach z dużo mniejszą liczbą parametrów (8 mld i 70 mld). Jak twierdzi Meta, nowy model zapewnia wydajność na najwyższym poziomie i jest niezwykle konkurencyjny w porównaniu z wieloma wiodącymi w branży AI modelami, które bazują nie na otwartym, ale na zamkniętym kodzie źródłowym.
Zobacz również:
W chwili premiery Llama 3.1 obsługuje wiele najczęściej na świecie używanych języków: angielski, portugalski, hiszpański, włoski, niemiecki, francuski, hindi i tajski. W tym samym czasie wielojęzycznymi stały się również mniejsze modele Llama 3. Okno kontekstowe Lamy 3.1 zostało powiększone do 128 tysięcy tokenów, co odpowiada czterystu stronom tekstu. Pierwsze testy wykazały, że model Llama 3.1 radzi sobie bardzo dobrze z kodowaniem aplikacji, dorównując pod tym względem takim modelem, jak Gemini (Google), Claude 3 Sonnet (Anthropic) oraz 7B Instruct (Mistral).
Zgłoś naruszenie/Błąd
Oryginalne źródło ZOBACZ
Dodaj kanał RSS
Musisz być zalogowanym aby zaproponować nowy kanal RSS