A dicembre Meta ha rilasciato Llama 3.3, l’ultima versione della sua famiglia di modelli linguistici. Disponibile solamente nella versione da 70 miliardi di parametri, il modello supporta una finestra di contesto estesa a 128k token e 8 lingue, tra cui l’italiano. Llama 3.3 rappresenta un significativo passo avanti nella generazione di linguaggio naturale. Come tutti i modelli della famiglia Llama, Llama3.3 è 𝒐𝒑𝒆𝒏 𝒘𝒆𝒊𝒈𝒉𝒕, disponibile sotto community licence e offre versioni quantizzate.

📚  Miglioramenti e utilizzi
Il modello integra miglioramenti architetturali come il GQA (𝐺𝑟𝑜𝑢𝑝𝑒𝑑-𝑄𝑢𝑒𝑟𝑦 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛). È un modello text-to-text, in grado quindi di gestire solamente dati testuali ed è quindi ottimizzato per applicazioni nel 𝒏𝒂𝒕𝒖𝒓𝒂𝒍 𝒍𝒂𝒏𝒈𝒖𝒂𝒈𝒆 𝒑𝒓𝒐𝒄𝒆𝒔𝒔𝒊𝒏𝒈: dall’utilizzo in sistemi RAG, alla generazione di dati sintetici di alta qualità, all’utilizzo come chatbot.

🧠 Prestazioni del modello
Llama 3.3 è stato addestrato su 15 trilioni di token, utilizzando una combinazione di dati pubblici e sintetici. Grazie all’apprendimento supervisionato e al RLHF (𝒓𝒆𝒊𝒏𝒇𝒐𝒓𝒄𝒆𝒎𝒆𝒏𝒕 𝒍𝒆𝒂𝒓𝒏𝒊𝒏𝒈 𝒇𝒓𝒐𝒎 𝒉𝒖𝒎𝒂𝒏 𝒇𝒆𝒆𝒅𝒃𝒂𝒄𝒌), il modello eccelle in benchmark per il ragionamento logico, la generazione di codice e il ragionamento multilingue.

🔒 Sicurezza
Meta, come tutti i grandi player del settore, ha integrato solide strategie di sicurezza per prevenire abusi e mitigare rischi legati a prompt dannosi.
Llama 3.3 è stato sottoposto anche a esercizi di red teaming per identificare vulnerabilità e migliorare la sicurezza dei contenuti generati.

hashtag#Llama3 hashtag#AIInnovation hashtag#NaturalLanguageProcessing
hashtag#MachineLearning

Fonti:
https://lnkd.in/gTBcD6_v
https://lnkd.in/d8GfvX7p
https://lnkd.in/dYJBh7tA