405b专题

Llama 3.1 405B:4050亿参数史上最强开源大模型

01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B,拥有4050亿个参数,与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成,现已在云平台上可用,并被应用于WhatsApp和Meta.ai中。它能够处理包括编码和摘要在内的八种语言任务,但仅限于文本。Llama 3.1模型拥有128000个