Прежде чем скачать модель с Hugging Face: проверка, которая важнее размера файла

На карточке модели редко пишут, поместится ли она в вашу видеокарту, разрешает ли лицензия то, что вы задумали, и не отберут ли доступ через месяц Модель на 13 миллиардов параметров в fp16 — это чуть больше 26 гигабайт весов, и к этому стоит добавить около 20% сверху на реальный инференс с контекстом, если следовать методике официального калькулятора Hugging Face accelerate estimate-memory . Бесплатная коммерческая лицензия Llama 3.1 перестаёт действовать, если у продукта на дату релиза модели…