Встречайте мой новый пост «Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель» на Хабр, в нём я подробно рассказал о том как была реализована конвертация, как проводилось её тестирование, как запустить локально, как конвертировать в GGUF.
А вот ссылочки:
— evilfreelancer/ruGPT3XL — сконвертированная модель в формате HuggingFace (safetensors)
— evilfreelancer/ruGPT3XL-GGUF — квантизированные GGUF-веса для llama.cpp и Ollama
— evilfreelancer/rugpt3 — GGUF загруженные на Ollama
— EvilFreelancer/rugpt3xl-convert — исходники скриптов конвертации
Добавить комментарий