В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного.
В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько?
Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного.
Так появился PCST — домашний исследовательский проект, который довольно быстро превратился в длинный сериал.
The page is ready to read now. The fuller skim-friendly version will appear here automatically.
В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного. Так появился PCST — домашний исследовательский проект, который довольно быстро превратился в длинный сериал.
Без дообучения, дистилляции, pruning и изменения архитектуры. Спойлер: одного гигабайта и качества Q8 я не получил.
Open the app view to save this story, compare related coverage, and continue from the same source.