Llama.cpp 30B runs with only 6GB of RAM now
517 by msoad | 147 comments on Hacker News.
-
рд╡рд┐рджреНрдпрд╛рд░реНрдереНрдпрд╛рдВрд╡рд░реАрд▓ рдЕрдорд╛рдиреБрд╖ рдЕрддреНрдпрд╛рдЪрд╛рд░ тАУ рдореБрдЦреНрдпрд╛рдзреНрдпрд╛рдкрдХ рд╡ рдЕрдзреАрдХреНрд╖рдХрд╛рд╡рд░ рдЧреБрдиреНрд╣рд╛ рджрд╛рдЦрд▓ рдХрд░реВрди рддрд╛рддреНрдХрд╛рд│ рдХрд╛рд░рд╡рд╛рдИ рдХрд░рд╛. рдЖрджрд┐рд╡рд╛рд╕реА рдЯрд╛рдпрдЧрд░ рд╕реЗрдиреЗрдЪреЗ рдЪрдВрджреНрд░рдкреВрд░ рдЬрд┐рд▓реНрд╣рд╛ рдЙрдкрд╛рдз... -
рдпреЗрдиреНрд╕рд╛ рдпреЗрдереАрд▓ рдЕрдкрдШрд╛рддрд╛рдд рдореВрддреНрдпреБрдВрдореБрдЦреА рдорд╣рд┐рд▓рд╛рдЪреНрдпрд╛ рд╡рд╛рд░рд╕рд╛рдирд╛ 5 рд▓рд╛рдЦрд╛рдЪреА рдЖрд░реНрдерд┐рдХ рдорджрдд рдХрд░рд╛ рддреБрд▓рд╕реА рдЕрд▓рд╛рдо рд╡рд░реЛрд░рд╛ рд╢рд╣рд░рд╛рддреАрд▓ рдмрд╛рд╡рдгреЗ рд▓реЗрдЖрдКрдЯ рд╡ рдХрд╛реЕрд▓рд░реА рд╡реЙрд░реНрдб... -
рдкрд╛рд╡рдирд╛ (рд░реИ)рдпреЗрдереЗ рдЧреЛрдВрдбреА рдзрд░реНрдо рдкреНрд░рдмреЛрдзрди рдореЗрд│рд╛рд╡рд╛. рдЧреЛрдВрдбреА рдкрд╛рд░рдВрдкрд░рд┐рдХ рдиреВрддреНрдп рддрдерд╛ рдЧреЛрдВрдбреА рд░реЗрдХреЙрд░реНрдбрд┐рдВрдЧ рдбрд╛рдБрдиреНрд╕ рдиреВрддреНрдп рд╕реНрдкрд░реНрдзреЗрдЪреЗ рдЖрдпреЛрдЬрди. рднрджреНрд░рд╛рд╡рддреА(рджрд┐ .3...