Llama.cpp 30B runs with only 6GB of RAM now
517 by msoad | 147 comments on Hacker News.
-
рдмोрд░्рдбा рдпेрдеीрд▓ рдорд╣िрд▓ा рд╕рд░рдкंрдЪाрд╡рд░ рдЕрд╡िрд╢्рд╡ाрд╕ рдард░ाрд╡ рдоंрдЬूрд░ рд╡рд░ोрд░ा рд╢рд╣рд░ा рд▓рдЧрдд рдЕрд╕рд▓ेрд▓ी рдмोрд░्рдбा рдЧ्рд░ाрдордкंрдЪाрдпрдд рд╣ी рд╡िрдХрд╕िрдд рдЖрдгि рдЕрдзिрдХ рдорд╣рд╕ूрд▓ рдЕрд╕рд▓ेрд▓ी рдЧ्рд░ाрдордк... -
рдЯ्рд░ॅрдХ्рдЯрд░рдЪ्рдпा рдЕрдкрдШाрддाрдд рдЪाрд▓рдХाрдЪा рдоृрдд्рдпू рдкाрд╡рдиा рдЧाрд╡ाрдЬрд╡рд│ीрд▓ рдШрдЯрдиा рд╕ंрдкाрджрдХ / рддुрд▓рд╕ीрджाрд╕ рдЕрд▓ाрдо рднрдж्рд░ाрд╡рддी - рдЯ्рд░ॅрдХ्рдЯрд░рдЪे рд╕рдоोрд░рдЪे рдПрдХ рдЪाрдХ рдЕрдЪाрдирдХ рдиि... -
рд╕рд░рдкंрдЪा рд╡िрд░ोрдзाрдд рдЕрд╡िрд╢्рд╡ाрд╕ рдард░ाрд╡ рдоांрдбрд▓ा рддрд╕ीрд▓рджाрд░ांрдиी рд╕рд░рдкंрдЪाрд▓ा рдХेрд▓े рдЕрдкाрдд्рд░ рдШोрд╖िрдд рд╕рднेрддूрди рдмाрд╣ेрд░ рдиिрдШाрд▓्рдпाрдиंрддрд░ рдЙрдкрд╕рд░рдкंрдЪाрдиी рдХेрд▓ी рдЕрдкाрдд्рд░ рд╕рд░рдкंрдЪाрд▓ा рд╢िрд╡ी...