Llama.cpp 30B runs with only 6GB of RAM now
517 by msoad | 147 comments on Hacker News.
-
рддेрдЬрд╕्рд╡िрдиी рдкрддрд╕ंрд╕्рдеेрдЪ्рдпा рдШोрдЯाрд│ेрдмाрдЬ рдкрджाрдзिрдХाрд░ी, рд╕ंрдЪाрд▓рдХांрд╡рд░ рдЧुрди्рд╣े рджाрдЦрд▓ рд▓ेрдЦाрдкрд░ीрдХ्рд╖рдХ рдмрдирд╕ोрдб рдпांрдЪ्рдпा рддрдХ्рд░ाрд░ीрдиंрддрд░ рдкोрд▓िрд╕ांрдЪी рдХाрд░рд╡ाрдИ рд╡рд░ोрд░ा ...
-
рд╡рд░ोрд░ा рднाрдЬрдкा рдкрд░िрд╡ाрд░ाрдд рдирд╡े рд╕рджрд╕्рдп – рд╡िрдХाрд╕ рдкрд░рдЪाрдХे рдпांрдЪा рднाрдЬрдкा рдк्рд░рд╡ेрд╢ рд╡рд░ोрд░ा : рд╡рд░ोрд░ा-рднрдж्рд░ाрд╡рддी рд╡िрдзाрдирд╕рднा рдХ्рд╖ेрдд्рд░ाрдЪे рдЖрдорджाрд░ рдХрд░рдг рджाрджा рджेрд╡...
-
рдиिрдЦिрд▓ рдоांрдбрд╡рдХрд░ рдпांрдЪी рдпुрд╡ाрд╕ेрдиा рдЙрдкрдЬिрд▓्рд╣ा рдк्рд░рдоुрдЦ (рд╡рд░ोрд░ा, рдЪिрдоूрд░, рдм्рд░рдо्рд╣рдкुрд░ी) рдкрджाрд╡рд░ рдиिрдпुрдХ्рддी рд╡рд░ोрд░ा : рд╣िंрджुрд╣ृрджрдпрд╕рдо्рд░ाрдЯ рд╢िрд╡рд╕ेрдиाрдк्рд░рдоुрдЦ рдмाрд│...
