GigaToken: ~1000x faster Language model tokenization
596 by syrusakbary | 118 comments on Hacker News.
-
เคตเคฐोเคฐा เคเคฎเคเคธเคเคฌीเคे เคธเคนाเคฏ्เคฏเค เค เคญिเคฏंเคคा เคช्เคฐเคซुเคฒ เคฒाเคฒเคธเคฐेเคी เคตเคฐोเคฐा เคถเคนเคฐाเคคूเคจ เคนเคाเคฒ เคชเค्เคी เคเคฐा.... เคฎाเคीเคฒ เค เคจेเค เคตเคฐ्เคทांเคชाเคธूเคจ เคตเคฐोเคฐा เคคाเคฒुเค्เคฏाเคค เคाเคฐ्เคฏเคฐเคค...
-
เคญเคฐเคค เคुเคช्เคคा เคต เคธเคนเคाเคฑ्เคฏांเคเคกूเคจ เคฏुเคตाเคธेเคจा เคिเคฒ्เคนा เคช्เคฐเคฎुเคाเคตเคฐ เคीเคตเคेเคฃा เคนเคฒ्เคฒा ; เคंเคฆ्เคฐเคชूเคฐ เคถเคนเคฐाเคคीเคฒ เคช्เคฐเคाเคฐ เคเคฒेเค เคฐเคฎेเคถ เคฐเค्เคे เคฏुเคตा เคธेเคจा เคिเคฒ्เคนा...
-
เคจिเคिเคฒ เคฎांเคกเคตเคเคฐ เคฏांเคी เคฏुเคตाเคธेเคจा เคเคชเคिเคฒ्เคนा เคช्เคฐเคฎुเค (เคตเคฐोเคฐा, เคिเคฎूเคฐ, เคฌ्เคฐเคฎ्เคนเคชुเคฐी) เคชเคฆाเคตเคฐ เคจिเคฏुเค्เคคी เคตเคฐोเคฐा : เคนिंเคฆुเคนृเคฆเคฏเคธเคฎ्เคฐाเค เคถिเคตเคธेเคจाเคช्เคฐเคฎुเค เคฌाเคณ...
