Gigatoken：一种编码速度高达24.53GB/s的Rust字节对编码分词器

斯坦福大学博士生Marcel Rød开发并开源的Rust字节对编码分词器Gigatoken，能够在单机上以每秒24.53GB的速度处理文本数据。在16核Apple M4 Max和双路AMD EPYC 9565处理器配置下，Gigatoken分别实现了比HuggingFace tokenizers快1268倍和989倍的性能提升。该分词器支持包括GPT-2、Llama等在内的多种语言模型，并通过直接读取文件的方式实现高速处理。此外，Gigatoken还提供了兼容模式，可以与现有的HuggingFace或tiktoken tokenizer保持输出一致性，尽管这会牺牲一定的吞吐量。