PegaFlow: o motor de armazenamento chave-valor em Rust com bindings Python para acelerar inferência de LLMs com vLLM
PegaFlow combina Rust, PyO3 e vLLM para criar um sistema de KV cache distribuído de alta performance para inferência de modelos de linguagem.