OpenNMT/CTranslate2
MIT · 商用可
Fast inference engine for Transformer models
記録している数値
開発の様子
7.1 年
公開してからの期間。2019-09-23 が最初のコミットです
131 回
リリースの回数です
72 人
開発に参加した人数です
0 日前
最後のコミットです
281 件
未解決の Issue とプルリクエストの合計です(GitHub はこの2つを同じ数に含めます)
ほかの候補
sgl-project/sglang同じ前置きを何度も計算し直すのをやめて、LLMの応答が返るまでを縮める
multimodal-art-projection/YuE いきなり音にせず、先に楽譜を書いてから曲にする音楽モデル
vllm-project/vllm A high-throughput and memory-efficient inference and serving engine for LLMs