淘宝のMNNチームがスマホ向け3億パラメータの言語モデルMNN-Pocket-0.3Bをオープンソース化
IT之家によると、iPhone 18 Proでオフライン約350トークン/秒、INT4ファイルは173MB。モデルカードにはBase、SFT、GGUF、MNN版がApache 2.0で並ぶが、ベンチマークはチーム自身の数値。
IT之家によると、iPhone 18 Proでオフライン約350トークン/秒、INT4ファイルは173MB。モデルカードにはBase、SFT、GGUF、MNN版がApache 2.0で並ぶが、ベンチマークはチーム自身の数値。