ek15072809

TaQuantsは量子化に対して脆弱なテンソルの特定及び保護による極抵量子化法です。 GPUを有しない低リソース環境において、重要度行列を凌ぐ品質を実現します。 検証モデル及び実行スクリプトの公開を行っています。

llama.cppに対するMoEモデルのSSDオンデマンドロードの実装です。 SSD 上のエキスパートをオンデマンドで読み込む構成により、 16GB DRAM デバイスで +200B モデルの推論を実現します。

ローカルデバイス上での動作を前提としたコーディングエージェントです。 Tqma_Q X6 TaIQ2_Mとの組み合わせで、限られた計算環境下でも 動作する高機能なエージェントツールの構築をが可能です。