Research / ek15072809

§ I

Focus Areas

TaQuantsのもと、低ビット量子化下でも推論品質を保つ GGUF モデルの作成に取り組んでいます。高品質な極抵量子化モデルによって、低リソース環境での巨大モデルの推論を実現します。

Swap-MoE では、Mixture-of-Experts のエキスパートを SSD 上に置き、必要に応じてオンデマンドで読み込む仕組みを検証し、限られた DRAM での大規模モデル運用を探っています。

Tema_Q-Agent は、量子化済みモデルと組み合わせて動作するローカル完結型のコーディングエージェントです。手元の計算資源だけで動く構成を意識しています。

§ II

Tensor-aware Adaptive Quantization

低ビット量子化のアプローチと、GGUF 形式での配布方針についてまとめた技術レポートです。テンソル・層単位での適応的なビット割り当ての考え方と、現状公開しているモデル群、制限事項を記載しています。

SSD-based On-Demand Expert Swapping

MoE アーキテクチャのエキスパートを SSD 上からオンデマンドで読み込む仕組みについてまとめた技術レポートです。背景となる動機、キャッシュ戦略の考え方、現状の実装段階と課題を記載しています。