LLMとSLMの共存時代へ：小型言語モデル(SLM)
知っておくべき現実：ChatGPTの運用コスト
OpenAIのGPT-4を使用した場合、1日1000万リクエスト（各1000トークン）を処理すると、推論コストだけで月額約300万円に達することもあります。さらに、応答時間は平均2〜5秒、ピーク時には10秒を超えることも珍しくありません。
こうした課題が、AI業界に新たな潮流を生み出しています。それが 小型言語モデル(Small Language Models - SLMs) です。
MicrosoftのPhi-3-miniは38億パラメータながらGPT-3.5に匹敵する性能を達成し、推論コストを90%削減。応答時間も100ミリ秒以下を実現しています。