コンテンツにスキップ

小規模言語モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』

小規模言語モデル（Small Language Model, SLM）は、言語やテキストの生成を含む人間の自然言語処理のために設計された人工知能言語モデルである。大規模言語モデル（LLM）と異なり、小規模言語モデルは規模と範囲がはるかに小さい[1]。

通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。

一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストをより実現可能にしている[2][3][4][5]。小さいため、PCやスマホ内で完結が可能であり、デリケートなデータを扱う分野にも向いている[6]。特定の分野に範囲を絞り込むことによるメリットがあり、小規模なデータセットでトレーニングすることで、「ハルシネーション」を起こしにくくできる[1][7][8]。

関連項目

[編集]

出典

[編集]
  1. ^ a b ““大は小を兼ねない”生成AI 注目集める「小規模言語モデル」（SLM） そのメリットとは？”. ITmedia AI＋. 2025年5月18日閲覧。
  2. ^ Rina Diane Caballar (2024年10月31日). “What are small language models?”. IBM. 2025年5月17日閲覧。
  3. ^ John JOhnson (2025年2月25日). “Small Language Models (SLM): A Comprehensive Overview”. Huggingface. 2025年5月17日閲覧。
  4. ^ Kate Whiting. “What is a small language model and how can businesses leverage this AI tool?”. The World Economic Forum. 2025年5月17日閲覧。
  5. ^ “SLM (Small Language Model) with your Data”. Microsoft (2024年7月11日). 2025年5月17日閲覧。
  6. ^ “生成AIを低コストで 小規模言語モデル「SLM」参入活発”. 日本経済新聞 (2024年7月29日). 2025年5月18日閲覧。
  7. ^ “SLM と LLM：小規模言語モデルとは”. www.redhat.com. 2025年5月18日閲覧。
  8. ^ “【SLM:小規模言語モデルとは】生成AIの今後のトレンドは小型化？”. Qiita (2024年12月2日). 2025年5月18日閲覧。
  9. ^ “Microsoft、マルチモーダルなSLM「Phi-3-vision」をプレビュー”. ITmedia NEWS. 2025年5月18日閲覧。
  10. ^ “Microsoft、Windowsローカルで実行可能なSLM「Phi Silica」を全「Copilot+ PC」に搭載へ”. ITmedia NEWS. 2025年5月18日閲覧。
  11. ^ 株式会社インプレス (2024年9月26日). “Llama 3.2発表、スマホ向けの小規模モデルも”. ケータイ Watch. 2025年5月18日閲覧。
「https://ja.wikipedia.org/w/index.php?title=小規模言語モデル&oldid=104915930」から取得