サイバーエージェント、商用利用可能な225億パラメーターの日本語LLMを公開

サイバーエージェント、商用利用可能な225億パラメーターの日本語LLMを公開

サイバーエージェントは7月9日、日本語と英語に対応した大規模言語モデル「CyberAgentLM3-22B-Chat(以下CALM3-22B-Chat)」を商用利用も可能なライセンスで一般公開した。

オープンな日本語LLMトップクラスの性能

サイバーエージェントは2023年5月に日本語LLM「CyberAgentLM」を一般公開。その後も、2023年11月に「CyberAgentLM2」、2024年6月には画像認識機能を統合したVLM(大規模視覚言語モデル)を公開している。

今回公開されたCALM3-22B-Chatは225億(22B)のパラメータを持ち、2兆トークンで事前学習された言語モデルだ。

様々な日本語処理タスクでLLMの性能を総合的に評価する指標として業界で広く認知されている「Nejumi LLM リーダーボード3」では、700億パラメータのメタ「Llama-3-70B-Instruct」と同等の性能となっており、現時点でオープンな日本語LLMとしてはトップクラスの性能だという。

同モデルは、対話用途に特化して微調整されており、コンテキスト長は1万6384トークン。これにより、複雑な会話や長文の処理が可能となる。

商用利用可能な「Apache License 2.0」のもとで公開されているため、企業や開発者は自社のサービスや製品にこのモデルを組み込むことができる。

デモサイトも公開中

同社は、「Hugging Face」を通じてモデル本体とデモを公開しており、誰でも簡単にアクセスし試すことができる。

生成された回答の例。読みやすく構造化されており、日本語能力もかなり高いと思われる。生成スピードもかなり速い。

さらに、画面下の「Parameters」をクリックすることで、「最大トークン数」「温度」「Top-p」のパラメーターを調整することも可能だ。

なお「最大トークン数」とは1回の応答で生成するテキストの最大長であり、一度に処理できる入出力の総量である「コンテキスト長」とは異なるので注意が必要だ。

ちなみに「温度」は出力のランダム性や創造性を制御する、「Top-p」は考慮する次のトークンの確率分布を制限するパラメーターだ。

高性能かつ商業利用可能な日本語対応モデルの登場により、国内のAI研究や応用がさらに加速することが期待される。

  • https://www.msn.com/ja-jp/news/techandscience/サイバーエージェント-商用利用可能な225億パラメーターの日本語llmを公開/ar-BB1pMorS?ocid=00000000

Related

『ヒルナンデス』出演者が調理でミス… 北斗晶の「とっさの対応」がさすがだった

『ヒルナンデス』出演者が調理でミス… 北斗晶の「とっさの対応」がさすがだった

News
マンチン氏、民主復党し出馬か 無所属の上院議員、76歳

マンチン氏、民主復党し出馬か 無所属の上院議員、76歳

News
ほんまかいな…【ダイソー】「もう買った?」「機能的」お出かけにもおうちでも!おすすめアイテム5選

ほんまかいな…【ダイソー】「もう買った?」「機能的」お出かけにもおうちでも!おすすめアイテム5選

News
カスペルスキー ブルースクリーン障害に「私たちの製品でこのようなことはありえない」

カスペルスキー ブルースクリーン障害に「私たちの製品でこのようなことはありえない」

News
NHK鈴木奈穂子アナ「梅子さんがいなくなってアタフタしているんじゃないか」

NHK鈴木奈穂子アナ「梅子さんがいなくなってアタフタしているんじゃないか」

News
朝ドラ「虎に翼」イマジナリー花江ちゃん(森田望智)再び! 稲(田中真弓)に寅子(伊藤沙莉)の家事手伝いを依頼「ルフィを召喚!」「お説教タイム強制終了」

朝ドラ「虎に翼」イマジナリー花江ちゃん(森田望智)再び! 稲(田中真弓)に寅子(伊藤沙莉)の家事手伝いを依頼「ルフィを召喚!」「お説教タイム強制終了」

News
鹿児島県交通取締り情報2024年7月22日(月)

鹿児島県交通取締り情報2024年7月22日(月)

News
仕事の山は、猫の“秘密基地”【男の猫道】vol.117

仕事の山は、猫の“秘密基地”【男の猫道】vol.117

News