オープンソース大規模言語モデル (LLM) は、一般的に利用可能な自然言語テキストとソフトウェアプログラムコードデータを使用して、人間の言語を学習、理解、再現する AI モデルです。
オープンソース LLM はオープンソース AI の一形態で、自由に改変して共有でき、ライセンス料なしでコラボレーションやカスタマイズが可能です。このオープン性は、透明性、安全性、競争、さまざまな業界にわたる多様なアプリケーションを促進します。これらの LLM は、オープンソース AI の一形態で、自由に改変して共有でき、許諾料やライセンス料なしで目的を問わずコラボレーションやカスタマイズが可能なため、透明性、安全性、競争、ポリカルチャー、多様なアプリケーションを促進します。
大規模言語モデルは、人工知能を活用した最新のユーザーインターフェイスの基盤です。これらのモデルは、大規模なデータセットと高度なニューラルネットワークアーキテクチャでトレーニングされ、人間が自然なレベルでアプリケーションとやり取りすることを可能にします。LLM の価値は、長文のテキストを要約したり、逆に人間のユーザーの指示に応じて大量のテキストを生成したりするなど、繊細な言語タスクを実行する能力にあります。LLM により、カスタマーサービス、研究、コンテンツ制作、教育などの多様な分野で、ユーザーは複雑な問い合わせや指示を行うことができ、AI は場合により経験の浅いユーザーでもスーパーユーザーと同等に理解が可能なように応答できるようになります。
しかし、これらのモデルは分かりやすいやり取りを可能にする一方、非常に複雑で、多くの場合独自のデータに基づいて構築されているため、内部構造や機能が見えにくくなっています。一般的に、オープンソース LLM はより利用しやすい選択肢を提供しますが、オープン性の度合いはさまざまです。基礎となるトレーニングコードとデータを明らかにし、誰でもそれを使用、改変、配布できるようにしている大規模言語モデルもあれば、モデル自体とサポートしているアーティファクトの一部を公開しているだけで、上流のモデルサプライチェーンを監査することがほぼ不可能な大規模言語モデルもあります。オープンソース LLM は、強力な AI ツールへのアクセスを民主化することで、より幅広い開発者が特定のニーズに合わせて AI ソリューションの革新やカスタマイズができるようにします。
オープンソース LLM についての議論では、常に次のような疑問が生じます。それは、オープンソース LLM とプロプライエタリ LLM はどう異なるのか、というものです。オープンソース LLM とプロプライエタリ LLM は、透明性、利用しやすさ、適応性、コミュニティとの関わり方が大きく異なります。
オープンソース LLM は、ユーザーが適切と判断した場合に自由に使用や改変が可能で、(改変したものなどすべてを含めて) 他のユーザーと共有することができます。これにより、下流のイノベーションに対するコラボレーション型のアプローチが促進され、開発者は特定のニーズに合わせてモデルをカスタマイズでき、活動的なエコシステムにも貢献して、そこから改善や新しいアプリケーションが登場し続けるようになります。基本的に、ベースモデルを改善し、細かく調整したモデルをオープンソースとして公開する開発者はすべて、そのコミュニティの AI エコシステムのメンバーになります。
これを可能にするために、オープンソース LLM は、モデルのアーキテクチャ、トレーニング、サポート対象となる用途の透明性に大きく依存しています。コミュニティへの導入や商用としての導入を最大化するには、事前トレーニングと評価に使用されるデータ、関連するリソース、基盤となるコード自体が、すべてアクセスして確認できるようになっている必要があります。プロプライエタリ LLM の場合、内部の仕組みは通常可視化されていないため、これはオープンソース LLM の大きな違いです。
オープンソース LLM は、柔軟性という形で自由度を高めており、組織では LLM を独自の仕様に合わせてカスタマイズできます。一方で、派生した LLM に導入された変更によってセキュリティが低下する可能性があるため、データとモデルに堅牢なガバナンスプラクティスが備わっているオープンソース LLM を選択し、新しいモデルが安全性とパフォーマンスに関する下流のユーザーの期待を満たせるようにすることが重要です。オープンソースのソリューションを使用すると、人材の採用と専門知識のトレーニング、法務費用の前払い、機能アップグレード、セキュリティのコンプライアンス、サポート、人材の維持、継続的なソフトウェアライフサイクル管理など、多大なコストがかかる可能性があります。
プロプライエタリ LLM は個々の事業体が管理したり所有したりしており、通常はライセンスと料金によって使用が制限されています。OpenAI や Google などの企業は強力な LLM を提供していますが、多くの場合、その用途は事前定義されたアプリケーションプログラミングインターフェイス (API) やプロバイダーが指定する特定のアプリケーションに限定されています。このクローズドなアプローチでは、カスタマイズや適応が限定的になり、コストが増加し、エンドユーザーと同じ地域に設置されていない推論クラウドコンピューターインフラストラクチャへのアクセスが制限される可能性があります。 さらに、プロプライエタリ LLM がオープンソースモデルの微調整されたバージョンを基盤として構築されていて、組織が独自の機能強化をしたり、パフォーマンスの向上や特殊機能などの「秘密の味付け」を加えたりして、そのバージョンをプロプライエタリ化していることがあります。このアプローチの例には Now LLM などの製品があり、カスタマイズされた改善により、オープンソースの選択肢とは一線を画すものになっています。
とはいえ、プロプライエタリ LLM ソリューションを使用することにはいくつかのメリットがあります。具体的には、自主開発型やライセンス提供型の LLM はセキュリティが強化され、より分かりやすい傾向があり、必要に応じて組織が提供するサポートで支援が受けられます。
オープンソースソフトウェアは目新しいものではありません。実際、初期のソフトウェアの中にはコンピューターを使用する人々の間で自由に共有されているものもありました。人工知能が出現したのは比較的最近ですが、オープンソースの背後にある概念は AI にも根付き始めています。ただし、透明性、コラボレーション、利用のしやすさという中心的な理念が共有されながらも、いくつかの大きな違いもあります。
オープンソースソフトウェアとは、誰でも自由にソースコードを利用、改変、共有できるようになっているプログラムやシステムを指します。オープンソースソフトウェアは、GNU General Public License (GPL) や Apache License のなどのライセンスによって管理されており、それらに使用条件と再配布条件の概要が記載されています。代表的な例には Linux、Apache HTTP Server、Mozilla Firefox などがあり、これらはグローバルの開発者コミュニティからの貢献を通じ成長し続けています。
人工知能の台頭に伴い、オープンソースソフトウェアの背後にある原則も AI に適応してきました。その結果、オープンソース AI が生まれました。Open Source Initiative は、オープンソース AI を次のように定義しています。 「AI システムは、以下のような自由を認める条件と方法で提供される AI システムです。
これらの自由は、完全に機能するシステムと、システムの個別要素の両方に適用されます。これらの自由を行使するための前提条件は、システムに改変を加えるための推奨される形式にアクセスできることです」
- どのような目的であれ、許可を得ることなくシステムを使用すること。
- システムがどのように機能するかを研究し、そのコンポーネントを検査すること。
- 出力を変更することを含め、どのような目的であれシステムを改変すること。
- どのような目的であれ、改変の有無に関わらず、他者が使用できるようにシステムを共有すること。
これらの自由は、完全に機能するシステムと、システムの個別要素の両方に適用されます。これらの自由を行使するための前提条件は、システムに改変を加えるための推奨される形式にアクセスできることです」
オープンソースソフトウェアと同様に、開発者が AI のコードに直接アクセスできるようにすることで、オープンソース AI は透明性を高めコラボレーションを促進しています。オープンソースのライセンスは、このエコシステムで中心的な役割を果たします。ライセンス (Blue Oak Model License など) には、AI の使用に関連する利用規約の概要が記載されています。これらの法的フレームワークは、オープンソース AI の利用しやすさを維持しながら貢献者を法的責任から保護するのに役立っています。
オープンソース LLM は、ライセンスでサポートされているオープンソース AI を採用することで、開発者がプロプライエタリシステムの制約を受けることなく、大規模言語モデルを特定のニーズに合わせて自由にカスタマイズし適応させられるようにしています。
オープンソース LLM の活用に関心のある組織には、多くの選択肢があります。現在利用可能で最も開発の透明性が高いオープンソース言語モデルをいくつか紹介します。
StarCoder は、Hugging Face 社と ServiceNow が主導する BigCode プロジェクトのオープンサイエンス型コラボレーションによって開発された、コード生成用のオープンソース LLM です。80 以上のプログラミング言語についてトレーニングされており、コード生成、ワークフロー生成、さらにはテキスト要約タスクにも優れています。StarCoder には、大きなコンテキストウィンドウやインフィリング機能などの独自機能があり、基盤モデルとしての強力な選択肢になっています。OpenRAIL-M の下でライセンスされており、倫理的で責任ある AI ユースケース限定で無料の商用利用が可能です。
ドイツの AI スタートアップ Aleph Alpha 社が開発した Luminous は、高度な自然言語理解機能と生成機能の提供に重点を置いています。高度な LLM (ChatGPT の最新バージョンなど) と競合できるよう設計されていながら、透明性と倫理的な AI 開発を実現しています。Luminous は 130 億個のパラメーターで構成され、小規模から大規模の言語アプリケーションまで、幅広いタスクで利用可能です。
IBM の Granite モデルは、エンタープライズグレードのアプリケーション向けに設計されたオープンソースコード LLM です。Granite モデルは 116 のプログラミング言語についてトレーニングされており、コード生成やバグ修正に加え、要約や説明など、より従来型の用途にも使用できます。Apache 2.0 ライセンス下でリリースされており、研究用と商用の両方に適しています。
Microsoft Research が開発した Phi-2 は、パラメーター 27 億個の軽量モデルですが、パフォーマンスの面では多くのより大規模なモデルに匹敵します。Phi-2 は、常識推論、コーディング、数学、言語理解などの複雑なタスクを実行できます。サイズが小さいので効率的な実験に最適で、Azure AI Studio で利用できます。
Stable Diffusion フレームワークの成功を基盤に構築された Stable Video Diffusion は、動画の生成と編集に焦点を当てたオープンソースモデルです。AI を活用して動的なビジュアルコンテンツを作成し、エンターテインメントや広告などの業界に強力なツールを提供します。
Meta 社の Llama 3 (最新リリースは 3.1 ) は、Llama ファミリーの最新モデルす。Llama 3 のモデルのサイズにはパラメーター数 80 億から 4,050 億までのバージョンがあり、旧モデルのアーキテクチャを基盤に構築されています。Llama 3 は、推論、コーディング、多言語タスクで優れたパフォーマンスを発揮し、安全でないコードを検出する安全ツールが拡張されています。
Google 社が開発した BERT (Bidirectional Encoder Representations from Transformers) はエンコーダーのみのトランスフォーマーモデルで、人間の言語を理解し生成するよう設計されています。BERT は 2018 年のリリース以来、テキスト分類、質問回答、感情分析などのさまざまな自然言語処理 (NLP) タスクに広く採用されています。比較的古いモデルであるにも関わらず、最新の NLP の構築に影響を与え続けています。
オープンソース LLM は汎用性に優れ利用しやすいことから、さまざまな業界に幅広いアプリケーションがあります。ここでは、代表的な適用方法をいくつか紹介します。
オープンソース LLM を使用すると、PDF を魅力的なポッドキャスト形式の音声に簡単に変換できます。複合 LLM ワークフローを実装することで、PDF のテキストを会話型スクリプトに変換し、高度な Text-to-Speech テクノロジーを使用して読み上げることができます。これは、アクセシブルなコンテンツや教材を作成したり、ドキュメントを新しい形式で生き生きと表現したりするのに最適です。
顧客からのフィードバックの背後にある感情を評価するのは難しい場合があります。オープンソースの LLM は、トレーニングすることで、テキストを分析して表現されている全体的な感情が好意的、否定的、中立のいずれかを判断できるようになります。これにより、組織は顧客の反応をより的確に理解し、製品やサービスを改善できます。感情分析は、ソーシャルメディアを監視して顧客インサイトを得るための重要なツールです。
オープンソース LLM モデルには、コードの提案、複雑なアルゴリズムの作成、コードのバグ修正、さらにはコードの文書化によって開発者を支援できるものが多くあります。自然言語の記述からコードスニペットを生成できるため、ユーザーはコードに何をしてほしいのかを平易な英語で伝えることができます。
LLM は、一貫性がありコンテキストに沿ったテキストを生成することに広く使用されています。これには、記事、ストーリー、仮想アシスタント向けのダイアログの作成などがあります。これは生成 AI (GenAI) の重要な役割であり、基本的にあらゆる分野に応用できます。
オープンソース LLM は、コンテンツ作成を自動化し、長文ドキュメントの要約を生成することができるため、ユーザーが膨大なテキストの要点をすばやく把握できるようになります。これは、大量の情報を効率的に処理する必要がある専門家にとって特に有益です。
LLM は言語の障壁を取り除くのに役立ちます。多くのオープンソース LLM は、多言語機能を備えており、複数の言語間でテキストを翻訳して、世界中の相手との明確なコミュニケーションを可能にします。こうしたモデルは多様な言語データセットでトレーニングされているため、単純な逐語翻訳にとどまらず、正確でコンテキストを意識した翻訳が可能です。
オープンソース LLM は、今日の AI チャットボットや仮想アシスタントに活用され、問い合わせに迅速かつ正確に応答することでカスタマーサポートを強化しています。LLM は、会話型タスク向けに設計されていると、ユーザーが自然に感じる方法で顧客とのやり取りを効果的に処理できます。また、LLM が対処する準備ができていないものがあった場合は、自動的に問題を人間のエージェントに回送するようにできます。
LLM を教育プラットフォームに統合することで、パーソナライズされた学習エクスペリエンスを提供できます。コンテンツを個人の学習スタイルに適合させたり、説明を提供したり、個々のユーザーのニーズと能力に合わせてカスタマイズした練習問題を生成したりできます。
- ヘルスケア
LLM を活用した AI 遠隔医療ソリューションにより、診断、情報提供、患者情報の整理を行える常時対応可能な仮想介護士が登場しています。AI チャットボットや仮想エージェントと同様に、これらのプログラムは広範なデータセットから得たインサイトに基づいて患者の問題を評価できるように設計されており、自分で支援すべきタイミングや、人間の医療チームにアラートを出すタイミングを判断できます。
- ファイナンス
ファイナンス業界では、オープンソース LLM により不正行為の検出の強化、カスタマーサポートの自動化、感情分析の実行による新たな傾向の特定を行っています。これらのモデルは、財務文書やその他のデータを分析し、リアルタイムの市場インサイトを提供します。
- ジャーナリズムや報道
ジャーナリストや報道機関は、要約や翻訳にオープンソース LLM を活用しています。LLM を使用すると、専有データをニュースルームの外に共有することなく、組織内で情報を分析できます。また、状況により即座に方向転換が必要な場合は、報道機関はオープンソース LLM に指示して、対象の受け取り手に向けた適切で有益なコンテンツを生成することができます。
- 科学を基盤とする業界
LLM は、文献レビュー、データ分析、仮説生成の自動化などで科学研究をサポートしていますが、さらに多くのことに活用できます。このモデルは非常に柔軟性が高いので、気候変動への対処から、DNA 配列の解析や天体物理学現象のモデリングまで、科学者があらゆる種類の研究に適用できます。
人間の言語による指示に従い、人間の言葉で応答できるカスタマイズ可能な自律システムというモデルがビジネスにもたらすメリットを想像するのは難しいことではありません。組織でオープンソース LLM を活用すると、次のようなことを期待できます。
オープンソース LLM には多くのメリットがある一方、特定のリスクもあります。以下の課題とその対処方法を理解することは、責任ある効果的な使用を維持するための重要な要素です。
オープンソース LLM は、無制限にアクセスできることで、有益な目的と同様、有害な目的にも簡単に使用できます。誤情報の拡散、プライバシーの侵害、機密情報や専有情報へのアクセスなど、それらすべてに AI が悪用される可能性があります。倫理的な使用を維持するには、コミュニティのプロアクティブなガバナンスと明確な指針で、イノベーションと安全性や責任とのバランスを取る必要があります。
オープンソース LLM に対するコミュニティの貢献内容は質にばらつきがあり、出力の一貫性が失われる可能性があります。標準化された監視体制がなければ、精度が重要なアプリケーションでは特に、モデルが信頼性の低い結果を生み出す可能性があります。高い基準を維持するには、コードの貢献すべてに対して常に目を光らせ、必要に応じて改良を加えることです。残念ながら、オープンソースコードを扱う際には、これが大きな負担になる可能性があります。
どんな AI も、性能はもとになる情報に左右され、その情報に偏見のある意見や不当な思い込みが含まれていると、AI がそれを学習し記憶してしまう可能性があります。LLM は、トレーニングデータに存在するバイアスの影響を受け、結果的に歪んだ不公正な出力を生み出すことがあります。慎重な監視を行い、多様性のあるデータを厳選して、AI が生成するコンテンツや判断のバイアスを軽減し、公平性と包括性を確保することが不可欠です。
組織がオープンソースの大規模言語モデル (LLM) を選定する場合、ニーズに最適なものを選択するために、考慮すべき要素がいくつかあります。最も重要な考慮事項としては次のものがあります。
- ゴール
LLM の主な利用目的を特定します。ビジネスに対してどんな成果を達成させるのでしょうか。何に重点を置くのでしょうか。研究用にカスタマイズされたモデルもあれば、商用利用に適したモデルもあります。LLM が特定のゴールに合致していることを確認します。
- 精度
モデルが対応するタスクにおける精度を評価します。コードのカスタマイズにしても、LLM によって適する用途は異なります。
- コスト
オープンソース LLM は無料ですが、モデルのホスティング、トレーニング、メンテナンスのコストを考慮しておきましょう。大規模なモデルでは、より多くのリソースが必要になるため、インフラストラクチャと運用のコストが増加する可能性があります。
- パフォーマンス
LLM の言語の流暢さ、一貫性、コンテキストの理解度を評価します。これらの領域で高いパフォーマンスを発揮できると、ユーザーエクスペリエンスとタスクの有効性が向上します。
- データセキュリティ
個人情報や専有情報を扱う場合は特に、LLM が機密データを安全に処理できることを確認します。
- 学習データの品質
LLM が使用した元のトレーニングデータの品質を確認します。データが高品質であると出力が向上します。必要に応じて、カスタムデータを使用してモデルを微調整し、結果を改善します。
- 利用可能なスキルセット
複雑な LLM には、データサイエンス、機械学習運用 (MLOps)、NLP の高度なスキルが必要です。LLM と最も深く関わって作業するチームが、必要な経験を保有していることを確認します。十分な経験がない場合は、そのスキルギャップを埋めるためのトレーニングや採用の計画を策定します。
ServiceNow は、Now LLM サービスを通じてトップクラスの独自言語モデルを提供し、チャットの要約、エージェントレコードの要約、AI で強化された検索、動的翻訳、シームレスな会話フローなどの高度な AI 主導型機能を実現しています。これらの機能は、オープンソースのイノベーションを基盤として構築されており、ServiceNow では、イニシアチブの一環として、StarCoder などの基盤モデルをオープンにトレーニングしています。これらのモデルを独自の Now LLM に改良し、組織全体の生産性を最適化し、卓越した生成 AI エクスペリエンスを提供するよう特化したカスタマイズを行います。
Hugging Face 社や NVIDIA 社などのパートナーとのコラボレーションを通じて強化したこのオープンソース基盤により、ServiceNow は責任を持って AI を進化させながら、価値あるイノベーションをコミュニティと共有できます。このアプローチにより、自動化されたワークフローの推奨から正確な Text-to-Code 生成まで、強力で専門的な AI スキルがもたらすベネフィットを組織が活用できます。また、Now LLM は完全に統合された Now Platform®の一部であるため、既存のワークフローやアプリケーションをシームレスに強化し、すべての部門の効率を高めます。
ServiceNow の実際の動作を見て、AI と LLM でオペレーションを強化する方法を確認しましょう。今すぐデモをご予約ください。