AIを活用したチャットボットなど ChatGPT と Google Bard は確かにその瞬間を迎えています。次世代の会話型ソフトウェア ツールは、私たちの Web 検索を引き継ぐことから、創造的な文献の無限の供給を生成すること、世界中のすべての知識を記憶することまで、あらゆることを行うことを約束します。
ChatGPT、Google Bard、およびそれらのような他のボットは、その例です 大規模な言語モデル、またはLLMであり、それらがどのように機能するかを掘り下げる価値があります. つまり、それらをより有効に活用できるようになり、彼らの得意なこと (そして、彼らが本当に信頼すべきではないこと) をよりよく理解できるようになるということです。
声を認識したり、猫の写真を生成したりするように設計された多くの人工知能システムと同様に、LLM は膨大な量のデータでトレーニングされます。 それらの背後にある企業は、そのデータがどこから来たのかを正確に明らかにすることに関してはかなり慎重ですが、私たちが見ることができる特定の手がかりがあります.
例えば、 研究論文 Bard が構築されている LaMDA (対話アプリケーションの言語モデル) モデルの紹介では、ウィキペディア、「公開フォーラム」、および「Q&A サイト、チュートリアルなどのプログラミングに関連するサイトのコード ドキュメント」について言及しています。 そんな中、レディット 充電を開始したい 18年間のテキスト会話へのアクセスと、StackOverflowも課金を開始する計画を発表したばかりです. ここでの含意は、LLM がこの時点までソースとして両方のサイトを完全に無料で、それらのリソースを構築および使用した人々の後ろ盾で広範囲に使用してきたことです。 Web 上で公開されているものの多くが、LLM によってスクレイピングおよび分析されていることは明らかです。
このすべてのテキスト データは、それがどこから来ても、複数のノードとレイヤーで構成される一般的に使用されるタイプの AI エンジンであるニューラル ネットワークを介して処理されます。 これらのネットワークは、以前の試行錯誤の結果を含む多数の要因に基づいて、データの解釈方法と意味を理解する方法を継続的に調整します。 ほとんどの LLM は、特定のニューラル ネットワーク アーキテクチャを使用します。 トランスフォーマーと呼ばれる、言語処理に特に適したいくつかのトリックがあります。 (Chat の後の GPT は Generative Pretrained Transformer を表します。)
具体的には、トランスフォーマーは膨大な量のテキストを読み取り、単語とフレーズの相互関係のパターンを特定し、次にどの単語が来るかを予測できます。 LLM が過給されたオートコレクト エンジンと比較されているのを聞いたことがあるかもしれませんが、それは実際にはそれほど的外れではありません。十分に進んだ段階になると、本物の思考と創造性のように見えます。
これらのトランスフォーマーの重要なイノベーションの 1 つは、セルフアテンション メカニズムです。 段落で説明するのは難しいですが、本質的には、文中の単語が孤立して考えられるのではなく、さまざまな洗練された方法で相互に関連していると見なされることを意味します。 これにより、他の方法よりも高いレベルの理解が可能になります。
コードにはランダム性とバリエーションが組み込まれているため、Transformer チャットボットから毎回同じ応答が得られるとは限りません。 この自動修正の考え方は、エラーがどのように侵入するかについても説明しています。根本的なレベルでは、ChatGPT と Google Bard は、何が正確で何が正しくないかを認識していません。 彼らは、もっともらしく、自然に見え、訓練されたデータと一致する応答を探しています。