NVIDIA Chat with RTX: 自宅のPCで簡単にカスタマイズ可能なAIチャットボットを作成

NVIDIA はローカル PC でローカルデータを使って自分にカスタマイズした AI チャットボットを簡単に作成できるツール「Chat with RTX」を無料で公開しました。GeForce RTX 30 シリーズ以降の 8GB 以上のグラフィックカード搭載の PC が利用できます。

毎日、世界中の何百万人もの人々がNVIDIA GPUベースのクラウドサーバーによって動かされているチャットボットを使用しています。今、これらの革新的なツールがNVIDIA RTXによって動かされるWindows PCにローカルで、速く、カスタマイズ可能な生成AIとして登場します。

ツールはここで無償ダウンロード可能です。

なんでも聞いてください

Chat with RTX は、検索拡張生成（RAG）、NVIDIA TensorRT-LLM ソフトウェア、および NVIDIA RTX アクセラレーションを使用して、ローカルの GeForce 搭載 Windows PC に生成 AI の機能を提供します。ユーザーは、PC 上のローカルファイルを Mistral や Llama 2 のようなオープンソースの大規模言語モデルにデータセットとして簡単に、迅速に接続でき、迅速で文脈に関連した回答を求めるクエリを可能にします。

ユーザーは、メモや保存したコンテンツを検索する代わりに、単純にクエリを入力することができます。例えば、「ラスベガスにいる間にパートナーがおすすめしたレストランは何でしたか？」と尋ねることができ、Chat with RTX はユーザーが指定したローカルファイルをスキャンして、文脈を含めた答えを提供します。

このツールは、.txt、.pdf、.doc/.docx、および .xml を含むさまざまなファイル形式をサポートしています。これらのファイルが含まれるフォルダをアプリケーションに指定すると、ツールは数秒でライブラリにファイルを読み込みます。

ユーザーは、YouTube の動画やプレイリストからの情報も含めることができます。動画の URL を Chat with RTX に追加することで、ユーザーはこの知識をチャットボットに統合し、文脈に基づいたクエリを可能にします。例えば、お気に入りのインフルエンサーの動画のコンテンツに基づいた旅行のおすすめを尋ねたり、トップの教育リソースに基づいたクイックチュートリアルやハウツーを得ることができます。

Chat with RTX が Windows RTX PC およびワークステーション上でローカルに動作するため、提供される結果は速く、ユーザーのデータはデバイス上に残ります。クラウドベースの LLM サービスに依存する代わりに、Chat with RTX はユーザーが第三者と共有したりインターネット接続を必要としたりすることなく、ローカル PC 上で機密データを処理できるようにします。

GeForce RTX 30 シリーズ GPU またはそれ以上で最低 8GB の VRAM を必要とするほか、Chat with RTX は Windows 10 または 11 と、最新の NVIDIA GPU ドライバを必要とします。

RTX で LLM ベースのアプリケーションを開発する

Chat with RTX は、RTX GPU で LLM を加速する可能性を示しています。このアプリは、GitHub 上で入手可能な TensorRT-LLM RAG 開発者リファレンスプロジェクトから構築されています。開発者はこのリファレンスプロジェクトを使用して、TensorRT-LLM によって加速された自分自身の RAG ベースのアプリケーションを RTX 用に開発およびデプロイできます。LLM ベースのアプリケーションの構築についてさらに学びましょう。

NVIDIA Generative AI on NVIDIA RTX 開発者コンテストに、ジェネレーティブ AI を搭載した Windows アプリまたはプラグインをエントリーしてください。コンテストは金曜日の 2月23日まで実施中で、GeForce RTX 4090 GPU、NVIDIA GTC へのフルパスカンファレンス参加券などの賞品がチャンスです。