今日は、ユーザーのブラウザ上で AI を直接実行するための JavaScript SDK である Offload を共有したいと思います。

オフロードとは何ですか?

AI をウェブサイトに追加するために使用できる SDK ですが、特徴が 1 つあります。これにより、ユーザーは AI タスクをローカルで実行し、データをデバイス上に保持し、データを送信する必要がなくなります。サードパーティ推論 API へ。

さらに、コストが削減され、アプリケーションを低コストで拡張できるようになります。ユーザーのデバイスにオフロードされる推論が増えるほど、サードパーティ API に割り当てたり費やす必要があるリソースが減ります。

あなたがアプリケーション開発者の場合、Offload を統合するとアプリケーションが改善されるだけです。これは、ユーザーが何の努力もせずにローカルでデータを処理できる機能をユーザーに提供しながら、通常どおり動作し続けるためです。

オフロード機能

推論関数の呼び出しを変更するだけで、現在使用している SDK を直接置き換えるものとして Offload を統合できます。

オフロードは、デバイスとそのリソースに応じて、さまざまなサイズのモデル**を自動的にユーザーに提供します**。ユーザーのデバイスに十分なリソースがない場合、オフロードはそのユーザーにデータをローカルで処理するオプションを表示せず、ダッシュボード経由で指定した API にフォールバックします。

ダッシュボードでは、プロンプトの構成と管理、さまざまなモデルに合わせたプロンプトのカスタマイズとテスト、ユーザーからの分析の取得などを行うことができます。すべてがデバイス上で処理されるため、ユーザーのデータを第三者に公開することはありません。

オフロードは、テキスト応答の生成、JSON スキーマを介した構造化データ オブジェクトの強制、テキスト応答のストリーミングなどをサポートします。

弊社がサポートしていないもので他に見たいものがあれば、コメントを残してください。

オフロードが重要なのはなぜですか?

私はローカル AI が未来だと信じています。しかし、AI が進歩し続けるにつれて、データがどのように処理されるかについてますます懸念が高まっています。

今日、AI 機能を実装するすべてのアプリケーションはリモート API を使用し、ユーザーのデータを送信します。これらのアプリケーションのほとんどは、OpenAI、Anthropic などのパブリック API を使用します。フローは単純です。アプリケーションはユーザー データを収集し、それをプロンプトとともにリモート API に送信し、生成されたテキストまたは画像で応答します。

このアプローチの大きな問題は、アプリケーションにドキュメント (または写真、ビデオ、その他のデータ) へのアクセスを許可すると、ドキュメントがリモート API に送信され、その中に機密情報が含まれる可能性があることです。が含まれています。リモート API はプロンプトを記録したり、そのデータを使用して新しいモデルをトレーニングしたり、他の目的でデータを販売したりする可能性があります。

LLM がある今、データプライバシーの問題はさらに悪化していると思います。 LLM を使用すると、これまで不可能だった新しい方法で大量の非構造化情報のインデックスを作成できるため、個人情報が漏洩する危険性が高まります。

たとえば、日記があるとします。そこには、あなたが住んでいる場所、スケジュール、友達は誰なのか、どこで働いているのか、収入はいくらなのかなどが含まれる可能性があります。直接書かれていなくても、日記の内容から推測できるだろう。これまでは、その情報を推測するには、誰かがその情報をすべて読む必要がありました。ただし、LLM を使用すると、数秒でなりすますのに十分なデータを取得できる可能性があります。

アプリを使用して日記とチャットすると、情報が何らかの API に送信されるため、情報が公開される可能性があります。
一方、そのようなアプリケーションがオフロードを使用する場合は、データがデバイスの外に出ず、公開されることがないため、安全に使用できます。

これは、医療、法律、文書処理アプリ、パーソナル アシスタントなど、機密性の高いデータを扱う業界では特に重要です。

今すぐアプリケーションにオフロードを統合してください!