Google Gemini 1.5 現在配備了一個巨大的 100 萬個代幣上下文窗口，使其在 ChatGPT、Claude 和其他 AI 聊天機器人中的直接競爭對手相形見絀。

這聽起來像是一次大規模升級，可以讓雙子座與眾不同。要全面了解它的範圍有點困難，但雙子座巨大的上下文視窗可能會改變遊戲規則。

什麼是上下文視窗？

在回答您的查詢時，例如解釋概念或總結文本，AI 模型在產生回應時可以考慮的資料量是有限的。它可以考慮的文字大小的限制稱為上下文視窗。

這是另一種看待它的方式。假設您去雜貨店購買雜貨，但沒有雜貨清單。您在購物時記住的雜貨數量的限制是您的上下文視窗。您記住的雜貨越多，不打亂您的購物計劃的機會就越大。同樣，人工智慧模型的上下文視窗越大，模型記住為您提供最佳結果所需的一切的機會就越大。

在撰寫本文時，Anthropic 的 Claude 2.1 的 200k 上下文視窗是任何通用 AI 模型中最大的上下文視窗。其次是具有 128k 上下文視窗的 GPT-4 Turbo。 Google Gemini 1.5 帶來了 100 萬個上下文窗口，是市場上任何產品的四倍。這就引出了一個大問題：一百萬個令牌上下文視窗有什麼大不了的？

為什麼Gemini 1.5 的上下文視窗很重要

從更清晰的角度來看，Claude AI 的200k 上下文視窗意味著它可以消化一本大約15 萬字的書，並提供答案。那是巨大的。但 Google 的 Gemini 1.5 一次就能消化 70 萬個單字！

當您將大文本塊輸入 ChatGPT 或 Gemini 等 AI 聊天機器人時，它會嘗試消化盡可能多的文本，但它能消化多少取決於其上下文視窗。因此，如果您的對話在只能處理 28k 字的模型上進行了 100k 字，然後開始提出要求其完全了解整個 100k 字對話的問題，那麼您將使其失敗。

想像一下，一小時長的電影只看了 20 分鐘，卻被要求解釋整部電影。你的結果會有多好？你要嘛拒絕回答，要嘛乾脆編造一些東西，這正是人工智慧聊天機器人會做的事情，導致人工智慧幻覺。

現在，如果您認為您從未需要向聊天機器人輸入 10 萬個單詞，那麼這並不是全部考慮因素。上下文視窗超越了您在單一提示中向 AI 模型提供的文字。人工智慧模型會考慮您在聊天會話期間進行的整個對話，以確保他們的回應盡可能相關。

因此，即使您沒有給它一本 100k 單字的書，您的來回對話和它提供的回應都會添加到上下文視窗計算中。想知道為什麼 ChatGPT 或 Google 的 Gemini 總是忘記你之前在對話中告訴它的事情？它可能耗盡了上下文視窗空間並開始忘記東西。

較大的上下文視窗對於需要深入理解上下文的任務尤其重要，例如總結長文章、回答複雜問題或在生成的文本中保持連貫的敘述。想要寫一本 5 萬字且敘事自始至終一致的小說嗎？想要一個可以「觀看」一小時影片檔案並回答問題的模型嗎？您需要更大的上下文視窗！

簡而言之，Gemini 1.5 更大的上下文視窗可能會顯著提高其 AI 模型的效能，減少幻覺，並顯著提高準確性和更好地遵循指令的能力。

Gemini 1.5能否不負眾望？

如果一切按計劃進行，Gemini 1.5 可能會超越市場上最好的人工智慧模型。然而，考慮到谷歌在建立穩定的人工智慧模型方面多次失敗，謹慎行事是很重要的。單獨增加模型的上下文視窗並不會自動使模型變得更好。

自發布以來，我已經使用Claude 2.1 的200k 上下文窗口幾個月了，有一點我很清楚——更大的上下文窗口確實可以提高上下文敏感性，但是核心模型性能的問題可能會導致更大的背景本身就是一個問題。

Google Gemini 1.5 會為我們帶來遊戲規則改變者嗎？目前，社群媒體上充斥著搶先體驗用戶對 Gemini 1.5 的熱烈評論。然而，大多數 5 星級評論都源於倉促或簡化的用例。 Google 的 Gemini 1.5 技術報告 [PDF] 是檢視 Gemini 1.5 在野外表現的好地方。該報告顯示，即使在「受控測試」期間，該模型也無法在其上下文視窗的大小範圍內很好地檢索文件的所有微小細節。

100萬個token上下文窗口確實是一項令人印象深刻的技術壯舉，但是如果不能可靠地檢索文檔的詳細信息，那麼更大的上下文窗口沒有什麼實用價值，甚至可能成為下降的原因準確性和幻覺。