Введение

При создании интересных проектов с помощью приложений расширенной генерации данных (RAG) мы часто сталкиваемся с такими ограничениями, как ограничения просмотра, затрудняющие получение последней информации или текущих данных, например обновления погоды (надеюсь, что-то более забавное). Чтобы решить эту проблему, мы можем оснастить наше приложение RAG инструментами для поиска в Интернете. Давайте погрузимся!

 Наш станок для инструментов

• LangChain (фреймворк для создания приложений с большими языковыми моделями)
• SearXNG (бесплатная метапоисковая система)
• CPython (оболочка языка C :> )
• Докер (человек с классным хлебом)

Настраивать

Сначала мы начнем с установки SearXNG.

1 -) Получить докер SearXNG

клон git https://github.com/searxng/searxng-docker.git

2-) Отредактируйте файл .env, чтобы указать имя хоста и адрес электронной почты

3 -) Сгенерировать секретный ключ

sed -i "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml


sed -i"" -e "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml 


$randomBytes = New-Object byte[] 32
(New-Object Security.Cryptography.RNGCryptoServiceProvider).GetBytes($randomBytes)
$secretKey = -join ($randomBytes | ForEach-Object { "{0:x2}" -f $_ })
(Get-Content searxng/settings.yml) -replace 'ultrasecretkey', $secretKey | Set-Content searxng/settings.yml

4-) Обновите файл searchxng/settings.yml, чтобы включить доступные форматы поиска и отключить ограничитель для нашего экземпляра LangChain:

use_default_settings: true
server:
  # base_url is defined in the SEARXNG_BASE_URL environment variable, see .env and docker-compose.yml
  secret_key: ""  # change this!
  limiter: false
  image_proxy: true
ui:
  static_use_hash: true
redis:
  url: redis://redis:6379/0

search:
    formats:
        - html
        - json

5-) Запустите экземпляр SearXNG

составить докер

Проверьте развертывание SearXNG в Docker. Если все в порядке, вы готовы продолжить.

 Демо-приложение

1 -) Создайте виртуальную среду и активируйте

python3 -m venv .venv
source .venv/bin/activate

2 -) Установить Langchain

pip install langchain langchain-community

3 -) Создайте main.py

## Simple Get Results
from langchain_community.utilities import SearxSearchWrapper
import pprint

s = SearxSearchWrapper(searx_host="http://localhost:8080",)
result = s.results("What is RAG?", num_results=10, engines=["google"])
pprint.pprint(result)

## Github Tool

from langchain_community.tools.searx_search.tool import SearxSearchResults

wrapper = SearxSearchWrapper(searx_host="**")
github_tool = SearxSearchResults(name="Github", wrapper=wrapper,
                            kwargs = {
                                "engines": ["github"],
                                })

И вот оно! Ваше приложение RAG теперь имеет возможности поиска. Это руководство не представляет ничего нового, но призвано объединить шаги по добавлению функции веб-поиска в ваше приложение RAG. Надеюсь, это поможет!