Neste guia, você aprenderá como executar Large Language Models (LLMs) em sua máquina local e criar seu próprio LLM. Também abordaremos como criar uma API para seu modelo personalizado usando a biblioteca ollama-js em Node.js.

Passo 1: Instalando o Ollama

Ollama é a escolha ideal para executar LLMs localmente devido à sua simplicidade e compatibilidade com máquinas sem uso intensivo de GPU. Comece instalando o Ollama no site oficial:

Site oficial de Ollama

Etapa 2: selecionando seu modelo LLM preferido

Depois de instalar o Ollama, você pode escolher entre uma variedade de modelos LLM disponíveis. Você pode encontrar a lista de modelos disponíveis no repositório GitHub:

Repositório GitHub Ollama

Etapa 3: executando o modelo localmente

Para executar o modelo localmente, use o seguinte comando em seu terminal. Observe que a primeira execução pode demorar mais, pois o Ollama baixa e armazena o modelo localmente. As execuções subsequentes serão mais rápidas, pois o modelo é acessado localmente.

ollama run {model_name}

Etapa 4: Criando seu próprio LLM

Para criar seu LLM personalizado, você precisa criar um arquivo de modelo. Abaixo está um exemplo de como definir seu modelo:

FROM 

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

Salve como arquivo de modelo. Para criar o modelo a partir deste arquivo, execute o seguinte comando em seu terminal:

ollama create mrkamalkishor -f ./modelfile

Depois de criar o modelo, você pode interagir com ele localmente usando:

ollama run mrkamalkishor

Etapa 5: Criando uma API Node.js para o modelo personalizado

Para esta etapa, usaremos a biblioteca ollama-js para criar uma API em Node.js.

1. Instale a biblioteca Ollama em seu projeto Node.js:

npm install ollama

1. Crie seu endpoint de API:

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

Este código configura um servidor Express.js com um endpoint para interagir com seu modelo personalizado. Quando uma solicitação POST é feita para /ask-query com um corpo JSON contendo a consulta do usuário, o servidor responde com a saída do modelo.

Resumo

Seguindo essas etapas, você pode instalar o Ollama, escolher e executar LLMs localmente, criar seu LLM personalizado e configurar uma API Node.js para interagir com ele. Essa configuração permite que você aproveite modelos de linguagem poderosos em sua máquina local sem a necessidade de hardware com uso intensivo de GPU.