خلال العام الماضي، ظهر عدد كبير من الأدوات ذات الذكاء الاصطناعي لتسهيل حياة المستخدمين، سواء كان ذلك إنشاء الصور أو روبوتات الدردشة، وحتى التوسع في الأدوات التي تنفذ عمليات هائلة واحترافية العمليات.

لقد قمت بالبحث والتعلم واختبار العديد من هذه الأدوات بدءًا من chatgpt وgemini وdall-e أو midjourney، وجميعها تعمل بشكل جيد للغاية ولكن عندما أرغب في توسيع نطاق تطبيقاتي باستخدام هذه الأدوات أجد أنها لا تحتوي على مصدر بديل مجاني أو مفتوح.

لقد جعلني هذا أتقدم ببحثي خطوة أخرى إلى الأمام وعثرت على واجهة مستخدم للنشر المستقر (إنشاء الصور، https://github.com/AUTOMATIC1111/stable-diffusion-webui) ومع * ollama *(Chatbot, https://ollama.com/)، كلاهما أدوات مفتوحة المصدر تسمح لك بتشغيل خدمة كواجهة برمجة التطبيقات (API) لاستهلاكها من أي من تطبيقاتنا، وبهذا فقد ذهبت خطوة أخرى إلى الأمام باستخدام البدائل مفتوحة المصدر، ولكن لكي ينجح هذا، يجب أن أبقي هذه الأدوات قيد التشغيل لتستهلكها تطبيقاتنا.

لفهم كيفية جلب ذلك إلى تطبيقاتنا، من المهم فهم كيفية عمل هذه الأدوات، وما تفعله بشكل أساسي هو استخدام الملفات ذات ملحق "safetensors" والتي تكون LLM أو نماذج لغة كبيرة، ويتم تدريب هذه النماذج على الأداء وظائف مختلفة وفقًا لاحتياجات الشخص الذي يقوم بتدريبها (على سبيل المثال: إنشاء الصور، والترجمة، وتطوير التعليمات البرمجية، وchatbot، وغيرها).

من خلال فهم القليل عن نماذج LLM وملفات "الأدوات الآمنة"، نحصل على السؤال التالي: كيفية استخدام هذه الملفات في تطبيقاتي، وهنا يأتي دور HugginFace، موقع ويب/قاعدة بيانات للذكاء الاصطناعي مفتوح المصدر النماذج، وقاموا بإنشاء مكتبتهم الخاصة للبايثون مع مكونين مفيدين للغاية لما نريده "المحولات" و"الموزعون".

*المحولات *(https://huggingface.co/docs/transformers/index) هو المكون الذي يسمح لنا باستهلاك أي نموذج نصي متخصص، على سبيل المثال تحويل الصوت إلى نص أو العكس، صندوق الدردشة باعتباره شعلة ميتا، من بين أمور أخرى.

استيراد المحولات

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

الناشرون (https://huggingface.co/docs/diffusers/index) هو المكون الذي يسمح لنا باستهلاك أي نموذج متخصص في توليد الصور، على سبيل المثال الانتشار المستقر.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

تُعرف هذه العملية باسم LLM Model Inference، ومن هنا بناءً على هذه المعلومات يمكنك البدء في تطبيق الذكاء الاصطناعي في تطبيقاتك المختلفة باستخدام Python.

تجدر الإشارة إلى أنني حاولت أيضًا استخدام الاستدلال النموذجي مع لغة أخرى مثل العقدة والحقيقة هي أنها لا تعمل بشكل جيد مع لغة بايثون، ولكن من المهم الإشارة إلى أن هناك حاجة إلى أجهزة قوية لـ LLM استنتاج النموذج بحيث يمكنك توفير ما يمكنك توفيره باستخدام ChatGPT أو Gemini APIs الذي يمكنك إنفاقه على شراء الأجهزة المناسبة.

هذه هي مقالتي الأولى، وآمل أن يساعدك طريقي في استخدام نماذج LLM في تطوير البرمجيات على تخطي الخطوات على هذا المسار.