عداء استدلال Windows الأول لوحدة المعالجة المركزية للنماذج المحلية و التضمينات
تشغيل نماذج اللغة الصغيرة واستخراج تضمينات المتجهات على وحدة المعالجة المركزية، وتنفيذ نماذج GGUF مع تحسينات AVX2 و FMA3 للاستدلال المحلي (25 كلمة). توفر RagIQ هذه الأداة لنظام Windows كملف ثنائي ثابت واحد لأتمتة تكنولوجيا المعلومات والمطورين (13 كلمة). تكامل سطر الأوامر، عدم وجود مكتبات DLL خارجية، وتوزيع WinGet يبسطان النشر والبرمجة النصية (22 كلمة). مناسبة للبيئات المحلية، المعزولة، والمحدودة الموارد التي تسعى لتنفيذ النموذج باستخدام وحدة المعالجة المركزية فقط (22 كلمة).
ما الذي يفعله RuntimeEngine فعليًا لعمليات الذكاء الاصطناعي المحلية
يقوم RuntimeEngine بتشغيل استدلال SLM واستخراج التضمينات محليًا، باستخدام مشغل C++ أصلي مبني على نواة llama.cpp ودعم GGUF الأصلي. يقبل ملفات نماذج GGUF وينتج مخرجات نصية وتضمينات متجهة عبر واجهة سطر الأوامر، لذا تقوم بإدخال نموذج ومطالبة على سطر الأوامر وتستقبل استدلالًا أو متجهات تضمين في المقابل. تصميم الملف التنفيذي الثابت يتجنب المتطلبات الخارجية عند نشره على صورة ويندوز نظيفة.
كيف يؤثر على موارد النظام أثناء الاستدلال
يستهدف المحرك تنفيذ وحدة المعالجة المركزية باستخدام تعليمات المتجه AVX2 و FMA3، مما يحول العمل إلى خطوط أنابيب وحدة المعالجة المركزية المتجهة بدلاً من وحدة معالجة الرسومات. توقع استخدامًا مستمرًا لوحدة المعالجة المركزية وذاكرة الوصول العشوائي أثناء التشغيل لأن الاستدلال ينفذ على ذاكرة النظام؛ تم تحسين الملف الثنائي للأداء على وحدات المعالجة المركزية للخوادم وأجهزة الكمبيوتر المكتبية القياسية، مما يعني أنه يستخدم وحدات المتجه المتاحة بدلاً من الاعتماد على تحميل وحدة معالجة الرسومات.
هل من الآمن تشغيله في بيئات آمنة أو معزولة عن الشبكة؟
تم تصميم الأداة للاستخدام غير المتصل وعلى الأرض: الملف التنفيذي مرتبط بشكل ثابت ولا يتضمن أي تبعيات DLL خارجية، مما يتيح التشغيل على الآلات المعزولة عن الشبكة دون تثبيت حزم إعادة التوزيع. تتناسب توجيه سطر الأوامر مع الأتمتة النصية وعمليات تكنولوجيا المعلومات، ويضمن التعامل مع GGUF الأصلي بقاء ملفات النموذج محلية، مما يقلل من الحاجة إلى مكالمات API الصادرة عند معالجة البيانات الحساسة.
كم من المعرفة التقنية مطلوبة لتشغيله بشكل صحيح
نظرًا لأن RuntimeEngine يوفر واجهة سطر الأوامر وملف ثنائي ثابت واحد، فإنه يتوقع معرفة بأساليب سطر الأوامر والتعامل مع ملفات النماذج. يمكن لموظفي الأنظمة وDevOps برمجة ذلك في PowerShell أو مهام الدُفعات. سيحتاج المستخدمون العاديون إلى تعلم إعداد نموذج GGUF وصياغة الأوامر، بينما يمكن للمطورين دمج الملف الثنائي في خطوط أنابيب الأتمتة الحالية دون أوقات تشغيل إضافية.
RuntimeEngine عملي للمشغلين الذين يحتاجون إلى استنتاج محلي يعتمد فقط على وحدة المعالجة المركزية
يتناسب RuntimeEngine مع محترفي تكنولوجيا المعلومات والمطورين الذين يحتاجون إلى تنفيذ SLM محلي بدون اعتمادات Python أو DLL، خاصة في البيئات الآمنة أو المعزولة. تبسط توزيعه الثابت وWinGet عملية التوزيع عبر تثبيتات Windows النظيفة. توقع منحنى تعلم لاستخدام واجهة سطر الأوامر وتحضير النموذج؛ ستجد الفرق العملياتي المتمرس أنه عنصر موثوق به لاستخراج التضمين والاستنتاج المبرمج. موصى به.
