در دنیای هوش مصنوعی لبه (Edge AI)، اجرای مدل‌های زبانی روی سخت‌افزارهای کم‌توان همیشه چالش‌برانگیز است. اما مدل Needle 3 از شرکت Cactus Compute نشان می‌دهد که می‌توان با تنها ۲۹ مگابایت حافظه، رزبری پای ۵ را به یک ابزار خودکارسازی توانمند تبدیل کرد؛ آن هم بدون نیاز به سخت‌افزار جانبی AI HAT.
Needle 3 چیست و چه تفاوتی با LLMهای معمول دارد؟
مدل‌های زبانی بزرگ (LLM) معمولاً برای پاسخ‌دهی در رابط چت به میلیاردها پارامتر نیاز دارند. همین موضوع باعث می‌شود حتی مدل‌های سبک ۳ تا ۴ میلیارد پارامتری نیز روی سیستم‌هایی مانند رزبری پای با سرعت کمتر از ۱۰ توکن بر ثانیه اجرا شوند. در مقابل، Needle 3 قابلیت چت عمومی را کنار گذاشته و بر وظایف سطح ماشین تمرکز می‌کند.
- فراخوانی ابزار (Tool Calling) برای سرویس‌های مختلف
- تبدیل داده‌های بدون ساختار به قالب JSON
- تولید فضای برداری (Vector Space) از ورودی‌های متنی
این سه قابلیت به Needle 3 اجازه می‌دهد بدون سربار محاسباتی معمول چت‌بات‌ها، وظایف متداول هوش مصنوعی را انجام دهد. معماری نردبانی قابل برش (Sliceable Ladder Architecture) این مدل نیز امکان انتخاب زیرشبکه‌هایی از ۲ تا ۲۰ لایه را بر اساس توان سیستم فراهم می‌کند.
اجرا روی رزبری پای ۵ و DietPi
در این آزمایش، از رزبری پای ۵ مدل ۸ گیگابایتی استفاده شده است. برای سیستم‌عامل، ابتدا Raspberry Pi OS Lite مدنظر بود، اما به دلیل ردپای کوچک‌تر DietPi، این توزیع انتخاب شد. تلاش برای اجرای Needle 3 روی رزبری پای زیرو نسل اول به دلیل عدم پشتیبانی مدل از معماری قدیمی ARMv6 با خطا مواجه شد.
راه‌اندازی روی رزبری پای ۵ نسبتاً ساده بود. ابتدا بسته‌های لازم با دستور sudo apt install -y python3-venv python3-pip git نصب شدند. سپس یک محیط مجازی پایتون (Python Virtual Environment) با دستور python3 -m venv ~/needle-env ایجاد و با source ~/needle-env/bin/activate فعال شد. در ادامه، محیط اجرایی با pip install cactus-needle دریافت شد و پس از چند تلاش، نصب بسته‌های تکمیلی مانند numpy، sentencepiece، jax، flax، requests و python-dotenv نیز انجام گرفت.
ساخت مدل با دستور needle build --platform linux-arm64 --layers 20 --out ./pi بدون مشکل انجام شد. برای پرچم --layers هر ۲۰ لایه انتخاب شد، اما در صورت استفاده از یک میکروکنترلر ضعیف‌تر می‌توان تعداد لایه‌ها را تا ۲ کاهش داد.
اتصال به Home Assistant و فراخوانی ابزار
یکی از جذاب‌ترین بخش‌های Needle 3، قابلیت فراخوانی ابزار است. این مدل با سرویس‌های خودمیزبان (Self-Hosted) نیز کار می‌کند و مستندات رسمی، خودکارسازی خانه هوشمند محلی را یکی از کاربردهای آن معرفی کرده است. برای اتصال به Home Assistant، فایل .needle-ha.env با آدرس سرور و یک توکن دسترسی طولانی‌مدت (Long-Lived Access Token) ساخته شد.
سپس با یک اسکریپت پایتون، ابزاری برای کنترل یک پریز هوشمند (Smart Plug) تعریف شد. اجرای این اسکریپت باعث می‌شود Needle 3 درخواست کاربر را دریافت کند و ابزار مناسب را فراخوانی کند. در آزمایش انجام‌شده، مدل بدون مشکل دستور را درک کرد و دستگاه بی‌درنگ روشن شد.
از نظر عملکرد، ترکیب رزبری پای ۵ و Needle 3 توانست نرخ رمزگشایی (Decode Rate) ۲۸۰.۲ توکن بر ثانیه و نرخ پیش‌پردازش (Prefill Rate) ۹۹۶.۴ توکن بر ثانیه را ثبت کند که برای وظایف هوش مصنوعی لبه بسیار چشمگیر است.
قابلیت سفارشی‌سازی و کاربردهای آینده
در حال حاضر Needle 3 تنها یک اقدام ساده را انجام می‌دهد، اما بخش اصلی ماجرا زمانی آغاز می‌شود که ابزارهای بیشتری به فایل پایتون اضافه شوند. می‌توان ابزارهایی برای دستگاه‌های هوشمند متعارف، ماژول‌های حسگر، محصولات اینترنت اشیای DIY مبتنی بر ESP32 و حتی سرویس‌های متن‌باز (FOSS) که Home Assistant آن‌ها را به عنوان موجودیت (Entity) می‌شناسد، تعریف کرد.
همچنین می‌توان Home Assistant را کنار گذاشت و از Needle 3 برای تحلیل اسناد، ایمیل‌ها و صفحات گسترده استفاده کرد. حتی می‌توان با رویکرد داکر (Docker)، جنبه‌های مختلف یک ایستگاه کاری خودمیزبان را در اختیار این مدل لبه قرار داد. البته ساخت کد لازم برای همه این ابزارها زمان‌بر است، اما عملکرد فوق‌العاده Needle 3 این تلاش اضافه را توجیه می‌کند.
در مجموع، Needle 3 با وجود نیاز به تنظیمات پایتون، یک مدل هوش مصنوعی فوق‌سبک و کارآمد برای خودکارسازی محلی روی رزبری پای ۵ است؛ مدلی که بدون AI HAT و با حداقل منابع، کارهای تخصصی را به سرانجام می‌رساند.