به گزارش کارگروه فناوری اطلاعات سایبربان، پیشرفت‌های سخت‌افزاری و نرم‌افزاری، افراد را قادر می‌سازد تا LLMها را به طور کارآمد در خانه اجرا و از محدودیت‌های ابری اجتناب و درعین‌حال کنترل اطلاعات حساس را حفظ کنند.
با افزایش‌پذیرش هوش مصنوعی، کاربران بیشتری به‌جای تکیه بر ارائه‌دهندگان ابری، اجرای مدل‌های زبانی بزرگ (LLM) را به‌صورت محلی بررسی می‌کنند.
استقرار محلی به افراد، اجازه کنترل بر داده‌ها را می‌دهد، هزینه‌ها را کاهش می‌دهد و از محدودیت‌های اعمال شده توسط شرکت‌های هوش مصنوعی به‌عنوان سرویس جلوگیری می‌کند.
کاربران اکنون می‌توانند به لطف قابلیت‌های نرم‌افزاری و سخت‌افزاری، هوش مصنوعی را روی سخت‌افزار خودآزمایش کنند.
بسیاری از سرویس‌های هوش مصنوعی ابری، داده‌های کاربر را برای سال‌ها حفظ می‌کنند، حتی زمانی که تضمین‌های حریم خصوصی ارائه می‌شود.
با اجرای مدل‌ها به‌صورت محلی، شرکت‌ها و علاقه‌مندان می‌توانند از انطباق با GDPR اطمینان حاصل و کنترل بر اطلاعات حساس را حفظ کنند و درعین‌حال از ابزارهای هوش مصنوعی با کارایی بالا استفاده کنند.
ملاحظات سخت‌افزاری مانند حافظه GPU و قدرت پردازش، برای عملکرد LLM محلی اساسی هستند. تکنیک‌های کمی‌سازی به مدل‌ها اجازه می‌دهند تا بادقت کمتر و به طور کارآمد اجرا شوند و امکان استفاده در ماشین‌های مصرفی یا سخت‌افزارهای سازمانی را فراهم کنند.
چارچوب‌های نرم‌افزاری مانند llama.cpp، Jan و LM Studio، استقرار را ساده می‌کنند و هوش مصنوعی محلی را برای غیر مهندسان و متخصصان در صنایع مختلف قابل‌دسترسی می‌کنند.
مدل‌های محلی برای کارهای شخصی‌سازی‌شده، یادگیری، کمک در کدنویسی و آزمایش مناسب هستند، اگرچه مدل‌های ابری برای برنامه‌های سازمانی در مقیاس بزرگ قوی‌تر باقی می‌مانند.
با بهبود ابزارها و کیفیت مدل‌ها، اجرای هوش مصنوعی روی دستگاه‌های شخصی ممکن است به یک جایگزین استاندارد تبدیل شود و به کاربران کنترل بیشتری بر هزینه، حریم خصوصی و عملکرد بدهد.
