انویدیا از TensorTR-LLM با هدف افزایش سرعت مدل‌های زبانی برای ویندوز رونمایی کرد

انویدیا در یک پست از این ابزار متن‌باز جدید رونمایی کرده است؛ البته باید به این موضوع اشاره کنیم که قبل از این، TensorTR-LLM برای دیتاسنترها عرضه شده بود و حالا در اختیار کاربران ویندوزی قرار گرفته است. این ابزار سرعت اجرای مدل‌های زبانی بزرگ را روی کامپیوترهای ویندوزی مجهز به گرافیک‌های جی‌فورس RTX تا 4 برابر افزایش می‌دهد.

ابزار TensorRT-LLM برای کاربران و توسعه‌دهندگان مفید خواهد بود

انویدیا در پست مربوط به معرفی این ابزار گفته است که TensorRT-LLM برای توسعه‌دهندگان و کاربران عادی مفید خواهد بود:

«در ابعاد بزرگ، این شتاب‌دهنده می‌تواند به‌طور قابل‌توجهی تجربه استفاده از مدل‌های زبانی پیچیده را بهبود ببخشد؛ مدل‌هایی مانند دستیارهای متن‌نویسی و کدنویسی که نتایج را به‌طور هم‌زمان تکمیل می‌کنند. نتیجه این رویکرد، عملکرد سریع‌تر و کیفیت بهتر است که به کاربران اجازه می‌دهد که بهترین‌ها را انتخاب کنند.»

انویدیا با انتشار تصویری، نحوه عملکرد TensorRT-LLM را نشان داده است. در این مثال، مدل استاندارد LLaMa 2 جواب دقیقی نمی‌دهد، اما زمانی که با TensorRT-LLM جفت می‌شود نه‌تنها جواب دقیق‌تری می‌دهد، بلکه سریع‌تر هم پاسخ می‌دهد.