ویژگی‌های مدل جدید PaLM 2 گوگل

براساس اسناد داخلی که توسط CNBC مشاهده شده، مدل PaLM 2 که در کنفرانس گوگل I/O معرفی شد، براساس  3.6 تریلیون توکن  آموزش دیده است. توکن‌ها که عملاً رشته‌ای از کلمات هستند، یک عنصر مهم برای آموزش LLMها محسوب می‌شوند، زیرا مدل‌های هوش مصنوعی از طریق آن‌ها می‌توانند کلمات بعدی را پیش‌بینی کنند.

نسخه قبلی PALM گوگل که مخفف Pathways Language Model است، در سال 2022 منتشر شد و با 780 میلیارد توکن آموزش داده شده بود.

در حالی که گوگل مشتاق است تا قدرت فناوری هوش مصنوعی خود و نحوه تعبیه شدن آن در جستجو، ایمیل‌ها، پردازش کلمه و صفحات گسترده را نشان دهد، اما تمایلی به انتشار وسعت یا سایر جزئیات مربوط به داده‌های آموزشی آن را ندارد. OpenAI، خالق ChatGPT نیز مشخصات آخرین LLM خود با نام GPT-4 را مخفی نگه داشته است.

دلیل اصلی عدم افشای این اطلاعات، ماهیت رقابتی مدل‌های هوش مصنوعی آن‌ها است. گوگل و OpenAI هم‌اکنون در رقابت با یکدیگر هستند تا بتوانند کاربرانی را به مدل‌های زبان بزرگ خود جذب کنند که قصد دارند به جای استفاده از موتورهای جستجو سنتی، از چت‌بات‌های مکالمه محور آن‌ها استفاده کنند.

گوگل در زمان معرفی PaLM 2 ادعا کرد که مدل جدید بسیار کوچک‌تر از قبل است، به این معنی که فناوری غول موتور جستجو در عین انجام وظایف پیچیده‌تر، کارآمدتر شده است. طبق اسناد داخلی، PaLM 2 بر روی 340 میلیارد پارامتر آموزش داده شده که پیچیدگی این مدل را نشان می‌دهد. نسخه اولیه PaLM روی 540 میلیارد پارامتر آموزش داده شده بود.

همچنین گوگل در پست وبلاگ خود در مورد PaLM 2 گفت که این مدل از «تکنیک جدیدی» به‌نام «مقیاس‌سازی بهینه محاسبه» استفاده می‌کند که باعث می‌شود LLM «با عملکرد کلی بهتر، از جمله برداشت سریع‌تر، پارامترهای کمتر برای ارائه و هزینه کمتر برای انجام خدمات، کارآمدتر شود».