پیشگام موتور جستجوی چین از مدل زبان بزرگ منبع باز برای رقابت با OpenAI رونمایی کرد

در ماه فوریه، وانگ شیائوچوان، بنیانگذار Sogou در Weibo گفت که “چین به OpenAI خود نیاز دارد.” این کارآفرین چینی اکنون به رویای خود نزدیک‌تر شده است زیرا استارت‌آپ نوپایش Baichuan Intelligence امروز نسل بعدی مدل زبان بزرگ Baichuan-13B خود را عرضه کرد.

بایچوان به‌عنوان یکی از امیدوارکننده‌ترین توسعه‌دهندگان LLM در چین معرفی می‌شود، به لطف گذشته تاریخی بنیانگذار آن به عنوان یک اعجوبه علوم رایانه از دانشگاه Tsinghua و تأسیس ارائه‌دهنده موتور جستجو Sogou، که بعداً توسط Tencent خریداری شد.

وانگ در اواخر سال 2021 از Sogou کناره‌گیری کرد. همانطور که ChatGPT جهان را تحت تأثیر قرار داد، این کارآفرین Baichuan را در آوریل راه‌اندازی کرد و به سرعت 50 میلیون دلار از گروهی از سرمایه‌گذاران فرشته به جیب زد.

مانند سایر LLM های داخلی چین، بایچوان، یک مدل 13 میلیارد پارامتری بر اساس معماری ترانسفورماتور (که همچنین زیر مجموعه GPT است)، بر روی داده های چینی و انگلیسی آموزش دیده است. (پارامترها به متغیرهایی اشاره دارند که مدل از آنها برای تولید و تجزیه و تحلیل متن استفاده می کند.) طبق صفحه GitHub، این مدل منبع باز است و برای کاربردهای تجاری بهینه شده است.

Baichuan-13 بر روی 1.4 تریلیون توکن آموزش داده شده است. در مقایسه، متا LLaMa در مدل 13 میلیارد پارامتری خود از 1 تریلیون توکن استفاده می کند. وانگ قبلا در یک گفت مصاحبه استارت آپ او در مسیر عرضه یک مدل در مقیاس بزرگ قابل مقایسه با OpenAI GPT-3.5 تا پایان سال جاری است.

بایچوان که تنها سه ماه پیش شروع به کار کرده است، به سرعت قابل توجهی در توسعه دست یافته است. تا پایان آوریل، این تیم به 50 نفر افزایش یافت و در ماه ژوئن، اولین LLM خود، مدل پیش‌آموزشی Baichuan-7B را که دارای 7 میلیارد پارامتر است، عرضه کرد.

اکنون، مدل پایه Baichuan-13B به صورت رایگان در اختیار دانشگاهیان و توسعه دهندگانی است که مجوز رسمی استفاده از آن را برای مقاصد تجاری دریافت کرده اند. نکته مهم این است که در عصر تحریم‌های تراشه‌های هوش مصنوعی ایالات متحده بر چین، این مدل تغییراتی را ارائه می‌کند که می‌توانند روی سخت‌افزارهای درجه یک مصرف‌کننده از جمله کارت‌های گرافیک 3090 انویدیا اجرا شوند.

دیگر شرکت‌های چینی که سرمایه‌گذاری هنگفتی بر روی مدل‌های زبان بزرگ انجام داده‌اند، شامل غول موتور جستجو Baidu است. Zhipu.ai، اسپین آف دانشگاه Tsinghua به رهبری پروفسور Tang Jie. و همچنین موسسه تحقیقاتی IDEA به رهبری هری شوم که یکی از بنیانگذاران Microsoft Research Asia است.

مدل‌های زبان بزرگ چین به سرعت در حال ظهور هستند، زیرا این کشور برای اجرای برخی از سخت‌گیرانه‌ترین مقررات هوش مصنوعی در جهان آماده می‌شود. همانطور که توسط فایننشال تایمز گزارش شده است، انتظار می رود چین مقرراتی را برای هوش مصنوعی مولد با تمرکز ویژه بر محتوا تنظیم کند که نشان دهنده افزایش کنترل نسبت به قوانین معرفی شده در آوریل است. شرکت‌ها همچنین ممکن است نیاز به دریافت مجوز قبل از راه‌اندازی مدل‌های زبان بزرگ داشته باشند، که می‌تواند تلاش‌های چین برای رقابت با ایالات متحده در صنعت نوپا را کند کند.