AI2 در حال توسعه یک مدل زبان بزرگ است که برای علم بهینه شده است

PalM 2. GPT-4. لیست هوش مصنوعی تولید کننده متن عملا روز به روز بیشتر می شود.

بیشتر این مدل‌ها پشت APIها قرار گرفته‌اند و این امر باعث می‌شود که محققان نتوانند دقیقاً چه چیزی باعث تیک زدن آنها می‌شوند. اما به‌طور فزاینده‌ای، تلاش‌های جامعه باعث ایجاد هوش مصنوعی منبع باز می‌شود که اگر نگوییم بیشتر از همتایان تجاری‌شان، پیچیده‌تر است.

آخرین مورد از این تلاش ها مدل زبان باز است، یک مدل زبان بزرگ که قرار است توسط موسسه غیرانتفاعی آلن برای تحقیقات هوش مصنوعی (AI2) در سال 2024 منتشر شود. مدل زبان باز یا به اختصار OLMo با همکاری AMD در حال توسعه است. و کنسرسیوم بزرگ یکپارچه زیرساخت مدرن، که قدرت ابر محاسباتی را برای آموزش و آموزش، و همچنین Surge AI و MosaicML (که داده‌ها و کد آموزشی را ارائه می‌دهند) فراهم می‌کند.

هانا حاجی شیرزی، مدیر ارشد تحقیقات NLP در AI2 در یک مصاحبه ایمیلی به TechCrunch گفت: جوامع تحقیقاتی و فناوری برای پیشرفت این علم نیاز به دسترسی به مدل های زبان باز دارند. با OLMo، ما در تلاش هستیم تا با ایجاد یک مدل زبان رقابتی، شکاف بین توانایی‌ها و دانش تحقیقات عمومی و خصوصی را کاهش دهیم.

ممکن است کسی – از جمله این خبرنگار – تعجب کند که چرا AI2 نیاز به توسعه یک مدل زبان باز را احساس می کند، در حالی که از قبل چندین مدل برای انتخاب وجود دارد (به بلوم، LLaMA متا و غیره مراجعه کنید). آن گونه که حاجی شیرزی آن را می بیند، در حالی که نسخه های متن باز تا به امروز ارزشمند و حتی مرزی بوده اند، اما به طرق مختلف از این نشانه عبور کرده اند.

AI2 OLMo را به‌عنوان یک پلت‌فرم می‌بیند، نه فقط یک مدل – مدلی که به جامعه تحقیقاتی اجازه می‌دهد هر مؤلفه‌ای را که AI2 ایجاد می‌کند، استفاده کند و یا خودش از آن استفاده کند یا به دنبال بهبود آن باشد. حاجی شیرزی می‌گوید هر آنچه که AI2 برای OLMo ایجاد می‌کند، به‌طور آشکار در دسترس خواهد بود، از جمله یک نسخه نمایشی عمومی، مجموعه داده‌های آموزشی و API، و با استثناهای «بسیار محدود» تحت مجوز «مناسب» مستند شده است.

حاجی شیرزی گفت: «ما در حال ساخت OLMo هستیم تا دسترسی بیشتری برای جامعه تحقیقاتی هوش مصنوعی ایجاد کنیم تا مستقیماً روی مدل‌های زبان کار کنند. ما معتقدیم که دسترسی گسترده به همه جنبه‌های OLMo به جامعه تحقیقاتی این امکان را می‌دهد که آنچه را که ما ایجاد می‌کنیم، استفاده کنند و برای بهبود آن تلاش کنند. هدف نهایی ما ایجاد مشترک بهترین مدل زبان باز در جهان است.”

به گفته نوآ اسمیت، مدیر ارشد تحقیقات NLP در AI2، تمایز دیگر OLMo، تمرکز بر توانمندسازی مدل برای استفاده بهتر و درک بهتر کتاب‌های درسی و مقالات آکادمیک به جای مثلاً کد است. تلاش های دیگری نیز در این زمینه صورت گرفته است، مانند مدل بدنام گالاکتیکا متا. اما حاجی شیرزی معتقد است که کار AI2 در دانشگاه و ابزارهایی که برای تحقیق ایجاد شده است، مانند Semantic Scholar، به OLMo کمک می کند تا برای کاربردهای علمی و آکادمیک “به طور منحصر به فرد” مناسب شود.

اسمیت گفت: «ما معتقدیم OLMo پتانسیل این را دارد که در این زمینه چیزی واقعاً خاص باشد، به ویژه در منظره‌ای که بسیاری در آن عجله دارند تا از علاقه خود به مدل‌های هوش مصنوعی مولد بهره ببرند. توانایی منحصر به فرد AI2 برای عمل به عنوان متخصص شخص ثالث به ما این فرصت را می دهد که نه تنها با تخصص خود در سطح جهانی کار کنیم، بلکه با قوی ترین ذهن ها در صنعت همکاری کنیم. در نتیجه، ما فکر می‌کنیم که رویکرد دقیق و مستند ما زمینه را برای ساخت نسل بعدی فناوری‌های ایمن و مؤثر هوش مصنوعی فراهم می‌کند.»

این یک احساس خوب است، مطمئن باشید. اما در مورد مسائل اخلاقی و حقوقی پیچیده پیرامون آموزش – و انتشار – هوش مصنوعی مولد چه می‌توان گفت؟ بحث در مورد حقوق صاحبان محتوا (در میان سایر ذینفعان متاثر)، و مسائل آزاردهنده بی‌شماری هنوز در دادگاه حل نشده است.

برای رفع نگرانی‌ها، تیم OLMo قصد دارد با بخش حقوقی AI2 کار کند و کارشناسان خارجی مشخص شوند و در فرآیند ساخت مدل در «ایست‌های بازرسی» توقف کنند تا مسائل حریم خصوصی و حقوق مالکیت معنوی را مورد ارزیابی مجدد قرار دهند.

ما امیدواریم که از طریق یک گفتگوی باز و شفاف در مورد مدل و استفاده مورد نظر از آن، بتوانیم بهتر درک کنیم که چگونه تعصب، سمیت را کاهش دهیم و به سؤالات تحقیقاتی برجسته در جامعه بتابانیم، که در نهایت منجر به یکی از قوی‌ترین مدل‌های موجود می‌شود. اسمیت گفت.

در مورد احتمال سوء استفاده چطور؟ مدل‌هایی که اغلب سمی و در ابتدا مغرضانه هستند، برای بازیگران بدی که قصد انتشار اطلاعات نادرست و تولید کدهای مخرب را دارند، آماده هستند.

حاجی شیرزی گفت که AI2 از ترکیبی از مجوز، طراحی مدل و دسترسی انتخابی به مؤلفه‌های زیربنایی استفاده می‌کند تا «به حداکثر رساندن مزایای علمی و در عین حال کاهش خطر استفاده مضر». برای هدایت خط مشی، OLMo یک کمیته بررسی اخلاقی با مشاوران داخلی و خارجی دارد (AI2 دقیقاً نمی گوید چه کسی) که در طول فرآیند ایجاد مدل بازخورد ارائه می دهد.

خواهیم دید که این تا چه حد تفاوت ایجاد می کند. در حال حاضر، چیزهای زیادی در هوا وجود دارد – از جمله بیشتر مشخصات فنی مدل. (AI2 نشان داد که حدود 70 میلیارد پارامتر خواهد داشت، پارامترها بخش هایی از مدل هستند که از داده های آموزشی تاریخی آموخته شده است.) آموزش قرار است در ابررایانه LUMI در فنلاند – سریع ترین ابررایانه اروپا، از ژانویه – در ماه ژانویه آغاز شود. ماه های آینده

AI2 از همکاران دعوت می‌کند تا به فرآیند توسعه مدل کمک کنند – و آن را نقد کنند. علاقه مندان می توانند از اینجا با سازمان دهندگان پروژه OLMo تماس بگیرند.