گوگل و OpenAI والمارت هایی هستند که توسط میوه فروشی ها محاصره شده اند

OpenAI ممکن است در حال حاضر مترادف با یادگیری ماشینی باشد و گوگل تمام تلاش خود را می کند تا خود را از زمین خارج کند، اما هر دو ممکن است به زودی با یک تهدید جدید روبرو شوند: تکثیر سریع پروژه های منبع باز که پیشرفت هنر را پیش می برد و افراد را در جیب های عمیق می گذارد. شرکت های ناتوان در گرد و غبار خود. این تهدید زرگ مانند ممکن است یک تهدید وجودی نباشد، اما مطمئناً بازیکنان مسلط را در خط دفاعی نگه می دارد.

این مفهوم در یک شات جدید نیست – در جامعه هوش مصنوعی که به سرعت در حال حرکت است، انتظار می‌رود که هر هفته شاهد این نوع اختلال باشد – اما این وضعیت توسط سندی که به طور گسترده به اشتراک گذاشته شده است که منشأ آن در گوگل است، نشان داده شد. در این یادداشت آمده است: «ما هیچ خندقی نداریم و OpenAI هم ندارد.

من خواننده را با خلاصه‌ای طولانی از این قطعه کاملا خواندنی و جالب تحمیل نمی‌کنم، اما اصل ماجرا این است که در حالی که GPT-4 و سایر مدل‌های اختصاصی سهم عمده‌ای از توجه و در واقع درآمد را به خود اختصاص داده‌اند، شروع به کار کرده‌اند. با بودجه و زیرساخت روز به روز باریک تر به نظر می رسد.

در حالی که سرعت انتشار OpenAI ممکن است با توجه به استانداردهای نسخه‌های نرم‌افزار اصلی معمولی تاول‌کننده به نظر برسد: GPT-3، ChatGPT و GPT-4 مطمئناً اگر آنها را با نسخه‌های iOS یا فتوشاپ مقایسه کنید، بسیار جذاب بودند. اما آنها هنوز در مقیاس ماه ها و سال ها رخ می دهند.

آنچه در یادداشت به آن اشاره می‌شود این است که در ماه مارس، یک مدل زبان پایه فاش شده از متا، به نام LLaMA، به شکل نسبتاً خشن فاش شد. در داخل هفته هاافرادی که روی لپ‌تاپ‌ها و سرورهای چند دقیقه‌ای سر و کله می‌زنند، ویژگی‌های اصلی مانند تنظیم دستورالعمل، روش‌های متعدد و یادگیری تقویتی از بازخورد انسانی را اضافه کرده‌اند. OpenAI و Google نیز احتمالاً در حال بررسی کد بودند، اما آنها سطح همکاری و آزمایشی را که در subreddits و Discords اتفاق می‌افتد، تکرار نکردند – نمی‌توانستند.

آیا واقعاً ممکن است مشکل محاسبات غول پیکری که به نظر می‌رسید مانعی غیرقابل عبور – یک خندق – برای چالش‌گران باشد، در حال حاضر یادگاری از دوران متفاوت توسعه هوش مصنوعی باشد؟

سام آلتمن قبلاً خاطرنشان کرد که هنگام بررسی پارامترها باید انتظار کاهش بازدهی را داشته باشیم. مطمئناً بزرگ‌تر همیشه بهتر نیست – اما کمتر کسی حدس می‌زد که کوچک‌تر باشد.

GPT-4 یک وال مارت است و هیچ کس واقعاً وال مارت را دوست ندارد

پارادایم تجاری که اکنون توسط OpenAI و دیگران دنبال می شود، از نسل مستقیم مدل SaaS است. شما نرم‌افزار یا سرویسی با ارزش بالا دارید و از طریق یک API یا مواردی از این قبیل، دسترسی دقیقی به آن ارائه می‌دهید. این یک رویکرد ساده و اثبات شده است که زمانی کاملاً منطقی است که صدها میلیون دلار برای توسعه یک محصول یکپارچه و در عین حال همه کاره مانند یک مدل زبان بزرگ سرمایه گذاری کرده باشید.

اگر GPT-4 به خوبی برای پاسخ دادن به سؤالات مربوط به سوابق در حقوق قراردادها تعمیم می دهد، عالی است – اهمیتی نمی دهد که تعداد زیادی از «عقل» آن به این اختصاص داده شده است که بتواند سبک هر نویسنده ای را که تا به حال اثری به زبان انگلیسی منتشر کرده است، طوطی کند. GPT-4 مانند وال مارت است. هیچ کس در واقع می خواهد برای رفتن به آنجا، بنابراین شرکت مطمئن است که گزینه دیگری وجود ندارد.

اما مشتریان شروع به تعجب کرده‌اند که چرا من در 50 راهروی آشغال قدم می‌زنم تا چند سیب بخرم؟ چرا من خدمات بزرگ‌ترین و همه‌منظوره‌ترین مدل هوش مصنوعی را استخدام می‌کنم که تنها کاری که می‌خواهم انجام دهم این است که در تطبیق زبان این قرارداد با چند صد مورد دیگر هوشیاری داشته باشم؟ با خطر شکنجه کردن استعاره (از خواننده چیزی نگویم)، اگر GPT-4 وال مارتی است که برای سیب می روید، وقتی میوه فروشی در پارکینگ باز می شود چه اتفاقی می افتد؟

طولی نکشید که در دنیای هوش مصنوعی یک مدل زبان بزرگ، البته به شکل بسیار کوتاه، روی Raspberry Pi اجرا شد. برای کسب‌وکاری مانند OpenAI، مایکروسافت، گوگل، یا هرکس دیگری در دنیای هوش مصنوعی به‌عنوان یک سرویس، به‌طور مؤثری کل فرضیه‌ی کسب‌وکار آن‌ها را التماس می‌کند: ساخت و اجرای این سیستم‌ها آنقدر سخت است که مجبورند آن را برای شما انجام دهد. در واقع به نظر می رسد که این شرکت ها نسخه ای از هوش مصنوعی را انتخاب کرده و مهندسی کرده اند که با مدل کسب و کار موجود خود مطابقت داشته باشد، نه برعکس!

روزی روزگاری مجبور بودید محاسبات مربوط به پردازش کلمه را در یک رایانه اصلی بارگذاری کنید – ترمینال شما فقط یک نمایشگر بود. البته آن دوره زمانی متفاوت بود، و ما از مدت ها قبل توانسته ایم کل برنامه را روی یک کامپیوتر شخصی قرار دهیم. از زمانی که دستگاه های ما به طور مکرر و به طور تصاعدی ظرفیت خود را برای محاسبات افزایش داده اند، این فرآیندها بارها اتفاق افتاده است. این روزها که باید کاری روی یک ابر رایانه انجام شود، همه می فهمند که این فقط یک مسئله زمان و بهینه سازی است.

برای گوگل و OpenAI، زمان بسیار سریعتر از حد انتظار فرا رسید. و آنها کسانی نبودند که بهینه سازی را انجام می دادند – و ممکن است هرگز با این سرعت نباشند.

حالا، این بدان معنا نیست که آنها کاملاً خوش شانس هستند. گوگل با بهترین بودن به جایی که هست نرسید – به هر حال برای مدت طولانی. وال مارت بودن مزایای خود را دارد. شرکت‌ها نمی‌خواهند راه‌حل سفارشی‌ای را بیابند که وظیفه‌ای را که می‌خواهند 30 درصد سریع‌تر انجام دهد، اگر بتوانند قیمت مناسبی را از فروشنده فعلی خود دریافت کنند و قایق را زیاد تکان ندهند. هرگز ارزش اینرسی را در تجارت دست کم نگیرید!

مطمئناً، مردم آنقدر سریع در حال تکرار LLaMA هستند که برای نام بردن از شترهایشان تمام می شود. اتفاقاً، می‌خواهم از توسعه‌دهندگان تشکر کنم که بهانه‌ای برای این که به جای کار کردن، صدها عکس از ویکوناهای بامزه و خرمایی را مرور کنند. اما تعداد کمی از دپارتمان‌های فناوری اطلاعات سازمانی قصد دارند پیاده‌سازی مشتق منبع باز Stability را که در حال پیشرفت یک مدل متا فاش شده شبه قانونی است، روی API ساده و مؤثر OpenAI ترکیب کنند. آنها یک تجارت برای اداره کردن دارند!

اما در همان زمان، سال‌ها پیش استفاده از فتوشاپ را برای ویرایش و ایجاد تصویر متوقف کردم، زیرا گزینه‌های منبع باز مانند Gimp و Paint.net بسیار خوب شده‌اند. در این مرحله، بحث به سمت دیگری می رود. چقدر برای فتوشاپ بپردازید؟ به هیچ وجه، ما یک تجارت برای اداره داریم!

چیزی که نویسندگان ناشناس گوگل به وضوح نگران آن هستند این است که فاصله موقعیت اول تا موقعیت دوم بسیار کمتر از آن چیزی است که هر کسی فکر می کرد، و به نظر نمی رسد که هیچ کس نمی تواند در مورد آن انجام دهد.

به جز، یادداشت استدلال می کند: آن را در آغوش بگیر. باز کردن، انتشار، همکاری، اشتراک گذاری، سازش. همانطور که نتیجه می گیرند:

گوگل باید خود را به عنوان یک رهبر در جامعه منبع باز معرفی کند و با همکاری و به جای نادیده گرفتن گفتگوهای گسترده تر، رهبری را به عهده بگیرد. این احتمالاً به معنای انجام برخی اقدامات ناراحت کننده است، مانند انتشار وزن مدل برای انواع کوچک ULM. این لزوماً به معنای کنار گذاشتن برخی از کنترل‌ها بر مدل‌های ما است. اما این سازش اجتناب ناپذیر است. ما نمی توانیم امیدوار باشیم که هم نوآوری را هدایت کنیم و هم آن را کنترل کنیم.