کارگران مکانیک ترک از هوش مصنوعی برای خودکارسازی انسان استفاده می کنند

این یکی را تحت عنوان اجتناب ناپذیر، اما خنده دار ثبت کنید. Mechanical Turk سرویسی است که از همان روزهای ابتدایی به نظر می رسید که شیطنت ها را دعوت می کند و در واقع محققان نشان می دهند که تقریباً نیمی از «ترکداران» آن به نظر می رسد از هوش مصنوعی برای انجام کارهایی استفاده می کنند که به طور خاص توسط انسان ها در نظر گرفته شده بود زیرا هوش مصنوعی نمی توانست انجام دهد. ما حلقه را در این مورد بسته ایم، کار همه عالی است!

Mechanical Turk آمازون به کاربران این امکان را می دهد تا وظایف ساده را به تعدادی از وظایف فرعی کوچک تقسیم کنند که انجام آنها فقط چند ثانیه طول می کشد و سکه هایی پرداخت می کنند – اما کارگران تکه تکه و اختصاصی هزاران کار را انجام می دهند و در نتیجه دستمزد متوسط ​​اما قابل اعتمادی دریافت می کنند. همانطور که جف بزوس در آن زمان به طور به یاد ماندنی گفت، این “هوش مصنوعی مصنوعی” بود.

اینها معمولاً کارهایی بودند که پس از آن خودکار کردن آنها دشوار بود – مانند CAPTCHA، یا تشخیص احساس یک جمله، یا ساده “کشیدن یک دایره دور گربه در این تصویر”، کارهایی که مردم می توانستند به سرعت و با اطمینان انجام دهند. افرادی که داده‌های نسبتاً پیچیده را برچسب‌گذاری می‌کردند و محققانی که هدفشان ارزیابی‌ها یا تصمیم‌گیری‌های انسانی در مقیاس بود، به طور آزادانه استفاده می‌شد.

این نام از «اتومات» معروف شطرنج‌بازی گرفته شده است که در واقع از یک انسان مخفی شده در پایگاه خود برای ساخت بازی‌های خود استفاده می‌کرد – پو یک برداشت بزرگ معاصر از آن نوشت. گاهی اوقات اتوماسیون دشوار یا غیرممکن است، اما در چنین مواردی می توانید نوعی ماشین را از انسانیت بسازید. باید مراقب آن بود، اما در طول سال ها مفید بودن آن ثابت شده است.

اما مطالعه محققان EPFL در سوئیس نشان می‌دهد که کارگران ترک مکانیک کار خود را با استفاده از مدل‌های زبان بزرگ مانند ChatGPT خودکار می‌کنند: مار دم خود را گاز می‌گیرد یا شاید به طور کامل خودش را می‌بلعد.

این سوال زمانی مطرح شد که آنها استفاده از سرویسی مانند MTurk را به عنوان “انسان در حلقه” برای بهبود یا بررسی واقعیت پاسخ‌های LLM که اساساً غیرقابل اعتماد هستند، در نظر گرفتند:

وسوسه انگیز است که برای تأیید خروجی های LLM یا ایجاد داده های استاندارد طلایی انسانی برای مقایسه، به جمع سپاری تکیه کنیم. اما اگر خود کارگران از LLM استفاده کنند، به عنوان مثال، برای افزایش بهره وری و در نتیجه درآمدشان، در پلتفرم های جمع سپاری چه می شود؟

برای درک کلی از مشکل، آنها یک کار “خلاصه انتزاعی” را تعیین کردند که باید توسط بوقلمون ها تکمیل شود. با تجزیه و تحلیل های مختلفی که در مقاله توضیح داده شده است (هنوز منتشر نشده یا مورد بررسی همتایان قرار نگرفته است) آنها “تخمین می زنند که 33-46٪ از کارگران جمعیت هنگام تکمیل کار از LLM استفاده می کنند.”

برای برخی، این تعجبی نخواهد داشت. از زمانی که پلتفرم شروع به کار کرد، احتمالاً سطحی از اتوماسیون در ترکینگ وجود داشته است. سرعت و قابلیت اطمینان انگیزه ایجاد می کند، و اگر بتوانید اسکریپتی بنویسید که درخواست های خاصی را با دقت 90 درصد انجام دهد، می توانید مقدار زیادی پول به دست آورید. با نظارت اندک بر فرآیندهای مشارکت کنندگان، اجتناب ناپذیر بود که برخی از این وظایف عملاً توسط انسان ها انجام نشوند، همانطور که تبلیغ می شود. صداقت هرگز کت و شلوار قوی آمازون نبوده است، بنابراین منطقی نبود که به آنها تکیه کنیم.

اما دیدن آن به این شکل، و برای کاری که تا همین اواخر به نظر می‌رسید تنها یک انسان می‌تواند انجام دهد – خلاصه کردن چکیده مقاله – نه تنها ارزش مکانیکال ترک را زیر سوال می‌برد، بلکه جبهه دیگری را در بحران قریب‌الوقوع آشکار می‌کند. آموزش هوش مصنوعی در مورد داده‌های تولید شده توسط هوش مصنوعی» در یکی دیگر از مخمصه‌های اوروبوروس.

محققان (ونیامین وسلوفسکی، مانوئل هورتا ریبیرو و رابرت وست) هشدار می‌دهند که این کار، با ظهور LLM‌های مدرن، به ویژه برای اتوماسیون مخفی مناسب است، و بنابراین به‌ویژه احتمال دارد قربانی این روش‌ها شود. اما وضعیت هنر به طور پیوسته در حال پیشرفت است:

LLM ها روز به روز محبوب تر می شوند و مدل های چند وجهی که نه تنها متن، بلکه از ورودی و خروجی تصویر و تصویر را نیز پشتیبانی می کنند، در حال افزایش هستند. با این کار، نتایج ما باید «قناری در معدن زغال‌سنگ» در نظر گرفته شود که باید به پلتفرم‌ها، محققان و کارگران جمعی یادآوری کند که راه‌های جدیدی برای اطمینان از اینکه داده‌های انسانی انسان باقی می‌مانند بیابند.

خطر خوردن هوش مصنوعی برای سال‌ها نظریه‌پردازی شده است و تقریباً بلافاصله پس از استقرار گسترده LLMها به واقعیت تبدیل شد: ChatGPT حیوان خانگی بینگ اطلاعات نادرست خود را به عنوان پشتیبانی از اطلاعات نادرست جدید در مورد یک توطئه COVID نقل کرد.

اگر نمی توانید 100% مطمئن باشید که کاری توسط یک انسان انجام شده است، احتمالاً بهتر است فرض کنید که اینطور نبوده است. این یک اصل ناامیدکننده است که باید به آن پایبند بود، اما ما اینجا هستیم.