چرا برداشتن درب جعبه سیاه هوش مصنوعی برای پذیرش مراقبت های بهداشتی ضروری است

دکتر آمیرا پاتل، مدیر عامل TidalSense، پیشگام فناوری تنفسی هوش مصنوعی برای راه حل های COPD و آسم، توضیح می دهد که چرا خطر ایمنی بیمار ناشی از الگوریتم های غیرقابل درک هوش مصنوعی را نمی توان در جستجوی راه حل های مراقبت بهداشتی پایدار نادیده گرفت.

هوش مصنوعی (AI) و مدل‌های یادگیری عمیق دهه‌هاست که وجود داشته‌اند، اما اخیراً است که قدرت محاسباتی یک تغییر مرحله‌ای در مقرون‌به‌صرفه و دسترسی به این فناوری‌ها را امکان‌پذیر کرده است.

و این یک تغییر گام است. امروزه هوش مصنوعی در همه چیز از لوازم آشپزخانه گرفته تا خودروها تعبیه شده است. حتی مسواک Oral-B من هم ظاهراً دارای هوش مصنوعی است.

جدا از بهداشت دندان، این همه جا در بخش مراقبت های بهداشتی منعکس نمی شود، جایی که جذب هوش مصنوعی بسیار کندتر بوده است و دلایل خوبی دارد.

سکوت در میان پزشکان و تنظیم‌کننده‌ها تعجب‌آور نیست – اگر الگوریتم‌ها تصمیمات مرگ یا زندگی را می‌گیرند، مناسب است با احتیاط، سخت‌گیری و بدبینی سالم با آن‌ها رفتار کنیم. با توجه به اینکه چندین فناوری هوش مصنوعی که توسط سازمان غذا و دارو (FDA) در ایالات متحده تنظیم شده است، به روش‌های «جعبه سیاه» یادگیری عمیق تکیه می‌کنند، این بررسی دقیق‌تر شاید بهتر باشد.

با این حال، فشار برای پذیرش هوش مصنوعی در حال افزایش است زیرا سیستم های مراقبت های بهداشتی با کمبود کارکنان، اعتصابات و اختلافات حقوقی، رشد بیماری های مزمن و چالش پیری جمعیت دست و پنجه نرم می کنند.

به طور گسترده ای پذیرفته شده است که وضعیت فعلی ناپایدار است – به ویژه با توجه به نگرانی های فزاینده که سازمان ها اکنون به قدری کم کار هستند که زمان کمی برای ارائه مراقبت و دلسوزی انسانی مناسب ندارند.

هوش مصنوعی برای کاهش فشار روی پزشکان، پرستاران و سایر پزشکان سلامت مورد نیاز است. اما آیا می‌توان به هوش مصنوعی جعبه سیاه برای ایفای نقش معنادار در یکی از زمان‌برترین جنبه‌های ارائه مراقبت‌های بهداشتی: تشخیص اعتماد کرد؟

یادگیری ویژگی های مناسب

تشخیص، چه توسط انسان یا هوش مصنوعی انجام شود، همه چیز در مورد تشخیص الگو است – تخمین احتمال بر اساس الگوهای ارائه شده.

تشخیص الگوی این است که چگونه یک پزشک می‌داند که بیمار روبروی او با وجود نشان دادن 90 درصد علائم، تقریباً مطمئناً بیماری فوق‌العاده نادری ندارد، زیرا آنها هزاران بیماری شایع دیگر را نیز دیده‌اند که به روشی مشابه ظاهر می‌شوند.

الگوریتم‌های هوش مصنوعی فرآیند مشابهی را طی می‌کنند اما با سرعت بسیار بالاتر. آنها می توانند برای کمک به پزشکان در تصمیم گیری های تشخیصی، سرعت بخشیدن به تریاژ و اولویت بندی بیماران، یا بررسی تصویربرداری پزشکی برای تعیین اینکه کدام اسکن باید بیشتر مورد بررسی قرار گیرد، آموزش ببینند.

در هر نمونه، الگوریتم از تشخیص الگو برای رسیدن به یک تصمیم استفاده می کند. هر چه کیفیت داده های مورد استفاده برای آموزش بهتر باشد، تصمیم هوش مصنوعی دقیق تر است، البته مشروط بر اینکه الگوریتم «ویژگی های» صحیح هر الگو را یاد گرفته باشد. با این حال، هرگونه سوگیری در داده‌های مورد استفاده برای آموزش الگوریتم منجر به تصمیم‌گیری‌های نادرست می‌شود: «آشغال‌ها، زباله‌ها بیرون».

از این رو، هنگامی که در یک محیط مراقبت های بهداشتی استفاده می شود، هر هوش مصنوعی در حال استفاده باید پاسخ روشن و دقیقی بدهد و نشان دهد که چگونه به آن پاسخ رسیده است.

حقیقت در مورد گربه ها و سگ ها

متأسفانه، در مورد هوش مصنوعی جعبه سیاه، دید کمی در این فرآیند وجود دارد. اکثر مدل های یادگیری عمیق در این جعبه قرار می گیرند.

برای توضیح این موضوع، به عنوان انسان، ما می‌دانیم که گربه یک گربه است، زیرا ویژگی‌های خاصی را در ظاهر یک گربه تشخیص می‌دهیم که مشخصه گربه بودن آن است.

با این حال، ثابت شده است که می‌توان برخی از الگوریتم‌های هوش مصنوعی را برای تعبیر نادرست الگوها و شناسایی گربه‌ها به‌عنوان سگ با افزودن مقداری نویز نامحسوس به تصویر فریب داد – خطای وحشتناکی که بر اساس تشخیص الگوی انسانی قضاوت می‌شود، اما زمانی که توسط یک الگوریتم ساخته می‌شود، می‌تواند توضیحی کاملاً منطقی داشته باشد.

فرض کنید این الگوریتم به جای یادگیری ویژگی‌هایی که انسان‌ها با گربه‌ها مرتبط می‌کنند، تعیین کرده است که در تصاویر گربه‌هایی که دیده است، گربه کمی دورتر از تصاویر سگ‌ها به سمت چپ قرار دارد. در نتیجه، سپس شروع به طبقه‌بندی هر جسمی که در سمت چپ تصویر قرار دارد به عنوان یک گربه و هر تصویری که در سمت راست قرار دارد به عنوان یک سگ طبقه‌بندی می‌کند. گربه ها اکنون به اشتباه به عنوان سگ با فرکانس نگران کننده شناخته می شوند.

این یک مثال افراطی است، اما خطرات بالقوه استفاده از راه حل های هوش مصنوعی جعبه سیاه را برجسته می کند. حتی در مواردی که هوش مصنوعی همچنان تابع تصمیم گیری های انسانی است، پزشکان به راحتی می توانند با تشخیص اشتباه و به ظاهر غیرقابل توضیح هوش مصنوعی از بین بروند و مطمئن نباشند که آیا الگوریتم مقصر است یا واقعاً چیزی را از دست داده اند.

و در مورد هوش مصنوعی مستقل – یعنی تصمیم گیری بدون نظارت – اعتماد و قابلیت تفسیر کاملاً اساسی است. این فناوری را به درستی دریافت کنید، و می تواند در مراقبت های بهداشتی متحول کننده باشد، به عنوان مثال، تشخیص حجم عظیمی از بیماران با سرعت برای کاهش لیست های انتظار. اشتباه کنید و نه تنها ایمنی بیمار به خطر می افتد، بلکه پزشکان زمان بیشتری را برای بررسی بیش از حد و اصلاح اشتباهات تلف می کنند.

در توسعه هوش مصنوعی به شفافیت و همکاری بیشتری نیاز است

خوشبختانه، NHS خطرات ناشی از هوش مصنوعی جعبه سیاه را تشخیص داده است و دستورالعمل های پذیرش فناوری آن به طور فزاینده ای الزام مدل های هوش مصنوعی را برای تفسیرپذیر بودن بیان می کند. بر این اساس، بعید به نظر می رسد که هوش مصنوعی مولد مانند ChatGPT که به شدت مورد بحث قرار گرفته است، به زودی در سیستم مراقبت های بهداشتی بریتانیا بکار گرفته شود. هر هوش مصنوعی مانند این که میلیاردها ورودی داشته باشد، طبق تعریف، به راحتی قابل تفسیر نیست.

به همین ترتیب، FDA نیز در مورد هوش مصنوعی جعبه سیاه سخت‌گیرانه‌تر می‌شود و قبل از اعطای تأیید، سؤالات بیشتری درباره فناوری‌های بسیار پیچیده می‌پرسد.

برخی ممکن است استدلال کنند که این دور شدن از فناوری‌های جعبه سیاه، پتانسیل هوش مصنوعی را خفه می‌کند. من آن را به‌عنوان یک معاوضه ضروری برای افزایش ایمنی بیمار می‌دانم، که مسئولیت ایجاد راه‌حل‌های قوی‌تر، شفاف‌تر و قابل اعتماد را بر عهده توسعه‌دهندگان هوش مصنوعی می‌گذارد.

محدود کردن استفاده از هوش مصنوعی جعبه سیاه، ارائه دهندگان راه حل را مجبور می کند تا در طول فرآیند توسعه هوش مصنوعی با صنعت تعامل بهتری داشته باشند. پزشکان باید به توسعه‌دهندگان کمک کنند تا درک کنند که «قابل توضیح» در عمل به چه معناست – به عبارت دیگر، چه جنبه‌هایی از فرآیند تصمیم‌گیری راه‌حل هوش مصنوعی را باید ببینند/درک کنند؟

الگوریتم‌های هوش مصنوعی نوید قابل‌توجهی را در تشخیص نشان می‌دهند، و اگرچه نباید آنها را جایگزینی برای تصمیم‌گیری انسانی در مراقبت‌های بهداشتی بدانیم، بسیاری از آنها در حال حاضر در سراسر NHS به صورت آزمایشی برای تشخیص خودکار الگوهای بیماری، بازگرداندن زمان بیشتر به پزشکان و بهبود کیفیت مراقبت از بیمار استفاده می‌شوند.

با این حال، شفافیت یک پیش نیاز برای پذیرش انبوه در چنین صنعت به شدت تنظیم شده است. و راه‌حل‌های هوش مصنوعی به متخصصان مراقبت‌های بهداشتی برای کمک به توسعه الگوریتم‌ها نیاز دارند – تا زمانی که این اتفاق نیفتد، پزشکان به سادگی به آنها اعتماد نخواهند کرد.