تصور کنید دردتان را برای پزشکی شرح می‌دهید و می‌بینید که نگاه او از شما به صفحه نمایشگر منتقل می‌شود. صفحه نشان می‌دهد که وضعیت شما کم‌خطر است، اما بدن‌تان چیز دیگری می‌گوید. در چنین شرایطی، باید حرف کدام‌یک را باور کرد؟

بیمارستان‌ها در سراسر جهان با شتاب در حال به‌کارگیری الگوریتم‌ها در محیط‌های بالینی هستند؛ از ابزارهای بررسی علائم که فوریت وضعیت بیماران را ارزیابی می‌کنند تا ابزارهای هوش مصنوعی که در تشخیص بیماری به پزشکان کمک می‌کنند. هدف اعلام‌شده از به‌کارگیری این فناوری‌ها، افزایش بهره‌وری، بهبود هماهنگی و افزایش دقت است.

با این حال، این سیستم‌ها کاری انجام می‌دهند که کمتر در معرفی آن‌ها به آن اشاره می‌شود: آن‌ها بی‌سروصدا تعیین می‌کنند که دانش و تجربه چه کسانی معتبر تلقی شود، کدام علائم اهمیت داشته باشند و گفته‌های بیماران چگونه تفسیر شوند.

این پدیده را می‌توان «گسلایتینگ الگوریتمی» نامید.

گسلایتینگ بدون عامل فریب

اصطلاح «گسلایتینگ پزشکی» به شرایطی اشاره دارد که در آن پزشکان علائم بیماران را نادیده می‌گیرند یا به شکلی دیگر تفسیر می‌کنند؛ اتفاقی که اغلب در ارتباط با جنسیت، نژاد یا بیماری‌های مزمن رخ می‌دهد.

منتقدان می‌گویند این اصطلاح نادرست به کار می‌رود، زیرا گسلایتینگ مستلزم فریب عمدی است، در حالی که بیشتر پزشکانی که علائم بیماران را نادیده می‌گیرند، آگاهانه در پی فریب آن‌ها نیستند. چنین رفتارهایی از سوگیری‌های ضمنی، روال‌های نهادینه‌شده و سلسله‌مراتب ریشه‌دار در تعیین اعتبار دانش و تخصص ناشی می‌شوند.

با این حال، آسیب را نباید بر اساس انگیزه فرد سنجید، بلکه باید به پیامد آن برای بیمار توجه کرد؛ بیماری که در نهایت به برداشت‌های خود شک می‌کند و از واژگانی که برای معنا دادن به تجربه‌اش نیاز دارد، محروم می‌ماند.

الگوریتم‌ها این مسئله را به‌روشنی نشان می‌دهند. یک نرم‌افزار قصد و نیتی ندارد و نمی‌تواند برای فریب دادن کسی نقشه بکشد.

با این حال، ممکن است روایت بیمار از تجربه خود را با اتکا به اقتدار ظاهراً بی‌طرفانه‌اش کنار بزند، تجربه زیسته او را در دسته‌بندی‌های خشک و انعطاف‌ناپذیر جای دهد و این احساس را در او ایجاد کند که تجربه خودش قابل اعتماد نیست.

این همان گسلایتینگ بدون عامل فریب است.

نخستین سازوکار، «خشونت داده‌ای» است. مجموعه‌داده‌های پزشکی اغلب به‌طور نامتناسبی بر جمعیت‌های سفیدپوست، مردان و افراد برخوردار از موقعیت اجتماعی‌اقتصادی بهتر متمرکزند. در نتیجه، بیمارانی که در این الگوها جای نمی‌گیرند، از نظر آماری نامرئی می‌شوند.

برای مثال، درد قفسه سینه در زنان اغلب به شکلی متفاوت از مردان بروز می‌کند، اما داده‌های قلبی‌عروقی به‌طور نامتناسبی ویژگی‌های مردان را بازتاب می‌دهند.

دستگاه‌های پالس‌اکسی‌متر نیز که عمدتاً بر اساس اندازه‌گیری‌های مربوط به افراد دارای پوست روشن تنظیم شده‌اند، ممکن است میزان اکسیژن خون بیماران سیاه‌پوست را بیش از مقدار واقعی نشان دهند و در نتیجه، کاهش خطرناک اکسیژن خون را پنهان کنند. اگر ابزارهای تریاژ این اندازه‌گیری‌ها را حقیقت قطعی تلقی کنند، خطا به مراحل بعدی تصمیم‌گیری نیز منتقل می‌شود.

دومین سازوکار، «فقدان شفافیت» است. می‌توان درباره استدلال یک پزشک پرسش کرد و با آن به بحث پرداخت، اما نمی‌توان با امتیازی بحث کرد که نحوه محاسبه آن برای بیمار و اغلب حتی برای پزشک نیز روشن نیست.

مدل اپیک سپسیس (Epic Sepsis Model) نمونه‌ای از این وضعیت است؛ سامانه هشدار اختصاصی‌ای که در صدها بیمارستان آمریکا به کار گرفته می‌شود. یک مطالعه مستقل نشان داد عملکرد این مدل بسیار ضعیف‌تر از ادعای سازنده آن بوده است. این سامانه تنها حدود یک‌سوم موارد سپسیس را شناسایی می‌کرد و در عین حال، هشدارهای کاذب فراوانی می‌داد. پزشکان و بیماران نیز نمی‌توانستند منطق پشت هر هشدار مشخص را مشاهده کنند.

سومین سازوکار، «اقتدار خودکار» است. وقتی الگوریتم نتیجه‌ای برخلاف گفته بیمار ارائه می‌دهد، بیمار ممکن است احساس کند تحت فشار است تا در روایت خود از علائمش تردید کند. در همین حال، پزشک نیز ممکن است برای نادیده گرفتن توصیه‌ای که ظاهراً عینی و بی‌طرفانه است، دچار تردید شود.

این اقتدار می‌تواند از شواهد موجود فراتر برود. اسناد داخلی که بعدها منتشر شد، نشان داد ابزار واتسون برای انکولوژی شرکت آی‌بی‌ام، که در سراسر جهان به‌عنوان ابزاری معتبر برای پشتیبانی از تصمیم‌گیری‌های درمانی معرفی می‌شد، توصیه‌های درمانی ناایمن و نادرستی ارائه می‌کرد و آموزش آن تا حد زیادی بر اساس موارد فرضی انجام شده بود.

چهارمین سازوکار، «چرخه بازخورد» است. بیماران و پزشکان به‌تدریج یاد می‌گیرند چه توصیف‌هایی در قالب یک «مورد بالینی» قابل شناسایی و پردازش هستند و بر همین اساس، شیوه بیان خود را تغییر می‌دهند. این توصیف‌های تغییر‌یافته سپس به داده‌های جدید تبدیل می‌شوند و همان دسته‌بندی‌هایی را تقویت می‌کنند که در ابتدا نتوانسته بودند تجربه بیمار را به‌درستی بازتاب دهند.

در گذر زمان، افراد دیگر علائم خود را آن‌گونه که تجربه می‌کنند، توصیف نمی‌کنند؛ بلکه آن‌ها را به شکلی بیان می‌کنند که ماشین قادر به درک آن باشد.

چرا این مسئله صرفاً یک نقص فنی نیست

ممکن است تصور شود که همه این مشکلات نقص‌های فنی هستند و با مهندسی بهتر می‌توان آن‌ها را برطرف کرد. اما مسئله فراتر از این است.

الگوریتم‌ها خودشان تصمیم نمی‌گیرند که انتخاب و به کار گرفته شوند. این بیمارستان‌ها و نظام‌های سلامت هستند که استفاده از آن‌ها را انتخاب می‌کنند. این نهادها نیز اغلب به دلایل مرتبط با بهره‌وری، مسئولیت حقوقی و امکان استفاده در مقیاس گسترده، اطلاعات استانداردشده و مبتنی بر پرونده‌های بالینی را به روایت پیچیده و نامنظم انسان‌ها ترجیح می‌دهند.

این رویکرد، گرایشی قدیمی در نظام‌های اداری است. نهادها همواره آنچه را که می‌توانند بخوانند، بشمارند و حسابرسی کنند، بر آنچه چنین امکانی درباره‌اش وجود ندارد، ترجیح داده‌اند. آنچه برای یک نظام قابل خواندن نیست، در معنایی واقعی، از کنترل و مدیریت آن نیز خارج می‌ماند.

بنابراین، نقش قصد و اراده در این روند را باید در مراحل پیشین تصمیم‌گیری جست‌وجو کرد. لازم نیست کسی عمداً بخواهد حرف یک بیمار مشخص را باور نکند. با این حال، انتخاب جایگزین کردن روایت بیمار با داده‌های استانداردشده، تصمیمی عامدانه در طراحی نظام است و کسی باید در قبال آن پاسخ‌گو باشد.

از آنجا که خروجی‌های الگوریتمی بخشی از زیرساخت نظام سلامت هستند، آسیب ناشی از آن‌ها نیز به یک نوبت ویزیت ناموفق محدود نمی‌شود. این آسیب در موارد متعدد تکرار می‌شود و به‌تدریج بر بیمارانی انباشته می‌شود که هم‌زمان با چندین شکل از به‌حاشیه‌رانده‌شدن مواجه‌اند؛ برای مثال، یک زن سیاه‌پوست دارای معلولیت که هم وضعیت پزشکی و هم هویت اجتماعی‌اش در داده‌ها بازنمایی محدودی دارند.

جوامعی که تجربه و وضعیت آن‌ها بارها به‌اشتباه درک می‌شود، ممکن است به‌تدریج اعتماد خود را به کل نظام سلامت از دست بدهند.

این مسئله ابعادی جهانی نیز دارد. در یک مطالعه کیفی اخیر در ترکیه، مدل‌های زبانی مختلف در مواجهه با پرونده‌های بالینی یکسان، راهنمایی‌های اخلاقی به‌شدت متفاوتی ارائه کردند. این مدل‌ها حتی زمانی که به اصول یکسانی استناد می‌کردند، از نظر حساسیت فرهنگی و عمق تفسیر با یکدیگر تفاوت داشتند.

چارچوب‌های مرجعی که در این سیستم‌ها کدگذاری می‌شوند، بی‌طرف نیستند؛ موضوعی که به‌ویژه برای بیمارانی اهمیت دارد که از محیط‌هایی که این سیستم‌ها در آن‌ها ساخته شده‌اند، فاصله دارند.

چه تغییراتی لازم است؟

راه‌حل، ممنوع کردن استفاده از هوش مصنوعی در پزشکی نیست، بلکه تغییر رویکرد به بیماران است؛ به‌گونه‌ای که به‌جای برخورد با آن‌ها به‌عنوان منابع داده، آن‌ها را صاحبان دانش و تجربه بدانند.

نخست، بیماران باید حق اعتراض به خروجی یک الگوریتم را داشته باشند؛ حقی که فراتر از امکان درخواست نظر پزشکی دوم باشد.

آن‌ها باید بتوانند دسته‌بندی‌ها، شاخص‌های جانشین و قضاوت‌های ارزشی نهفته در پس این خروجی‌ها را به چالش بکشند. همچنین باید توضیحاتی دریافت کنند که با تجربه شخصی آن‌ها ارتباط داشته باشد، نه اینکه صرفاً گزارشی فنی از وزن ویژگی‌ها در اختیارشان قرار گیرد.

دوم، عدالت معرفتی باید از همان ابتدا در ساختار این سیستم‌ها گنجانده شود. این امر مستلزم حسابرسی مستقل داده‌های آموزشی و خروجی‌ها با مشارکت متخصصان اخلاق و مدافعان حقوق بیماران است.

همچنین باید افرادی که بیش از دیگران در معرض شناسایی و تفسیر نادرست قرار دارند، در فرایند طراحی مشارکت داده شوند؛ نه اینکه پس از تثبیت ساختار اصلی سیستم از آن‌ها دعوت شود. هنگام خرید و انتخاب ابزارها نیز باید بررسی شود که آیا این فناوری‌ها به بیماران امکان بیان روایت خود را می‌دهند یا تجربه آن‌ها را به مجموعه‌ای از گزینه‌های از پیش تعیین‌شده و خانه‌های قابل علامت‌گذاری تقلیل می‌دهند.

طراحی مشارکتی راه‌حلی برای همه مشکلات نیست. شرکت‌های عرضه‌کننده محصولات اختصاصی در برابر نظارت بیرونی مقاومت می‌کنند، در نظام‌های خصوصی‌سازی‌شده تأمین‌کننده مالی واحدی وجود ندارد و در مراقبت‌های اورژانسی نیز فرصت اندکی برای طراحی مشترک باقی می‌ماند.

این رویکرد در محیط‌های مراقبت از بیماری‌های مزمن و در جاهایی که سازمان‌های حامی بیماران از پیش وجود دارند، بیشترین کارایی را دارد. در مواردی که اجرای کامل آن امکان‌پذیر نیست، تدابیر حفاظتی محدودتر نیز بهتر از نبود هرگونه حفاظتی است.

سوم، مسئولیت باید میان طرف‌های مختلف تقسیم شود. توسعه‌دهندگان باید محدودیت‌های سیستم‌ها را مستند کنند و امکان اعتراض به خروجی‌های آن‌ها را در طراحی بگنجانند. پزشکان باید خروجی‌های الگوریتمی را در کنار گفته‌های بیمار ارزیابی کنند. نهادهای درمانی باید سازوکارهایی برای نظارت بر نحوه به‌کارگیری این فناوری‌ها و حل‌وفصل اختلافات ایجاد کنند. نهادهای ناظر نیز باید عدالت معرفتی را در استاندارد مراقبت درمانی بگنجانند.

این بحث ماهیتی مفهومی و اخلاقی دارد و مدعی اندازه‌گیری میزان وقوع این آسیب‌ها نیست؛ با این حال، انجام پژوهش‌های تجربی در این زمینه ضروری است.

دیگر پرسش این نیست که آیا مراقبت‌های سلامت از طریق فناوری‌های دیجیتال ارائه خواهند شد یا نه؛ این اتفاق خواهد افتاد.

پرسش این است که آیا این میانجی‌گری دیجیتال، فضایی را که در آن به حرف بیماران گوش داده می‌شود، گسترش خواهد داد یا محدود خواهد کرد.

نظام سلامتی که نمی‌تواند حرف فردی را که در برابرش قرار دارد باور کند، دیگر نظام سلامت نیست. پزشکی بر پایه اعتماد استوار است و هیچ مدلی، هرقدر هم دقیق باشد، نمی‌تواند جایگزین صدای بیمار شود.

اورهان اوندر

نظرات بیان‌شده در این نوشته نظر نویسنده مطلب است و الزاما بازتاب رویکرد تی‌آرتی فارسی نمی‌باشد.

مرتبطTRT فارسی - شرکت اوپن‌ای‌آی عرضه مدل جدید خود را به دلیل نگرانی‌های فزاینده ایمنی لغو کرد