یک مطالعه اخیر به دقت عملکرد هوش مصنوعی مولد (AI) را در تشخیص شرایط پزشکی در مقایسه با پزشکان بررسی کرد. این تحقیق توسط گروهی به رهبری دکتر هیروتاکا تاکیتا و پروفسور دایجو اوئدا در دانشکده تحصیلات تکمیلی پزشکی دانشگاه متروپولیتن اوزاکا انجام شد.
این بررسی سیستماتیک و متاآنالیز، تعداد زیادی از مطالعات (18,371 مورد) را بررسی کرد و در نهایت 83 مورد را برای تحلیل دقیق‌تر انتخاب کرد. نتایج، نقاط قوت و ضعف هوش مصنوعی در حوزه سلامت را روشن کرد.
این پژوهش مدل‌های مختلف هوش مصنوعی مولد مانند GPT-4، Llama3 70B، Gemini 1.5 Pro و Claude 3 Sonnet را در زمینه‌های مختلف پزشکی بررسی کرد. GPT-4 بیشترین مطالعه را به خود اختصاص داد. به طور کلی، دقت تشخیصی این مدل‌های هوش مصنوعی به طور میانگین 52.1% بود (با فاصله اطمینان 95%: 47.0-57.1%). برخی مدل‌ها تقریباً به اندازه پزشکان غیرمتخصص دقیق بودند، بدون تفاوت آماری قابل توجه (تفاوت دقت: 0.6% [با فاصله اطمینان 95%: -14.5% تا 15.7%]، p=0.93). با این حال، پزشکان متخصص همچنان عملکرد بهتری نسبت به هوش مصنوعی داشتند، با اختلاف دقت قابل توجه 15.8% (با فاصله اطمینان 95%: 4.4% تا 27.1%، p=0.007)، هرچند با توجه به پیشرفت‌های موجود، این اختلاف ممکن است فقط مسئله زمان باشد.
مطالعه همچنین نشان داد که هوش مصنوعی در اکثر تخصص‌های پزشکی عملکرد مشابهی داشت، با دو استثنا: پوست و اورولوژی. هوش مصنوعی در پوست نتایج قوی‌تری نشان داد، احتمالاً به این دلیل که این رشته شامل تشخیص الگوهاست، چیزی که هوش مصنوعی در آن خوب عمل می‌کند. اما از آنجایی که پوست نیازمند استدلال پیچیده و تصمیم‌گیری خاص برای هر بیمار است، نتایج کل داستان را نمی‌گویند. برای اورولوژی، یافته‌ها بر اساس یک مطالعه بزرگ منفرد بود که تعمیم نتایج را دشوارتر می‌کند.
دکتر تاکیتا افزود: “این تحقیق نشان می‌دهد که قابلیت‌های تشخیصی هوش مصنوعی مولد قابل مقایسه با پزشکان غیرمتخصص است. می‌تواند در آموزش پزشکی برای حمایت از پزشکان غیرمتخصص و کمک به تشخیص در مناطق با منابع پزشکی محدود استفاده شود. تحقیقات بیشتر، مانند ارزیابی در سناریوهای بالینی پیچیده‌تر، ارزیابی عملکرد با استفاده از پرونده‌های پزشکی واقعی، بهبود شفافیت تصمیم‌گیری هوش مصنوعی و تأیید در گروه‌های متنوع بیماران، برای تأیید قابلیت‌های هوش مصنوعی ضروری است.”
فراتر از تشخیص، مطالعه پتانسیل استفاده از هوش مصنوعی در آموزش پزشکی را برجسته کرد. به گفته محققان، “عملکرد قابل مقایسه مدل‌های فعلی هوش مصنوعی مولد با پزشکان در محیط‌های غیرتخصصی، فرصتی برای ادغام هوش مصنوعی در آموزش پزشکی را آشکار می‌کند.” هوش مصنوعی می‌تواند برای شبیه‌سازی موارد واقعی استفاده شود و به دانشجویان پزشکی و کارآموزان در یادگیری و ارزیابی مهارت‌هایشان کمک کند.
با این حال، نگرانی‌هایی درباره شفافیت و تعصب در این مدل‌ها وجود دارد. بسیاری از سیستم‌های هوش مصنوعی جزئیات داده‌های آموزشی خود را به اشتراک نمی‌گذارند، که سؤالاتی را درباره قابلیت اعمال نتایج آنها به همه جمعیت‌ها مطرح می‌کند. محققان اشاره کردند که “شفافیت، درک دانش، زمینه و محدودیت‌های مدل را تضمین می‌کند” و بر نیاز به کاربردهای هوش مصنوعی شفاف، اخلاقی و کاملاً تأیید شده تأکید کردند.
در حال حاضر، هوش مصنوعی مولد، اگرچه امیدوارکننده است، در موارد پیچیده که نیاز به اطلاعات دقیق بیمار دارد، با مشکل مواجه می‌شود. آیا پزشکان باید نگران از دست دادن شغل خود باشند؟ در این مرحله گفتن آن دشوار است، اما تا جایی که به تشخیص مربوط می‌شود، قطعاً این امکان وجود دارد.