چت بات هوش مصنوعی هم سطح یک پزشک متخصص! - کنفرانس هکا

به گزارش خبرگزاری خبرنگاران ، به گزارش فایننشال تایمز، مطالعه ای نو از دانشکده پزشکی بالینی دانشگاه کمبریج نشان می دهد که هوش مصنوعی GPT-4 در ارزیابی چشم پزشکی تقریباً به خوبی یک متخصص در این زمینه عمل می نماید.

براساس گزارش زومیت، محققان، مدل های زبانی بزرگ GPT-3.5 و Palm 2 و LLaMA را با 87 سؤال چند گزینه ای آزمایش کردند. پنج چشم پزشک متخصص، سه کارآموز چشم پزشکی و دو پزشک غیرمتخصص جوان در آزمون آزمایشی یکسان شرکت کردند.

سؤالات در خصوص همه چیز از حساسیت به نور گرفته تا آسیب جدی به چشم مطرح شد. پاسخ این سؤالات به صورت عمومی در دسترس نبودند، بنابراین محققان معتقدند که مدل های زبانی بزرگ از قبل در خصوص آن ها آموزش ندیده اند.

GPT-4 امتیاز بالاتری نسبت به کارآموزان و پزشکان جوان کسب کرد و 60 سوال را به درستی پاسخ داد. در حالی که پزشکان به طور میانگین به 37 سؤال پاسخ درست دادند. پزشکان متخصص به 56 سؤال پاسخ دقیقی ارئه کردند؛ اما با میانگین نمره 66.4 نشان دادند که همچنان از هوش مصنوعی جلوترند.

PalM 2 به 49 سؤال و GPT-3.5 به 42 سؤال به درستی جواب دادند. LLaMA با 28 پاسخ درست کمترین امتیاز را بین مدل های زبانی بزرگ دیگر به دست آورد.

محققان خاطرنشان کردند که مطالعه نوشان تعداد محدودی سؤال ارائه کرد، به خصوص در دسته های خاص؛ به این معنی که نتایج واقعی ممکن است متفاوت باشد. مدل های زبانی بزرگ ذاتاً تمایل به توهم یا ساختن چیزهای مختلف دارند. مثلاً تشخیص اشتباه وجود آب مروارید یا سرطان و به طور کلی دقت پایین در تشخیص بیماری می تواند عواقب بسیار خطرناکی داشته باشد.

227227