एक नए अध्ययन के अनुसार, चैटजीपीटी यूनाइटेड स्टेट्स मेडिकल लाइसेंसिंग परीक्षा (यूएसएमएलई) के लिए लगभग 60 प्रतिशत पासिंग थ्रेसहोल्ड पर या उसके आसपास स्कोर कर सकता है, जो प्रतिक्रियाओं के साथ सुसंगत, आंतरिक समझ में आता है और इसमें लगातार अंतर्दृष्टि होती है।
AnsibleHealth, कैलिफ़ोर्निया, यूएस में टिफ़नी कुंग और उनके सहयोगियों ने परीक्षण किया चैटजीपीटीअध्ययन में कहा गया है कि USMLE पर प्रदर्शन, तीन परीक्षाओं की एक उच्च मानकीकृत और विनियमित श्रृंखला है, जिसमें चरण 1, 2CK और 3 शामिल हैं, जो अमेरिका में मेडिकल लाइसेंस के लिए आवश्यक हैं।
मेडिकल छात्रों और चिकित्सकों के प्रशिक्षण में लिया गया, USMLE अधिकांश चिकित्सा विषयों में फैले ज्ञान का आकलन करता है, जैव रसायन से लेकर नैदानिक तर्क तक, बायोएथिक्स तक।
अध्ययन में कहा गया है कि यूएसएमएलई से छवि-आधारित प्रश्नों को हटाने के लिए स्क्रीनिंग के बाद, लेखकों ने जून 2022 यूएसएमएलई रिलीज से उपलब्ध 376 सार्वजनिक प्रश्नों में से 350 पर सॉफ्टवेयर का परीक्षण किया।
पीएलओएस डिजिटल हेल्थ जर्नल में प्रकाशित अध्ययन में कहा गया है कि लेखकों ने पाया कि अनिश्चित प्रतिक्रियाओं को हटा दिए जाने के बाद, चैटजीपीटी ने तीन यूएसएमएलई परीक्षाओं में 52.4 प्रतिशत और 75 प्रतिशत के बीच स्कोर किया था।
प्रत्येक वर्ष उत्तीर्ण सीमा लगभग 60 प्रतिशत है।
चैटजीपीटी एक नया है कृत्रिम होशियारी (एआई) प्रणाली, जिसे एक बड़े भाषा मॉडल (एलएलएम) के रूप में जाना जाता है, जिसे आगामी शब्द अनुक्रमों की भविष्यवाणी करके मानव-समान लेखन उत्पन्न करने के लिए डिज़ाइन किया गया है।
अध्ययन में कहा गया है कि अधिकांश चैटबॉट्स के विपरीत, चैटजीपीटी इंटरनेट पर खोज नहीं कर सकता है।
इसके बजाय, यह अपनी आंतरिक प्रक्रियाओं द्वारा अनुमानित शब्द संबंधों का उपयोग करके पाठ उत्पन्न करता है, अध्ययन ने कहा।
अध्ययन के अनुसार, ChatGPT ने अपनी सभी प्रतिक्रियाओं में 94.6 प्रतिशत समरूपता का प्रदर्शन किया और 88.9 प्रतिशत प्रतिक्रियाओं के लिए कम से कम एक महत्वपूर्ण अंतर्दृष्टि का उत्पादन किया, जो नया, गैर-स्पष्ट और नैदानिक रूप से मान्य था।
अध्ययन में कहा गया है कि चैटजीपीटी ने बायोमेडिकल डोमेन साहित्य पर विशेष रूप से प्रशिक्षित समकक्ष मॉडल पबमेडजीपीटी के प्रदर्शन को भी पार कर लिया है, जिसने यूएसएमएलई-शैली के प्रश्नों के पुराने डेटासेट पर 50.8 प्रतिशत स्कोर किया है।
जबकि अपेक्षाकृत छोटे इनपुट आकार ने विश्लेषण की गहराई और सीमा को प्रतिबंधित कर दिया, लेखकों ने नोट किया कि उनके निष्कर्षों ने चिकित्सा शिक्षा और अंततः नैदानिक अभ्यास को बढ़ाने के लिए चैटजीपीटी की क्षमता में एक झलक प्रदान की।
उदाहरण के लिए, उन्होंने कहा, AnsibleHealth पर चिकित्सक पहले से ही रोगियों की आसान समझ के लिए शब्दजाल-भारी रिपोर्ट को फिर से लिखने के लिए चैटजीपीटी का उपयोग करते हैं।
लेखकों ने कहा, “इस कुख्यात कठिन विशेषज्ञ परीक्षा के लिए उत्तीर्ण अंक तक पहुंचना, और बिना किसी मानव सुदृढीकरण के ऐसा करना, नैदानिक एआई परिपक्वता में एक उल्लेखनीय मील का पत्थर है।”
कुंग ने कहा कि इस शोध में चैटजीपीटी की भूमिका अध्ययन विषय से परे है।
“चैटजीपीटी ने इसके लेखन में काफी योगदान दिया [our] पांडुलिपि… हमने एक सहयोगी की तरह चैटजीपीटी के साथ बातचीत की, इसे संश्लेषित करने, सरल बनाने और प्रगति में ड्राफ्ट के लिए काउंटरपॉइंट्स की पेशकश करने के लिए कहा… सभी सह-लेखकों ने चैटजीपीटी के इनपुट को महत्व दिया।”