ChatGPT’nin en son sürümü olan yapay zeka Toronto Üniversitesi’nden yeni bir araştırmaya göre, OpenAI’den chatbot, radyoloji kurulu tarzı bir sınavı geçecek kadar akıllı.
Resmi olarak 13 Mart 2023’te kullanıma sunulan GPT-4, sınavda çoktan seçmeli 150 sorunun %81’ini doğru yanıtladı.
Chatbot’un yüksek doğruluğuna rağmen, Kuzey Amerika Radyoloji Derneği’nin (RSNA) bir dergisi olan Radyoloji’de yayınlanan çalışma, ilgili bazı yanlışlıklar da tespit etti.
KÖR ÇALIŞMADA CHATGPT’NİN GERÇEK DOKTORLARDAN DAHA İYİ TIBBİ TAVSİYE VERDİĞİ BULUNDU: ‘BU OYUN DEĞİŞTİRİCİ OLACAK’
Bir karın radyoloğu olan baş yazar Rajesh Bhayana, “Bir radyolog tıbbi görüntüleri yorumlarken üç şey yapıyor: bulguları aramak, bulguların anlamını anlamak için gelişmiş muhakeme kullanmak ve ardından bu bulguları hastalara ve diğer doktorlara iletmek” ve University Medical Imaging Toronto, Toronto General Hospital’da teknoloji lideri Toronto KanadaHaberler Digital’e yaptığı açıklamada.
OpenAI’nin yapay zeka sohbet robotu ChatGPT’nin en son sürümü, Toronto Üniversitesi’nden yapılan yeni bir araştırmaya göre, radyoloji kurulu tarzı bir sınavı geçecek kadar akıllı. (iStock)
“Radyolojideki yapay zeka araştırmalarının çoğu bilgisayar görüşüne odaklanmıştır, ancak ChatGPT gibi dil modelleri esasen ikinci ve üçüncü adımları (gelişmiş akıl yürütme ve dil görevleri) gerçekleştirmektedir” diye devam etti.
“Araştırmamız, ChatGPT’nin radyoloji bağlamındaki performansına ilişkin içgörü sağlıyor ve büyük dil modellerinin inanılmaz potansiyelini ve onu güvenilmez kılan mevcut sınırlamaları vurguluyor.”
SAĞLIK HİZMETİ SAĞLAYICILARI İÇİN CHATGPT: AI CHATBOT PROFESYONELLERİN İŞLERİNİ KOLAYLAŞTIRABİLİR Mİ?
Tıp dergisinde yer alan araştırmaya ilişkin bir tartışmaya göre, araştırmacılar soruları Kanada Kraliyet Koleji ve Amerikan Radyoloji Kurulu sınavlarının tarzını, içeriğini ve zorluğunu yansıtacak şekilde oluşturdu.
(ChatGPT henüz görüntüleri kabul etmediği için araştırmacılar metin tabanlı sorularla sınırlıydı.)
Daha sonra sorular iki farklı kişiye yöneltildi. ChatGPT’nin sürümleri: GPT-3.5 ve daha yeni GPT-4.
Gelişmiş muhakemede ‘belirgin gelişme’
Araştırma bulgularına göre, ChatGPT’nin GPT-3.5 sürümü soruların %69’unu (150 sorudan 104’ü) doğru yanıtladı ve Kanada’daki Royal College tarafından kullanılan %70’lik geçme notuna yakındı.
Görüntüleme bulgularını açıklamak gibi “üst düzey düşünmeyi” içeren sorularda en çok mücadele etti.
Yeni bir çalışmanın baş yazarı, “Bir radyolog, tıbbi görüntüleri yorumlarken üç şey yapıyor: bulguları aramak, bulguların anlamını anlamak için ileri düzey akıl yürütme kullanmak ve ardından bu bulguları hastalara ve diğer doktorlara iletmek” dedi (resimde yok). ). (iStock)
GPT-4’e gelince, aynı soruların %81’ini (150 sorudan 121’i) doğru yanıtladı — %70’lik geçme eşiğini aştı.
Daha yeni sürüm, üst düzey düşünme sorularını yanıtlamada çok daha başarılı oldu.
Bhayana, “Çalışmanın amacı, ChatGPT’nin radyoloji bağlamında hem ileri düzeyde muhakeme hem de temel bilgi açısından nasıl performans gösterdiğini görmekti” dedi.
Araştırmacılar, GPT-4’ün gelişmiş muhakeme yeteneklerinde GPT-3.5’e göre “belirgin bir gelişme” göstermesine şaşırdılar.
Bhayana, “Bulgularımız, bu modellerin radyolojide ve aynı zamanda tıbbın diğer alanlarında da artan potansiyelini vurgulamaktadır” dedi.
Yeni bir çalışmanın baş yazarı, “Bulgularımız, bu modellerin radyolojide ve aynı zamanda tıbbın diğer alanlarında da artan potansiyelini vurgulamaktadır” dedi. (Getty Images aracılığıyla NELSON ALMEIDA/AFP)
Harvey Castro, bir Dallas, Teksas merkezli kurul onaylı acil tıp doktoru ve sağlık hizmetlerinde yapay zeka konusunda ulusal sözcü, çalışmaya dahil olmadı ancak bulguları gözden geçirdi.
Haberler Digital’e verdiği demeçte, “GPT-3.5’ten GPT-4’e performans sıçraması, daha kapsamlı bir eğitim veri kümesine ve insan takviyeli öğrenmeye artan vurguya bağlanabilir” dedi.
“Bu genişletilmiş eğitim, GPT-4’ün yerleşik bilgileri daha etkin bir şekilde yorumlamasını, anlamasını ve kullanmasını sağlıyor” diye ekledi.
CHATGPT VE SAĞLIK BAKIMLARI: AI CHATBOT HASTA DENEYİMİNİ DEĞİŞTİREBİLİR Mİ?
Bununla birlikte, Castro, standart bir testte daha yüksek puan almanın, radyoloji gibi tıbbi bir konuyu daha derinlemesine anlamak anlamına gelmediğini belirtti.
“GPT-4’ün üzerinde eğitildiği çok miktarda bilgiye dayanarak örüntü tanımada daha iyi olduğunu gösteriyor” dedi.
Sağlık hizmetlerinde ChatGPT’nin geleceği
Birçok sağlık teknolojisi uzmanlarıBhayana da dahil olmak üzere, GPT-4 gibi büyük dil modellerinin (LLM’ler) insanların genel olarak teknolojiyle ve daha özel olarak da tıpla etkileşim biçimini değiştireceğine inanıyor.
Haberler Digital’e “Google gibi arama motorlarına, Epic gibi elektronik tıbbi kayıtlara ve Nuance gibi tıbbi dikte yazılımlarına zaten dahil ediliyorlar” dedi.
“Fakat bu araçların çok daha gelişmiş uygulamaları var. sağlık hizmetlerini dönüştürmek bundan da öte.”
Kurul onaylı acil durum hekimi ve sağlıkta yapay zeka konusunda ulusal konuşmacı olan Dr. Harvey Castro, “GPT-3.5’ten GPT-4’e performans sıçraması, daha kapsamlı bir eğitim veri kümesine ve insan takviyeli öğrenmeye artan vurguya bağlanabilir.” bakım, Haberler Digital’e söyledi. (Jakub Porzycki/NurPhoto)
Bhayana, gelecekte bu modellerin hastaların sorularını doğru bir şekilde yanıtlayabileceğine, doktorların tanı koymasına ve tedavi kararlarına yön vermesine yardımcı olabileceğine inanıyor.
Radyolojiye odaklanarak, LLM’lerin radyologların yeteneklerini artırmaya ve onları daha verimli ve etkili hale getirmeye yardımcı olabileceğini tahmin etti.
“Henüz tam olarak orada değiliz – modeller henüz klinik uygulamada kullanılacak kadar güvenilir değil – ancak hızla doğru yönde ilerliyoruz” diye ekledi.
Tıpta ChatGPT’nin sınırlamaları
Castro, radyolojideki LLM’lerin belki de en büyük sınırlamasının, radyolojinin kritik bir yönü olan görsel verileri yorumlayamamaları olduğunu söyledi.
ChatGPT gibi büyük dil modelleri (LLM’ler) Bhayana, “halüsinasyon” eğilimleriyle de tanınıyorlar, bu da kulağa kendinden emin bir şekilde yanlış bilgi sağladıkları zaman, Bhayana’ya dikkat çekti.
Bhayana, “Doktorlar ve hastalar, şu anda tek bilgi kaynağı olarak bunlara güvenilemeyeceğini bilmek de dahil olmak üzere, bu modellerin güçlü ve sınırlı yönlerinin farkında olmalıdır.”
“Doktorlar ve hastalar, şu anda tek bilgi kaynağı olarak onlara güvenilemeyeceğini bilmek de dahil olmak üzere, bu modellerin güçlü ve sınırlamalarının farkında olmalıdır.” (Frank Rumpenhorst/Getty Images aracılığıyla resim ittifakı)
Castro, LLM’lerin testleri geçmek için yeterli bilgiye sahip olsalar da, hastaların teşhislerini belirleme ve tedavi planları oluşturma söz konusu olduğunda insan doktorlarla rekabet edemeyeceklerini kabul etti.
“Radyolojidekiler de dahil olmak üzere standartlaştırılmış sınavlar genellikle ‘ders kitabı’ vakalarına odaklanır” dedi.
“Ancak klinik uygulamada, hastalar nadiren ders kitabı semptomları gösterir.”
HABERLER SUNULDU
Castro, her hastanın “standart” vakalardan farklı olabilecek benzersiz semptomları, öyküleri ve kişisel faktörleri olduğunu söyledi.
“Bu karmaşıklık genellikle, GPT-4 gibi gelişmiş modeller de dahil olmak üzere yapay zekanın şu anda sahip olmadığı bir kapasite olan incelikli muhakeme ve karar vermeyi gerektirir.”
SAĞLIK BÜLTENİMİZE ÜYE OLMAK İÇİN TIKLAYINIZ
GPT-4’ün iyileştirilmiş puanları umut verici olsa da Castro, “AI araçlarının gerçek dünyadaki bir klinik ortamda doğru, güvenli ve değerli olmasını sağlamak için çok iş yapılması gerekiyor” dedi.
Melissa Rudy, sağlık editörü ve Haberler Digital’de yaşam tarzı ekibinin bir üyesidir.
Resmi olarak 13 Mart 2023’te kullanıma sunulan GPT-4, sınavda çoktan seçmeli 150 sorunun %81’ini doğru yanıtladı.
Chatbot’un yüksek doğruluğuna rağmen, Kuzey Amerika Radyoloji Derneği’nin (RSNA) bir dergisi olan Radyoloji’de yayınlanan çalışma, ilgili bazı yanlışlıklar da tespit etti.
KÖR ÇALIŞMADA CHATGPT’NİN GERÇEK DOKTORLARDAN DAHA İYİ TIBBİ TAVSİYE VERDİĞİ BULUNDU: ‘BU OYUN DEĞİŞTİRİCİ OLACAK’
Bir karın radyoloğu olan baş yazar Rajesh Bhayana, “Bir radyolog tıbbi görüntüleri yorumlarken üç şey yapıyor: bulguları aramak, bulguların anlamını anlamak için gelişmiş muhakeme kullanmak ve ardından bu bulguları hastalara ve diğer doktorlara iletmek” ve University Medical Imaging Toronto, Toronto General Hospital’da teknoloji lideri Toronto KanadaHaberler Digital’e yaptığı açıklamada.
OpenAI’nin yapay zeka sohbet robotu ChatGPT’nin en son sürümü, Toronto Üniversitesi’nden yapılan yeni bir araştırmaya göre, radyoloji kurulu tarzı bir sınavı geçecek kadar akıllı. (iStock)
“Radyolojideki yapay zeka araştırmalarının çoğu bilgisayar görüşüne odaklanmıştır, ancak ChatGPT gibi dil modelleri esasen ikinci ve üçüncü adımları (gelişmiş akıl yürütme ve dil görevleri) gerçekleştirmektedir” diye devam etti.
“Araştırmamız, ChatGPT’nin radyoloji bağlamındaki performansına ilişkin içgörü sağlıyor ve büyük dil modellerinin inanılmaz potansiyelini ve onu güvenilmez kılan mevcut sınırlamaları vurguluyor.”
SAĞLIK HİZMETİ SAĞLAYICILARI İÇİN CHATGPT: AI CHATBOT PROFESYONELLERİN İŞLERİNİ KOLAYLAŞTIRABİLİR Mİ?
Tıp dergisinde yer alan araştırmaya ilişkin bir tartışmaya göre, araştırmacılar soruları Kanada Kraliyet Koleji ve Amerikan Radyoloji Kurulu sınavlarının tarzını, içeriğini ve zorluğunu yansıtacak şekilde oluşturdu.
(ChatGPT henüz görüntüleri kabul etmediği için araştırmacılar metin tabanlı sorularla sınırlıydı.)
Daha sonra sorular iki farklı kişiye yöneltildi. ChatGPT’nin sürümleri: GPT-3.5 ve daha yeni GPT-4.
Gelişmiş muhakemede ‘belirgin gelişme’
Araştırma bulgularına göre, ChatGPT’nin GPT-3.5 sürümü soruların %69’unu (150 sorudan 104’ü) doğru yanıtladı ve Kanada’daki Royal College tarafından kullanılan %70’lik geçme notuna yakındı.
Görüntüleme bulgularını açıklamak gibi “üst düzey düşünmeyi” içeren sorularda en çok mücadele etti.
Yeni bir çalışmanın baş yazarı, “Bir radyolog, tıbbi görüntüleri yorumlarken üç şey yapıyor: bulguları aramak, bulguların anlamını anlamak için ileri düzey akıl yürütme kullanmak ve ardından bu bulguları hastalara ve diğer doktorlara iletmek” dedi (resimde yok). ). (iStock)
GPT-4’e gelince, aynı soruların %81’ini (150 sorudan 121’i) doğru yanıtladı — %70’lik geçme eşiğini aştı.
Daha yeni sürüm, üst düzey düşünme sorularını yanıtlamada çok daha başarılı oldu.
Bhayana, “Çalışmanın amacı, ChatGPT’nin radyoloji bağlamında hem ileri düzeyde muhakeme hem de temel bilgi açısından nasıl performans gösterdiğini görmekti” dedi.
“GPT-4 her iki alanda da çok iyi performans gösterdi ve radyoloji doktorlarının kullanabileceği daha gelişmiş araçların daha verimli ve etkili olmasını sağlamak için kritik olan radyolojiye özgü dilin bağlamını daha iyi anladığını gösterdi” diye ekledi.
Araştırmacılar, GPT-4’ün gelişmiş muhakeme yeteneklerinde GPT-3.5’e göre “belirgin bir gelişme” göstermesine şaşırdılar.
Bhayana, “Bulgularımız, bu modellerin radyolojide ve aynı zamanda tıbbın diğer alanlarında da artan potansiyelini vurgulamaktadır” dedi.
Yeni bir çalışmanın baş yazarı, “Bulgularımız, bu modellerin radyolojide ve aynı zamanda tıbbın diğer alanlarında da artan potansiyelini vurgulamaktadır” dedi. (Getty Images aracılığıyla NELSON ALMEIDA/AFP)
Harvey Castro, bir Dallas, Teksas merkezli kurul onaylı acil tıp doktoru ve sağlık hizmetlerinde yapay zeka konusunda ulusal sözcü, çalışmaya dahil olmadı ancak bulguları gözden geçirdi.
Haberler Digital’e verdiği demeçte, “GPT-3.5’ten GPT-4’e performans sıçraması, daha kapsamlı bir eğitim veri kümesine ve insan takviyeli öğrenmeye artan vurguya bağlanabilir” dedi.
“Bu genişletilmiş eğitim, GPT-4’ün yerleşik bilgileri daha etkin bir şekilde yorumlamasını, anlamasını ve kullanmasını sağlıyor” diye ekledi.
CHATGPT VE SAĞLIK BAKIMLARI: AI CHATBOT HASTA DENEYİMİNİ DEĞİŞTİREBİLİR Mİ?
Bununla birlikte, Castro, standart bir testte daha yüksek puan almanın, radyoloji gibi tıbbi bir konuyu daha derinlemesine anlamak anlamına gelmediğini belirtti.
“GPT-4’ün üzerinde eğitildiği çok miktarda bilgiye dayanarak örüntü tanımada daha iyi olduğunu gösteriyor” dedi.
Sağlık hizmetlerinde ChatGPT’nin geleceği
Birçok sağlık teknolojisi uzmanlarıBhayana da dahil olmak üzere, GPT-4 gibi büyük dil modellerinin (LLM’ler) insanların genel olarak teknolojiyle ve daha özel olarak da tıpla etkileşim biçimini değiştireceğine inanıyor.
Haberler Digital’e “Google gibi arama motorlarına, Epic gibi elektronik tıbbi kayıtlara ve Nuance gibi tıbbi dikte yazılımlarına zaten dahil ediliyorlar” dedi.
“Fakat bu araçların çok daha gelişmiş uygulamaları var. sağlık hizmetlerini dönüştürmek bundan da öte.”
Kurul onaylı acil durum hekimi ve sağlıkta yapay zeka konusunda ulusal konuşmacı olan Dr. Harvey Castro, “GPT-3.5’ten GPT-4’e performans sıçraması, daha kapsamlı bir eğitim veri kümesine ve insan takviyeli öğrenmeye artan vurguya bağlanabilir.” bakım, Haberler Digital’e söyledi. (Jakub Porzycki/NurPhoto)
Bhayana, gelecekte bu modellerin hastaların sorularını doğru bir şekilde yanıtlayabileceğine, doktorların tanı koymasına ve tedavi kararlarına yön vermesine yardımcı olabileceğine inanıyor.
Radyolojiye odaklanarak, LLM’lerin radyologların yeteneklerini artırmaya ve onları daha verimli ve etkili hale getirmeye yardımcı olabileceğini tahmin etti.
“Henüz tam olarak orada değiliz – modeller henüz klinik uygulamada kullanılacak kadar güvenilir değil – ancak hızla doğru yönde ilerliyoruz” diye ekledi.
Tıpta ChatGPT’nin sınırlamaları
Castro, radyolojideki LLM’lerin belki de en büyük sınırlamasının, radyolojinin kritik bir yönü olan görsel verileri yorumlayamamaları olduğunu söyledi.
ChatGPT gibi büyük dil modelleri (LLM’ler) Bhayana, “halüsinasyon” eğilimleriyle de tanınıyorlar, bu da kulağa kendinden emin bir şekilde yanlış bilgi sağladıkları zaman, Bhayana’ya dikkat çekti.
“Bu halüsinasyonlar GPT-4’te 3.5’e kıyasla azaldı, ancak yine de klinik uygulamada güvenilemeyecek kadar sık meydana geliyor” dedi.
Bhayana, “Doktorlar ve hastalar, şu anda tek bilgi kaynağı olarak bunlara güvenilemeyeceğini bilmek de dahil olmak üzere, bu modellerin güçlü ve sınırlı yönlerinin farkında olmalıdır.”
“Doktorlar ve hastalar, şu anda tek bilgi kaynağı olarak onlara güvenilemeyeceğini bilmek de dahil olmak üzere, bu modellerin güçlü ve sınırlamalarının farkında olmalıdır.” (Frank Rumpenhorst/Getty Images aracılığıyla resim ittifakı)
Castro, LLM’lerin testleri geçmek için yeterli bilgiye sahip olsalar da, hastaların teşhislerini belirleme ve tedavi planları oluşturma söz konusu olduğunda insan doktorlarla rekabet edemeyeceklerini kabul etti.
“Radyolojidekiler de dahil olmak üzere standartlaştırılmış sınavlar genellikle ‘ders kitabı’ vakalarına odaklanır” dedi.
“Ancak klinik uygulamada, hastalar nadiren ders kitabı semptomları gösterir.”
HABERLER SUNULDU
Castro, her hastanın “standart” vakalardan farklı olabilecek benzersiz semptomları, öyküleri ve kişisel faktörleri olduğunu söyledi.
“Bu karmaşıklık genellikle, GPT-4 gibi gelişmiş modeller de dahil olmak üzere yapay zekanın şu anda sahip olmadığı bir kapasite olan incelikli muhakeme ve karar vermeyi gerektirir.”
SAĞLIK BÜLTENİMİZE ÜYE OLMAK İÇİN TIKLAYINIZ
GPT-4’ün iyileştirilmiş puanları umut verici olsa da Castro, “AI araçlarının gerçek dünyadaki bir klinik ortamda doğru, güvenli ve değerli olmasını sağlamak için çok iş yapılması gerekiyor” dedi.
Melissa Rudy, sağlık editörü ve Haberler Digital’de yaşam tarzı ekibinin bir üyesidir.