Soru yanıtlama (QA), insanlar tarafından doğal bir dilde sorulan soruları otomatik olarak yanıtlayan sistemlerin oluşturulmasıyla ilgilenen, bilgi alma ve doğal dil işleme (NLP) alanlarındaki bir bilgisayar bilimi disiplinidir.[1]
Genel bakış
Genellikle bir bilgisayar programı olan bir soru yanıtlama uygulaması, yanıtlarını yapılandırılmış bir bilgi veya bilgi veritabanını, genellikle bir bilgi tabanını sorgulayarak oluşturabilir. Daha yaygın olarak, soru yanıtlama sistemleri, yanıtları yapılandırılmamış bir doğal dil belgeleri koleksiyonundan alabilir.
Soru yanıtlama sistemleri için kullanılan doğal dil belge koleksiyonlarının bazı örnekleri şunları içerir:
yerel referans metinleri koleksiyonu
iç organizasyon belgeleri ve web sayfaları
derlenmiş haber bülteni raporları
bir dizi Wikipedia sayfası
World Wide Web sayfalarının bir alt kümesi
Soru Cevap Türleri
Soru yanıtlama araştırması, olgu, liste, tanım, Nasıl, Neden, varsayımsal, anlamsal olarak kısıtlanmış ve diller arası sorular dahil olmak üzere çok çeşitli soru türlerini ele almaya çalışır.
Okuduğunu anlama becerisini değerlendirmek için bir makaleyle ilgili soruları yanıtlama. Bu, daha basit bir soru cevaplama şeklidir, çünkü verilen makale, daha geniş bilgi alanıyla ilgili diğer soru cevaplama problemlerine kıyasla nispeten kısadır. Açık alan sorusuna bir örnek, “Albert Einstein Nobel Ödülü’nü ne için kazandı?” bu konu ile ilgili bir yazı sisteme verilirken.
Kapalı kitap soru yanıtlama: Bir sistem, eğitim sırasında bazı gerçekleri ezberlemiştir ve soruları açıkça bir bağlam vermeden yanıtlayabilir. Bu, kapalı kitap sınavlarına giren insanlara benzer.
Kapalı alan soru yanıtlama, belirli bir alan (örneğin, ilaç veya otomotiv bakımı) altındaki sorularla ilgilenir ve genellikle ontolojilerde biçimlendirilen alana özgü bilgileri kullanabilir. Alternatif olarak, kapalı alan, prosedürel bilgiler yerine tanımlayıcı bilgiler isteyen sorular gibi yalnızca sınırlı türde soruların kabul edildiği bir durumu ifade edebilir. Makine okuma uygulamaları bağlamında soru yanıtlama sistemleri, örneğin Alzheimer hastalığı ile ilgili olarak tıbbi alanda da oluşturulmuştur.[2]
Açık alanlı soru yanıtlama, neredeyse her şeyle ilgili sorularla ilgilenir ve yalnızca genel ontolojilere ve dünya bilgisine dayanabilir. Öte yandan, bu sistemler genellikle yanıtın çıkarılabileceği çok daha fazla veriye sahiptir. Açık alan sorusuna bir örnek, “Albert Einstein Nobel Ödülü’nü ne için kazandı?” bu konu ile ilgili herhangi bir yazı sisteme verilmemektedir.
Soru yanıtlama sistemlerini kategorize etmenin bir başka yolu da kullanılan teknik yaklaşımı kullanmaktır. Aşağıdakiler de dahil olmak üzere bir dizi farklı QA sistemi türü vardır:
kural tabanlı sistemler,
istatistiksel sistemler ve
hibrit sistemler.
Kural tabanlı sistemler, bir sorunun doğru cevabını belirlemek için bir dizi kural kullanır. İstatistik sistemleri, bir soruya en olası yanıtı bulmak için istatistiksel yöntemler kullanır. Hibrit sistemler, kural tabanlı ve istatistiksel yöntemlerin bir kombinasyonunu kullanır.
Tarihi
İlk iki soru yanıtlama sistemi BEYZBOL[3] ve LUNAR[4] idi. BEYZBOL, bir yıl boyunca Major League Baseball ligi ile ilgili soruları yanıtladı. LUNAR ise Apollo ay misyonları tarafından döndürülen kayaların jeolojik analizi ile ilgili soruları yanıtladı. Her iki soru yanıtlama sistemi de seçtikleri alanlarda çok etkiliydi. Aslında LUNAR, 1971’de bir ay bilimi kongresinde gösterildi ve kendi alanında sistem konusunda eğitimsiz kişiler tarafından yöneltilen soruların %90’ını yanıtlayabildi. Sonraki yıllarda daha kısıtlı alan soru yanıtlama sistemleri geliştirildi. Tüm bu sistemlerin ortak özelliği, seçilen alanın uzmanları tarafından elle yazılmış bir çekirdek veri tabanına veya bilgi sistemine sahip olmalarıdır. BEYZBOL ve LUNAR’ın dil yetenekleri, ilk geveze robot programları olan ELIZA ve DOCTOR’a benzer teknikler kullandı.
SHRDLU, 1960’ların sonlarında ve 1970’lerin başlarında Terry Winograd tarafından geliştirilen oldukça başarılı bir soru-yanıtlama programıydı. Bir robotun oyuncak dünyasında (“bloklar dünyası”) çalışmasını simüle etti ve robota dünyanın durumu hakkında sorular sorma imkanı sundu. Yine, bu sistemin gücü, çok özel bir alan ve bir bilgisayar programında kodlanması kolay fizik kurallarına sahip çok basit bir dünya seçimiydi.
1970’lerde, daha dar bilgi alanlarını hedefleyen bilgi tabanları geliştirildi. Bu uzman sistemlerle arayüz oluşturmak için geliştirilen soru yanıtlama sistemleri, bir bilgi alanı içindeki sorulara daha tekrarlanabilir ve geçerli yanıtlar üretti. Bu uzman sistemler, iç mimarileri dışında modern soru yanıtlama sistemlerine çok benziyordu. Uzman sistemler büyük ölçüde uzmanlar tarafından oluşturulmuş ve organize edilmiş bilgi tabanlarına dayanırken, birçok modern soru yanıtlama sistemi büyük, yapılandırılmamış, doğal dil metin külliyatının istatistiksel olarak işlenmesine dayanır.
1970’ler ve 1980’ler, hesaplamalı dilbilimde metin anlama ve soru yanıtlamada iddialı projelerin geliştirilmesine yol açan kapsamlı teorilerin gelişimine tanık oldu. Böyle bir sistemin bir örneği, U.C.’de Robert Wilensky tarafından geliştirilen Unix Consultant’tır (UC). 1980’lerin sonlarında Berkeley’de. Sistem, Unix işletim sistemi ile ilgili soruları yanıtladı. Alanıyla ilgili kapsamlı bir el yapımı bilgi tabanına sahipti ve çeşitli kullanıcı türlerini barındırmak için yanıtı ifade etmeyi amaçlıyordu. Diğer bir proje de, bir Alman şehrinde turizm bilgileri alanında çalışan bir metin anlama sistemi olan LILOG’du. UC ve LILOG projelerinde geliştirilen sistemler hiçbir zaman basit gösterim aşamasını geçmedi, ancak hesaplamalı dilbilim ve akıl yürütme üzerine teorilerin geliştirilmesine yardımcı oldular.
Sağlık ve yaşam bilimcileri için EAGLi gibi özel doğal dilde soru yanıtlama sistemleri geliştirilmiştir.[5]
Uygulamalar
QA sistemleri, aşağıdakiler de dahil olmak üzere çeşitli uygulamalarda kullanılır:
Aşağıdaki gibi bir soru sorarak bir gerçeğin doğrulanıp doğrulanmadığını doğrulama: X olgusu doğru mu yanlış mı?
müşteri servisi,
teknik Destek,
Pazar araştırması,
raporlar oluşturun veya araştırma yapın.
Mimari
2001 itibariyle, soru yanıtlama sistemleri tipik olarak, soru tipini ve cevap tipini belirleyen bir soru sınıflandırıcı modülü içermektedir.[6]
Farklı türde soru yanıtlama sistemleri farklı mimariler kullanır. Örneğin, modern açık alanlı soru yanıtlama sistemleri, alıcı-okuyucu mimarisi kullanabilir. Retriever, belirli bir soruyla ilgili belgeleri almayı amaçlarken, okuyucu, alınan belgelerden yanıt çıkarmak için kullanılır. GPT-3, T5,[7] ve BART[8] gibi en yeni sistemler, büyük ölçekli metinsel verileri temel alınan parametrelerde depolamak için transformatör tabanlı bir mimarinin kullanıldığı uçtan uca bir mimari bile kullanır. Bu modeller daha sonra herhangi bir dış bilgi kaynağına erişmeden soruları yanıtlamak için doğrudan kullanılabilir.
Soru cevaplama yöntemleri
Soru yanıtlama, iyi bir arama külliyatına çok bağlıdır; çünkü yanıtı içeren belgeler olmadan, soru yanıtlama sisteminin yapabileceği çok az şey vardır. Bu nedenle, soru alanı koleksiyona ortogonal olmadığı sürece, daha büyük koleksiyon boyutlarının genellikle daha iyi soru yanıtlama performansına uygun olması mantıklıdır. Web gibi büyük koleksiyonlarda veri fazlalığı kavramı, bilgi külçelerinin farklı bağlamlarda ve belgelerde birçok farklı şekilde ifade edilebileceği anlamına gelir[9] ve bu da iki fayda sağlar:
Doğru bilgilerin birçok biçimde görünmesiyle, soru yanıtlama sisteminin metni anlamak için karmaşık NLP tekniklerini gerçekleştirme yükü azaltılır.
Doğru yanıtların belgelerde yanlış yanıtlardan daha fazla görünmesine güvenilerek, doğru yanıtlar yanlış pozitiflerden filtrelenebilir.
Bazı soru yanıtlama sistemleri büyük ölçüde otomatik akıl yürütmeye dayanır.[10][11]
Açık alan soru yanıtlama
Bilgi almada, açık alanlı bir soru yanıtlama sistemi, kullanıcının sorusuna yanıt olarak bir yanıt döndürmeyi amaçlar. Döndürülen cevap, ilgili belgelerin bir listesi yerine kısa metinler biçimindedir.[12] Sistem, cevapları bulmak için hesaplamalı dilbilim, bilgi alma ve bilgi temsilinden tekniklerin bir kombinasyonunu kullanır.
Sistem, bir dizi anahtar kelime yerine doğal dil sorusunu girdi olarak alır, örneğin, “Çin’in ulusal günü ne zaman?” Cümle daha sonra mantıksal formu aracılığıyla bir sorguya dönüştürülür. Girdinin doğal dil sorusu biçiminde olması, sistemi daha kullanıcı dostu hale getirir, ancak çeşitli soru türleri olduğundan ve sistemin mantıklı bir yanıt verebilmesi için doğru olanı belirlemesi gerekeceğinden, uygulanması daha zordur. Soruya bir soru tipi atamak çok önemli bir görevdir, tüm cevap çıkarma süreci doğru soru tipini ve dolayısıyla doğru cevap tipini bulmaya dayanır.
Anahtar kelime çıkarma, giriş sorusu türünü belirlemenin ilk adımıdır.[13] Bazı durumlarda doğrudan soru tipini belirten açık kelimeler vardır yani “Kim”, “Nerede” veya “Kaç tane” gibi bu kelimeler sisteme cevapların “Kişi”, “Yer”, veya sırasıyla “Sayı”. Yukarıdaki örnekte, “Ne zaman” sözcüğü, yanıtın “Tarih” türünde olması gerektiğini belirtir. Yanıt türünü belirlemek için POS (konuşma parçası) etiketleme ve sözdizimsel ayrıştırma teknikleri de kullanılabilir. Bu durumda özne “Çin Ulusal Günü”, yüklem “is” ve zarf değiştirici “ne zaman”dır, bu nedenle cevap türü “Tarih” dir. Ne yazık ki “Hangi”, “Ne” veya “Nasıl” gibi bazı soru sözcükleri net cevap türleri vermemektedir. Bu kelimelerin her biri birden fazla türü temsil edebilir. Bu gibi durumlarda, sorudaki diğer kelimelerin de dikkate alınması gerekir. Yapılacak ilk şey, sorunun anlamını belirtebilecek kelimeleri bulmaktır. Bağlamı anlamak için WordNet gibi sözcüksel bir sözlük kullanılabilir.
Soru türü belirlendikten sonra, doğru anahtar sözcükleri içeren bir dizi belgeyi bulmak için bir bilgi erişim sistemi kullanılır. Bulunan belgelerde doğru varlıklardan ve ilişkilerden bahsedilip bahsedilmediğini doğrulamak için bir etiketleyici ve NP/Fiil Grubu parçalayıcı kullanılabilir. “Kim” veya “Nerede” gibi sorular için, alınan belgelerden ilgili “Kişi” ve “Yer” adlarını bulmak için bir adlandırılmış varlık tanıyıcı kullanılır. Sıralama için sadece ilgili paragraflar seçilir.
Aday cevapları sınıflandırmak için bir strateji olarak bir vektör uzayı modeli kullanılabilir. Soru tipi analizi aşamasında belirlenen cevabın doğru tipte olup olmadığını kontrol edin. Aday cevaplarını doğrulamak için bir çıkarım tekniği de kullanılabilir. Daha sonra bu adayların her birine, içerdiği soru kelimelerinin sayısına ve bu kelimelerin adaya ne kadar yakın olduğuna göre bir puan verilir, ne kadar çok ve ne kadar yakınsa o kadar iyidir. Cevap daha sonra ayrıştırılarak kompakt ve anlamlı bir temsile çevrilir. Önceki örnekte, beklenen çıktı yanıtı “1 Ekim” şeklindedir.
Matematiksel soru cevap
Ask Platypus ve Wikidata’ya dayalı açık kaynaklı, matematiğe duyarlı bir soru yanıtlama sistemi 2018’de yayınlandı.[14] Sistem, bir İngilizce veya Hintçe doğal dil sorusunu girdi olarak alır ve kısa ve öz bir yanıt olarak Vikiveri’den alınan bir matematiksel formülü döndürür. Ortaya çıkan formül, kullanıcının değişkenler için değerler girmesine izin vererek hesaplanabilir bir forma çevrilir. Değişkenlerin ve ortak sabitlerin adları ve değerleri, varsa Vikiveri’den alınır. Sistemin, bir test setinde ticari bir hesaplamalı matematik bilgi motorunu geride bıraktığı iddia ediliyor. MathQA, Wikimedia tarafından https://mathqa.wmflabs.org/ adresinde barındırılmaktadır. 2022’de 15 matematik soru türünü yanıtlayacak şekilde genişletildi.[15]
MathQA yöntemlerinin doğal ve formül dilini birleştirmesi gerekir. Muhtemel bir yaklaşım, Entity Linking yoluyla denetimli ek açıklama gerçekleştirmektir. CLEF 2020[16]’deki “ARQMath Görevi”, Math Stack Exchange (MSE) platformundan yeni gönderilen soruları topluluk tarafından zaten yanıtlanmış olan mevcut sorularla ilişkilendirme sorununu ele almak için başlatıldı.[17] Laboratuvar, Mansouri ve ark. genel amaçlı arama motorlarındaki matematiksel sorguların %20’sinin iyi biçimlendirilmiş sorular olarak ifade edildiğini keşfetti.[18] İki ayrı alt görev içeriyordu. Görev 1: Eski gönderi yanıtlarını yeni sorulan sorularla eşleştiren “Yanıt alma” ve Görev 2: Eski gönderi formüllerini yeni sorularla eşleştiren “Formül alma”. Formül dilini içeren matematik alanından başlayarak amaç, görevi daha sonra diğer özel notasyon türlerini (örneğin kimya, biyoloji vb.) formüller).[16][17]
Ayrıca, matematiksel soru cevaplamanın ters süreci, yani matematiksel soru oluşturma da araştırılmıştır. PhysWikiQuiz fizik soru oluşturma ve test motoru, tanımlayıcı tanımlayıcılarının (değişkenlerin adları ve değerleri) anlamsal bilgileriyle birlikte Wikidata’dan matematiksel formüller alır. [19] Formüller daha sonra bir dizi formül varyantı oluşturmak için yeniden düzenlenir. Daha sonra, bireysel öğrenci testlerine uygun çok sayıda farklı soru oluşturmak için değişkenler rastgele değerlerle değiştirilir. PhysWikiquiz, Wikimedia tarafından https://physwikiquiz.wmflabs.org/ adresinde barındırılmaktadır.
İlerleme
Soru yanıtlama sistemleri son yıllarda ek bilgi alanlarını kapsayacak şekilde genişletildi[20] Örneğin, zamansal ve coğrafi uzamsal soruları, tanım ve terminoloji sorularını, biyografik soruları, çok dilli soruları ve içerikle ilgili soruları otomatik olarak yanıtlayacak sistemler geliştirildi. ses, görüntü[21] ve video.[22] Araştırma konularını yanıtlayan güncel soru şunları içerir:
etkileşim—soruların veya cevapların netleştirilmesi[23]
yanıtın yeniden kullanılması veya önbelleğe alınması[24]
anlamsal ayrıştırma[25]
cevap sunumu[26]
bilgi temsili ve anlamsal gereklilik[27]
soru cevaplama sistemleri ile sosyal medya analizi
duygu analizi[28]
tematik rollerin kullanımı[29]
Görsel soru yanıtlama için resim yazısı[21]
Somutlaştırılmış soru cevaplama[30]
2011 yılında, IBM tarafından geliştirilen bir soru yanıtlama bilgisayar sistemi olan Watson, Jeopardy’nin iki gösteri maçında yarıştı! Brad Rutter ve Ken Jennings’e karşı önemli bir farkla kazandı.[31] Facebook Research, DrQA sistemini[32] açık kaynak lisansı altında kullanılabilir hale getirdi. Bu sistem, bilgi kaynağı olarak Wikipedia kullanılarak açık alan sorularını yanıtlamak için kullanılmıştır.[33] Deepset’in açık kaynak çerçevesi Haystack, açık alan soru yanıtlama ile üretici soru yanıtlamanın birleştirilmesine izin verir ve endüstri kullanım durumları için temel dil modellerinin alan uyarlamasını destekler. [34][35]
Kaynak:
https://en.wikipedia.org/wiki/Question_answering
Wiki Kaynaklar:
1)Philipp Cimiano; Christina Unger; John McCrae (1 March 2014). Ontology-Based Interpretation of Natural Language. Morgan & Claypool Publishers. ISBN 978-1-60845-990-2.
2)Roser Morante, Martin Krallinger, Alfonso Valencia and Walter Daelemans. Machine Reading of Biomedical Texts about Alzheimer’s Disease. CLEF 2012 Evaluation Labs and Workshop. September 17, 2012
3)GREEN JR, Bert F; et al. (1961). “Baseball: an automatic question-answerer” (PDF). Western Joint IRE-AIEE-ACM Computer Conference: 219–224.
4)Woods, William A; Kaplan, R. (1977). “Lunar rocks in natural English: Explorations in natural language question answering”. Linguistic Structures Processing 5. 5: 521–569.
5)”EAGLi platform – Question Answering in MEDLINE”. candy.hesge.ch. Retrieved 2021-12-02.
6)Hirschman, L. & Gaizauskas, R. (2001) Natural Language Question Answering. The View from Here. Natural Language Engineering (2001), 7:4:275-300 Cambridge University Press.
7)Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2019). “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”. arXiv:1910.10683.
8)Lewis, Mike; Liu, Yinhan; Goyal, Naman; Ghazvininejad, Marjan; Mohamed, Abdelrahman; Levy, Omer; Stoyanov, Ves; Zettlemoyer, Luke (2019). “BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension”. arXiv:1910.13461.
9)Lin, J. (2002). The Web as a Resource for Question Answering: Perspectives and Challenges. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC 2002).
10)Moldovan, Dan, et al. “Cogex: A logic prover for question answering.” Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1. Association for Computational Linguistics, 2003.
11)Furbach, Ulrich, Ingo Glöckner, and Björn Pelzer. “An application of automated reasoning in natural language question answering.” Ai Communications 23.2-3 (2010): 241-265.
12)Sun, Haitian; Dhingra, Bhuwan; Zaheer, Manzil; Mazaitis, Kathryn; Salakhutdinov, Ruslan; Cohen, William (2018). “Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text”. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium. pp. 4231–4242. arXiv:1809.00782. doi:10.18653/v1/D18-1455. S2CID 52154304.
13)Harabagiu, Sanda; Hickl, Andrew (2006). “Methods for using textual entailment in open-domain question answering”. Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the ACL – ACL ’06. pp. 905–912. doi:10.3115/1220175.1220289.
14)Moritz Schubotz; Philipp Scharpf; et al. (12 September 2018). “Introducing MathQA: a Math-Aware question answering system”. Information Discovery and Delivery. Emerald Publishing Limited. 46 (4): 214–224. arXiv:1907.01642. doi:10.1108/IDD-06-2018-0022.
15)Scharpf, P. Schubotz, M. Gipp, B. Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling ACM/IEEE Joint Conference on Digital Libraries, 2022.
16)Zanibbi, Richard; Oard, Douglas W.; Agarwal, Anurag; Mansouri, Behrooz (2020), “Overview of ARQMath 2020: CLEF Lab on Answer Retrieval for Questions on Math”, Lecture Notes in Computer Science, Cham: Springer International Publishing, pp. 169–193, doi:10.1007/978-3-030-58219-7_15, ISBN 978-3-030-58218-0, S2CID 221351064, retrieved 2021-06-09
17)Scharpf; et al. (2020-12-04). ARQMath Lab: An Incubator for Semantic Formula Search in zbMATH Open?. OCLC 1228449497.
18)Mansouri, Behrooz; Zanibbi, Richard; Oard, Douglas W. (June 2019). “Characterizing Searches for Mathematical Concepts”. 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL). IEEE: 57–66. doi:10.1109/jcdl.2019.00019. ISBN 978-1-7281-1547-4. S2CID 198972305.
19)Scharpf, Philipp; Schubotz, Moritz; Spitz, Andreas; Greiner-Petter, Andre; Gipp, Bela (2022). “Collaborative and AI-aided Exam Question Generation using Wikidata in Education”. arXiv:2211.08361 [cs]. doi:10.13140/RG.2.2.30988.18568.
20)Paşca, Marius (2005). “Book Review New Directions in Question Answering Mark T. Maybury (editor) (MITRE Corporation) Menlo Park, CA: AAAI Press and Cambridge, MA: The MIT Press, 2004, xi+336 pp; paperbound, ISBN 0-262-63304-3, $40.00, £25.95”. Computational Linguistics. 31 (3): 413–417. doi:10.1162/089120105774321055. S2CID 12705839.
21)Anderson, Peter, et al. “Bottom-up and top-down attention for image captioning and visual question answering.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
22)Zhu, Linchao, et al. “Uncovering the temporal context for video question answering.” International Journal of Computer Vision 124.3 (2017): 409-421.
23)Quarteroni, Silvia, and Suresh Manandhar. “Designing an interactive open-domain question answering system.”[dead link] Natural Language Engineering 15.1 (2009): 73-95.
24)Light, Marc, et al. “Reuse in Question Answering: A Preliminary Study.” New Directions in Question Answering. 2003.
25)Yih, Wen-tau, Xiaodong He, and Christopher Meek. “Semantic parsing for single-relation question answering.” Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2014.
26)Perera, R., Nand, P. and Naeem, A. 2017. Utilizing typed dependency subtree patterns for answer sentence generation in question answering systems.
27)de Salvo Braz, Rodrigo, et al. “An inference model for semantic entailment in natural language.” Machine Learning Challenges Workshop. Springer, Berlin, Heidelberg, 2005.
28)”BitCrawl by Hobson Lane”. Archived from the original on October 27, 2012. Retrieved 2012-05-29.
29)Perera, R. and Perera, U. 2012. Towards a thematic role based target identification model for question answering.
30)Das, Abhishek, et al. “Embodied question answering.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
31)Markoff, John (2011-02-16). “On ‘Jeopardy!’ Watson Win is All but Trivial”. The New York Times.
32)”DrQA”.
33)Chen, Danqi; Fisch, Adam; Weston, Jason; Bordes, Antoine (2017). “Reading Wikipedia to Answer Open-Domain Questions”. arXiv:1704.00051 [cs.CL].
34)Tunstall, Lewis (5 July 2022). Natural Language Processing with Transformers: Building Language Applications with Hugging Face (2nd ed.). O’Reilly UK Ltd. p. Chapter 7. ISBN 978-1098136796.
35)”Haystack documentation”. deepset. Retrieved 4 November 2022.
