Doğal Dil Anlama (Natural Language Understanding)

Doğal dilde anlama (NLU) veya doğal dilde yorumlama (NLI)[1], makine okuduğunu anlama ile ilgilenen yapay zekada doğal dil işlemenin bir alt konusudur. Doğal dilde anlama, yapay zeka açısından zor bir sorun olarak kabul edilir.[2]

Otomatik muhakeme,[3] makine çevirisi,[4] soru yanıtlama,[5] haber toplama, metin kategorileştirme, sesle etkinleştirme, arşivleme ve büyük ölçekli içerik analizi uygulamaları nedeniyle bu alana önemli bir ticari ilgi vardır.

Tarihi

1964 yılında Daniel Bobrow tarafından MIT’deki doktora tezi için yazılan STUDENT programı, bir bilgisayar tarafından doğal dili anlamaya yönelik bilinen en eski girişimlerden biridir.[6][7][8][9][10] John McCarthy’nin yapay zeka terimini icat etmesinden sekiz yıl sonra, Bobrow’un tezi (Bilgisayar Problem Çözme Sistemi için Doğal Dil Girişi başlıklı), bir bilgisayarın cebirsel kelime problemlerini çözmek için basit doğal dil girdisini nasıl anlayabildiğini gösterdi.

Bir yıl sonra, 1965’te MIT’den Joseph Weizenbaum, en popüleri psikoterapi olmak üzere herhangi bir konuda İngilizce bir diyalog yürüten etkileşimli bir program olan ELIZA’yı yazdı. ELIZA basit ayrıştırma ve anahtar sözcükleri hazır ifadelere dönüştürme yoluyla çalıştı ve Weizenbaum, programa gerçek dünya bilgisinden oluşan bir veritabanı veya zengin bir sözlük verme sorununu ortadan kaldırdı. Yine de ELIZA, bir oyuncak projesi olarak şaşırtıcı bir popülerlik kazandı ve Ask.com tarafından kullanılanlar gibi mevcut ticari sistemlerin çok erken habercisi olarak görülebilir.[11]

1969’da Stanford Üniversitesi’nden Roger Schank, doğal dil anlayışı için kavramsal bağımlılık teorisini tanıttı.[12] Kısmen Sydney Lamb’in çalışmasından etkilenen bu model, Schank’ın Yale Üniversitesi’ndeki Robert Wilensky, Wendy Lehnert ve Janet Kolodner gibi öğrencileri tarafından yoğun bir şekilde kullanıldı.

1970 yılında William A. Woods, doğal dil girdisini temsil etmek için artırılmış geçiş ağını (ATN) tanıttı.[13] Cümle yapısı kuralları yerine ATN’ler, özyinelemeli olarak adlandırılan eşdeğer bir sonlu durum otomatları seti kullandı. ATN’ler ve “genelleştirilmiş ATN’ler” olarak adlandırılan daha genel biçimleri birkaç yıl kullanılmaya devam etti.

1971’de Terry Winograd, MIT’deki doktora tezi için SHRDLU’yu yazmayı bitirdi. SHRDLU, robotik bir kolu nesneleri hareket ettirmeye yönlendirmek için sınırlı bir çocuk blokları dünyasında basit İngilizce cümleleri anlayabiliyordu. SHRDLU’nun başarılı gösterimi, bu alanda devam eden araştırmalar için önemli bir ivme sağladı.[14][15] Winograd, Language as a Cognitive Process adlı kitabının yayınlanmasıyla bu alanda büyük bir etki yaratmaya devam etti.[16] Winograd, Stanford’da daha sonra Google’ın kurucu ortaklarından Larry Page’e danışmanlık yapacaktı.

1970’lerde ve 1980’lerde, SRI International’daki doğal dil işleme grubu, bu alanda araştırma ve geliştirmeye devam etti. Araştırmaya dayalı bir dizi ticari çaba üstlenildi, örneğin, 1982’de Gary Hendrix, kişisel bilgisayarlarda veri tabanı sorguları için doğal bir dil arabirimi geliştirmek üzere bir şirket olarak Symantec Corporation’ı kurdu. Ancak, fareyle çalıştırılan grafiksel kullanıcı arabirimlerinin ortaya çıkmasıyla Symantec yön değiştirdi. Aynı sıralarda bir dizi başka ticari çaba başlatıldı, örneğin, Yapay Zeka Kurumunda Larry R. Harris ve Cognitive Systems Corp.’ta Roger Schank ve öğrencileri.[17][18] 1983’te Michael Dyer, Yale’de Roger Schank ve W. G. Lehnert’in çalışmalarıyla benzerlikler taşıyan BORIS sistemini geliştirdi.[19]

Üçüncü milenyum, IBM Watson gibi metin sınıflandırması için makine öğrenimini kullanan sistemlerin tanıtılmasına tanık oldu. Ancak uzmanlar, bu tür sistemlerin ne kadar “anlayış” sergilediğini tartışıyorlar: örneğin, John Searle’ye göre Watson, soruları bile anlamadı.[20]

Bilişsel bilim adamı ve Patom Theory’nin mucidi John Ball bu değerlendirmeyi desteklemektedir. Doğal dil işleme, hizmet ve e-ticarette insan üretkenliğini destekleyen uygulamalar için yol açmıştır, ancak bu, uygulamanın kapsamını daraltarak büyük ölçüde mümkün olmuştur. Bir insan dilinde bir şey talep etmenin geleneksel doğal dil işlemeye hala meydan okuyan binlerce yolu vardır. “Makinelerle anlamlı bir diyalog kurmak, ancak her kelimeyi cümledeki diğer kelimelerin anlamlarına göre doğru anlamla eşleştirdiğimizde mümkün – tıpkı 3 yaşındaki bir çocuğun tahminde bulunmadan yaptığı gibi.”

Kapsam ve bağlam

“Doğal dili anlama” şemsiye terimi, robotlara verilen kısa komutlar gibi küçük, nispeten basit görevlerden, gazete makalelerinin veya şiir pasajlarının tam olarak anlaşılması gibi oldukça karmaşık çabalara kadar çeşitli bilgisayar uygulamalarına uygulanabilir. . Birçok gerçek dünya uygulaması, iki uç arasında yer alır; örneğin, e-postaların otomatik analizi için metin sınıflandırması ve bunların bir şirketteki uygun bir departmana yönlendirilmesi, metnin derinlemesine anlaşılmasını gerektirmez[21], ancak ele alınması gerekir sabit şemalara sahip veritabanı tablolarına yönelik basit sorguların yönetiminden çok daha geniş bir kelime dağarcığı ve daha çeşitli sözdizimi ile.

Yıllar boyunca, bilgisayarlara sunulan doğal dili veya İngilizce benzeri cümleleri işlemeye yönelik çeşitli girişimler, değişen karmaşıklık derecelerinde gerçekleşti. Bazı girişimler derin anlayışa sahip sistemlerle sonuçlanmadı, ancak genel sistem kullanılabilirliğine yardımcı oldu. Örneğin, Wayne Ratliff orijinal olarak Vulcan programını Star Trek’teki İngilizce konuşan bilgisayarı taklit etmek için İngilizce benzeri bir sözdizimi ile geliştirdi. Vulcan daha sonra, kullanımı kolay sözdizimi kişisel bilgisayar veritabanı endüstrisini etkili bir şekilde başlatan dBase sistemi oldu.[22][23] Bununla birlikte, kullanımı kolay veya İngilizce benzeri bir sözdizimine sahip sistemler, zengin bir sözlük kullanan ve doğal dil cümlelerinin semantiğinin dahili bir temsilini (genellikle birinci dereceden mantık olarak) içeren sistemlerden oldukça farklıdır.

Dolayısıyla, bir sistem tarafından amaçlanan “anlayışın” genişliği ve derinliği, hem sistemin karmaşıklığını (ve ima edilen zorlukları) hem de başa çıkabileceği uygulama türlerini belirler. Bir sistemin “genişliği”, söz dağarcığının ve gramerinin boyutlarıyla ölçülür. “Derinlik”, anadili akıcı olan bir kişinin anlayışına ne kadar yaklaştığıyla ölçülür. En dar ve en yüzeysel haliyle, İngilizce benzeri komut yorumlayıcıları minimum karmaşıklık gerektirir, ancak küçük bir uygulama yelpazesine sahiptir. Dar ama derin sistemler anlama mekanizmalarını araştırır ve modeller,[24] ancak yine de sınırlı uygulamaları vardır. Bir haber bülteni gibi bir belgenin içeriğini basit anahtar kelime eşlemenin ötesinde anlamaya ve bunun bir kullanıcı için uygunluğuna karar vermeye çalışan sistemler daha geniştir ve önemli ölçüde karmaşıklık gerektirir[25], ancak yine de biraz sığdırlar. Hem çok geniş hem de çok derin olan sistemler, teknolojinin mevcut durumunun ötesindedir.

Bileşenler ve mimari

Kullanılan yaklaşım ne olursa olsun, çoğu doğal dil anlama sistemi bazı ortak bileşenleri paylaşır. Sistem, dilin bir sözlüğüne ve cümleleri dahili bir temsile dönüştürmek için bir ayrıştırıcıya ve gramer kurallarına ihtiyaç duyar. Uygun bir ontolojiye sahip zengin bir sözlüğün inşası önemli bir çaba gerektirir, örneğin, Wordnet sözlüğü birçok kişi-yıllık çaba gerektirmiştir.[26]

Sistem aynı zamanda kavrayışa rehberlik etmesi için semantikten teoriye ihtiyaç duyar. Bir dili anlama sisteminin yorumlama yetenekleri, kullandığı semantik teoriye bağlıdır. Dilin rekabet halindeki semantik kuramları, bilgisayarla otomatikleştirilmiş anlamsal yorumlamanın temeli olarak uygunluklarında belirli ödünleşimlere sahiptir.[27] Bunlar, naif semantik veya stokastik semantik analizden, bağlamdan anlam çıkarmak için edimbilim kullanımına kadar uzanır.[28][29][30] Semantik ayrıştırıcılar, doğal dildeki metinleri biçimsel anlam temsillerine dönüştürür.[31]

Gelişmiş doğal dil anlayışı uygulamaları da mantıksal çıkarımı kendi çerçevelerine dahil etmeye çalışır. Bu genellikle, türetilmiş anlamı yüklem mantığında bir dizi iddiaya eşleyerek, ardından sonuçlara varmak için mantıksal tümdengelim kullanarak elde edilir. Bu nedenle, Lisp gibi işlevsel dillere dayalı sistemlerin, mantıksal iddiaları temsil etmek için bir alt sistem içermesi gerekirken, Prolog dilini kullananlar gibi mantık odaklı sistemler genellikle yerleşik mantıksal temsil çerçevesinin bir uzantısına dayanır.[32][ 33]

Doğal dil anlayışında bağlamın yönetimi özel zorluklar ortaya çıkarabilir. Çok çeşitli örnekler ve karşı örnekler, her biri belirli güçlü ve zayıf yönlere sahip olan, bağlamın resmi modellemesine yönelik çok sayıda yaklaşımla sonuçlanmıştır.[34][35]

Kaynak: https://en.wikipedia.org/wiki/Natural-language_understanding

Wiki Kaynaklar:

1. Semaan, P. (2012). Natural Language Generation: An Overview. Journal of Computer Science & Research (JCSCR)-ISSN, 50-57
2. Roman V. Yampolskiy. Turing Test as a Defining Feature of AI-Completeness . In Artificial Intelligence, Evolutionary Computation and Metaheuristics (AIECM) –In the footsteps of Alan Turing. Xin-She Yang (Ed.). pp. 3-17. (Chapter 1). Springer, London. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf
3. Van Harmelen, Frank, Vladimir Lifschitz, and Bruce Porter, eds. Handbook of knowledge representation. Vol. 1. Elsevier, 2008.
4. Macherey, Klaus, Franz Josef Och, and Hermann Ney. “Natural language understanding using statistical machine translation.” Seventh European Conference on Speech Communication and Technology. 2001.
5. Hirschman, Lynette, and Robert Gaizauskas. “Natural language question answering: the view from here.” natural language engineering 7.4 (2001): 275-300.
6. American Association for Artificial Intelligence Brief History of AI [1]
7. Daniel Bobrow’s PhD Thesis Natural Language Input for a Computer Problem Solving System.
8. Machines who think by Pamela McCorduck 2004 ISBN 1-56881-205-1 page 286
9. Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach Prentice Hall, ISBN 0-13-790395-2, http://aima.cs.berkeley.edu/, p. 19
10. Computer Science Logo Style: Beyond programming by Brian Harvey 1997 ISBN 0-262-58150-7 page 278
11. Weizenbaum, Joseph (1976). Computer power and human reason: from judgment to calculation W. H. Freeman and Company. ISBN 0-7167-0463-3 pages 188-189
12. Roger Schank, 1969, A conceptual dependency parser for natural language Proceedings of the 1969 conference on Computational linguistics, Sång-Säby, Sweden, pages 1-3
13. Woods, William A (1970). “Transition Network Grammars for Natural Language Analysis”. Communications of the ACM 13 (10): 591–606 [2]
14. Artificial intelligence: critical concepts, Volume 1 by Ronald Chrisley, Sander Begeer 2000 ISBN 0-415-19332-X page 89
15. Terry Winograd’s SHRDLU page at Stanford SHRDLU
16. Winograd, Terry (1983), Language as a Cognitive Process, Addison–Wesley, Reading, MA.
17. Larry R. Harris, Research at the Artificial Intelligence corp. ACM SIGART Bulletin, issue 79, January 1982 [3]
18. Inside case-based reasoning by Christopher K. Riesbeck, Roger C. Schank 1989 ISBN 0-89859-767-6 page xiii
19. In Depth Understanding: A Model of Integrated Process for Narrative Comprehension.. Michael G. Dyer. MIT Press. ISBN 0-262-04073-5
20. Searle, John (23 February 2011). “Watson Doesn’t Know It Won on ‘Jeopardy!'”. Wall Street Journal.
21. An approach to hierarchical email categorization by Peifeng Li et al. in Natural language processing and information systems edited by Zoubida Kedad, Nadira Lammari 2007 ISBN 3-540-73350-7
22. InfoWorld, Nov 13, 1989, page 144
23. InfoWorld, April 19, 1984, page 71
24. Building Working Models of Full Natural-Language Understanding in Limited Pragmatic Domains by James Mason 2010 [4]
25. Mining the Web: discovering knowledge from hypertext data by Soumen Chakrabarti 2002 ISBN 1-55860-754-4 page 289
26. G. A. Miller, R. Beckwith, C. D. Fellbaum, D. Gross, K. Miller. 1990. WordNet: An online lexical database. Int. J. Lexicograph. 3, 4, pp. 235-244.
27. Using computers in linguistics: a practical guide by John Lawler, Helen Aristar Dry 198 ISBN 0-415-16792-2 page 209
28. Naive semantics for natural language understanding by Kathleen Dahlgren 1988 ISBN 0-89838-287-4
29. Stochastically-based semantic analysis by Wolfgang Minker, Alex Waibel, Joseph Mariani 1999 ISBN 0-7923-8571-3
30. Pragmatics and natural language understanding by Georgia M. Green 1996 ISBN 0-8058-2166-X
31. Wong, Yuk Wah, and Raymond J. Mooney. “Learning for semantic parsing with statistical machine translation.”
32. Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics. Association for Computational Linguistics, 2006.
33. Natural Language Processing Prolog Programmers by M. Covington, 1994 ISBN 0-13-629478-2
34. Natural language processing in Prolog by Gerald Gazdar, Christopher S. Mellish 1989 ISBN 0-201-18053-7
35. Understanding language understanding by Ashwin Ram, Kenneth Moorman 1999 ISBN 0-262-18192-4 page 111
36. Formal aspects of context by Pierre Bonzon et al 2000 ISBN 0-7923-6350-7
37. Programming with Natural Language Is Actually Going to Work—Wolfram Blog
38. Van Valin, Jr, Robert D. “From NLP to NLU” (PDF).
39. Ball, John. “multi-lingual NLU by Pat Inc”. Pat.ai.