Doğal dil üretimi (NLG), doğal dil çıktısı üreten bir yazılım sürecidir. NLG yöntemlerinin en çok alıntılanan araştırmalarından birinde NLG, “İngilizce veya diğer insan dillerinde bazı temel olmayan dillerden anlaşılır metinler üretebilen bilgisayar sistemlerinin inşasıyla ilgilenen yapay zeka ve hesaplamalı dilbilimin alt alanı” olarak nitelendirilir. -bilginin dilsel gösterimi”.[1]
Herhangi bir NLG sürecinin çıktısının metin olduğu konusunda geniş çapta hemfikir olsa da, bir NLG sisteminin girdilerinin dil dışı olması gerekip gerekmediği konusunda bazı anlaşmazlıklar vardır.[2] NLG yöntemlerinin yaygın uygulamaları arasında hava durumu [3] ve hasta raporları;[4] görüntü altyazıları[5] ve sohbet robotları gibi çeşitli raporların üretilmesi yer alır.
Otomatik NLG, insanların fikirleri yazıya veya konuşmaya dönüştürdüklerinde kullandıkları süreçle karşılaştırılabilir. Psikodilbilimciler, matematiksel terimlerle de tanımlanabilen veya psikolojik araştırmalar için bir bilgisayarda modellenebilen bu süreç için dil üretimi terimini tercih ederler. NLG sistemleri, aynı zamanda bir ara temsilden üretilen insan tarafından okunabilir kod üreten, derleyiciler veya aktarıcılar gibi yapay bilgisayar dillerinin çevirmenleriyle de karşılaştırılabilir. İnsan dilleri, NLG’yi daha zorlu hale getiren programlama dillerine göre çok daha karmaşık olma eğilimindedir ve çok daha fazla muğlaklığa ve ifade çeşitliliğine izin verir.
NLG, doğal dilde anlamanın (NLU) tamamlayıcısı olarak görülebilir: doğal dilde anlamada, sistemin makine temsil dilini üretmek için giriş cümlesini netleştirmesi gerekirken, NLG’de sistemin nasıl konulacağına dair kararlar alması gerekir. kelimelerle temsili. NLU ve NLG sistemlerinin oluşturulmasındaki pratik hususlar simetrik değildir. NLU’nun belirsiz veya hatalı kullanıcı girişiyle ilgilenmesi gerekirken, sistemin NLG aracılığıyla ifade etmek istediği fikirler genellikle kesin olarak bilinir. NLG’nin birçok potansiyel temsilden belirli, kendi içinde tutarlı bir metinsel temsil seçmesi gerekirken, NLU genellikle ifade edilen fikrin tek, normalleştirilmiş bir temsilini üretmeye çalışır.[6]
NLG, ELIZA’nın 1960’ların ortalarında geliştirilmesinden bu yana var olmuştur, ancak yöntemler ticari olarak ilk kez 1990’larda kullanılmıştır.[7] NLG teknikleri, form mektupları oluşturan adres-mektup birleştirme gibi basit şablon tabanlı sistemlerden karmaşık bir insan dilbilgisi anlayışına sahip sistemlere kadar uzanır. NLG ayrıca, tipik olarak büyük bir insan yazısı metinler külliyatında, makine öğrenimi kullanılarak istatistiksel bir modelin eğitilmesiyle de gerçekleştirilebilir.[8]
Örnek
İskoçya için Polen Tahmini sistemi[9], temelde bir şablon olabilecek basit bir NLG sisteminin basit bir örneğidir. Bu sistem, İskoçya’nın farklı bölgelerinde tahmin edilen polen seviyelerini veren altı sayıyı girdi olarak alır. Sistem, bu sayılardan çıktı olarak polen düzeylerinin kısa bir metinsel özetini oluşturur.
Örneğin, 1 Temmuz 2005 tarihi verilerini kullanan yazılım şunları üretir:
Cuma günü çim polen seviyeleri, ülkenin çoğu yerinde 6 ila 7 civarında değerlerle dünkü orta seviyeden yüksek seviyelere yükseldi. Bununla birlikte, Kuzey bölgelerinde polen seviyeleri 4 değerleri ile ılımlı olacaktır.
Buna karşılık, bu verilerden (bir insan meteorolog tarafından yazılan) gerçek tahmin şuydu:
Polen sayımlarının İskoçya’nın çoğunda 6. seviyede ve hatta güneydoğuda 7. seviyede kalması bekleniyor. Tek rahatlama, orta düzeyde polen sayısı ile Kuzey Adalarında ve anakara İskoçya’nın uzak kuzeydoğusundadır.
Bu ikisinin karşılaştırılması, NLG sistemlerinin yapması gereken bazı seçimleri göstermektedir; bunlar aşağıda daha ayrıntılı olarak tartışılmaktadır.
Aşamalar
Metin oluşturma işlemi, kopyalanıp yapıştırılan ve muhtemelen bazı yapışkan metinlerle bağlantılı hazır metinlerin bir listesini tutmak kadar basit olabilir. Yıldız falı makineleri veya kişiselleştirilmiş iş mektupları oluşturucular gibi basit alanlarda sonuçlar tatmin edici olabilir. Bununla birlikte, gelişmiş bir NLG sisteminin, doğal görünen ve tekrar etmeyen metinlerin oluşturulmasını sağlamak için planlama ve bilgi birleştirme aşamalarını içermesi gerekir. Dale ve Reiter[6] tarafından önerilen doğal dil üretiminin tipik aşamaları şunlardır:
İçerik belirleme: Metinde hangi bilgilerin yer alacağına karar verme. Örneğin, yukarıdaki polen örneğinde, güneydoğuda polen seviyesinin 7 olduğunu açıkça söyleyip söylememeye karar vermek.
Belge yapılandırma: İletilecek bilgilerin genel organizasyonu. Örneğin, düşük polen seviyesi olan alanlar yerine, önce yüksek polen seviyesi olan alanları tanımlamaya karar vermek.
Toplama: Okunabilirliği ve doğallığı artırmak için benzer cümlelerin birleştirilmesi. Örneğin, aşağıdaki iki cümleyi birleştirmek:
Cuma günü çim polen seviyeleri dünün ılımlı seviyesinden yüksek seviyelerine yükseldi ve
Çim polen seviyeleri ülkenin çoğu yerinde 6 ila 7 civarında olacak
aşağıdaki tek cümleye:
Cuma günü çim polen seviyeleri, ülkenin çoğu yerinde 6 ila 7 civarında değerlerle dünkü orta seviyeden yüksek seviyelere yükseldi.
Sözcük seçimi: Kavramlara sözcük yerleştirme. Örneğin, polen seviyesi 4’ü tanımlarken orta mı yoksa orta mı kullanılacağına karar vermek.
Referans ifade oluşturma: Nesneleri ve bölgeleri tanımlayan referans ifadeler oluşturma. Örneğin, İskoçya’daki belirli bir bölgeye atıfta bulunmak için Kuzey Adaları’nda ve anakara İskoçya’nın uzak kuzeydoğusundaki kullanmaya karar vermek. Bu görev aynı zamanda zamirler ve diğer anaphora türleri hakkında karar vermeyi de içerir.
Gerçekleştirme: Sözdizimi, biçim bilgisi ve imla kurallarına göre doğru olması gereken asıl metni oluşturma. Örneğin, be’nin gelecek zaman kipini kullanmak will be’dir.
NLG’ye alternatif bir yaklaşım, yukarıdaki gibi ayrı aşamalara sahip olmadan bir sistem oluşturmak için “uçtan uca” makine öğrenimini kullanmaktır.[10] Başka bir deyişle, bir makine öğrenme algoritmasını (genellikle bir LSTM) büyük bir girdi verisi kümesi ve karşılık gelen (insan tarafından yazılmış) çıktı metinleri üzerinde eğiterek bir NLG sistemi oluşturuyoruz. Uçtan uca yaklaşım, bir görüntü için otomatik olarak metinsel bir altyazı oluşturan görüntü altyazısında[11] belki de en başarılı olmuştur.
Uygulamalar
Otomatik Rapor Oluşturma
Ticari bir bakış açısından, en başarılı NLG uygulamaları, veritabanlarının ve veri setlerinin metinsel özetlerini oluşturan veriden metne sistemler olmuştur; bu sistemler genellikle metin oluşturmanın yanı sıra veri analizi de gerçekleştirir. Araştırmalar, karar desteği için metin özetlerinin grafiklerden ve diğer görsellerden daha etkili olabileceğini[12][13][14] ve bilgisayar tarafından oluşturulan metinlerin (okuyucunun bakış açısından) insan tarafından yazılmış metinlerden daha üstün olabileceğini göstermiştir.[ 15]
İlk ticari veriden metne dönüştürme sistemleri, hava durumu verilerinden hava durumu tahminleri üretti. Bu tür ilk konuşlandırılan sistem, Environment Canada tarafından 1990’ların başında Fransızca ve İngilizce olarak hava durumu tahminleri oluşturmak için kullanılan FoG[3] idi. FoG’nin başarısı, hem araştırma hem de ticari diğer çalışmaları tetikledi. Son uygulamalar, BK Met Office’in metinle geliştirilmiş tahminini içerir.[16]
Veriden metne sistemler o zamandan beri çeşitli ayarlarda uygulandı. 17 Mart 2014’te California, Beverly Hills yakınlarındaki küçük depremin ardından The Los Angeles Times, depremin zamanı, yeri ve şiddetiyle ilgili ayrıntıları olaydan sonraki 3 dakika içinde bildirdi. Bu rapor, gelen verileri önceden ayarlanmış bir şablon aracılığıyla metne dönüştüren bir “robo-gazeteci” tarafından otomatik olarak oluşturuldu.[17][18] Şu anda finansal ve ticari verileri özetlemek için NLG’nin kullanılmasına yönelik önemli bir ticari ilgi var. Gerçekten de Gartner, NLG’nin modern BI ve analitik platformlarının %90’ında standart bir özellik haline geleceğini söyledi.[19] NLG ayrıca ticari olarak otomatik gazetecilikte, sohbet robotlarında, e-ticaret siteleri için ürün açıklamaları oluşturmada, tıbbi kayıtları özetlemede[20][4] ve erişilebilirliği artırmada (örneğin, kör insanlara grafikler ve veri kümeleri tanımlayarak[21]) kullanılmaktadır. .
NLG’nin etkileşimli kullanımına bir örnek, WYSIWYM çerçevesidir. Ne görüyorsan onu kastediyorsun anlamına gelir ve kullanıcıların temel bir resmi dil belgesinin (NLG girişi) sürekli olarak işlenmiş görünümünü (NLG çıktısı) görmesine ve değiştirmesine, böylece resmi dili öğrenmeden düzenlemesine olanak tanır.
İleriye bakıldığında, veriden metne dönüştürmedeki mevcut ilerleme, metinlerin belirli kitlelere göre uyarlanmasının yolunu açıyor. Örneğin, yenidoğan bakımındaki bebeklerden elde edilen veriler, metnin hedeflenen alıcısına (doktor, hemşire, hasta) bağlı olarak, farklı düzeylerde teknik ayrıntı ve açıklayıcı dil ile klinik bir ortamda farklı şekilde metne dönüştürülebilir. Aynı fikir, belirli takımların taraftarları için oluşturulan farklı raporlarla bir spor ortamında uygulanabilir.[22]
Resim Altyazısı
Son birkaç yılda, görme ve dil arasındaki arayüzü araştırmaya yönelik daha geniş bir çabanın parçası olarak, görüntüler için otomatik olarak altyazı oluşturmaya yönelik ilgi arttı. Veriden metne oluşturma durumu, görüntü alt yazısı (veya otomatik görüntü açıklaması) algoritması, bir görüntünün alınmasını, görsel içeriğinin analiz edilmesini ve görüntünün en belirgin yönlerini sözlü olarak ifade eden bir metin açıklamasının (tipik olarak bir cümle) oluşturulmasını içerir. .
Bir görüntü altyazı sistemi iki alt görev içerir. Görüntü Analizinde, bu çıktıları dil yapılarına eşlemeden önce bir görüntünün özellikleri ve öznitelikleri algılanır ve etiketlenir. Son araştırmalar, AlexNet, VGG veya Caffe gibi önceden eğitilmiş bir evrişimli sinir ağının özellikleri aracılığıyla derin öğrenme yaklaşımlarını kullanır; burada altyazı oluşturucular, giriş özellikleri olarak önceden eğitilmiş ağdan bir aktivasyon katmanı kullanır. İkinci görev olan Metin Üretimi, çok çeşitli teknikler kullanılarak gerçekleştirilir. Örneğin, Midge sisteminde girdi görüntüleri, nesne/malzeme algılamaları, hareket/poz algılamaları ve uzamsal ilişkilerden oluşan üçlü olarak temsil edilir. Bunlar daha sonra <isim, fiil, edat> üçlülerine eşlenir ve bir ağaç ikame dilbilgisi kullanılarak gerçekleştirilir.[22]
Gelişmelere rağmen, görüntü yakalama araştırmalarında zorluklar ve fırsatlar devam etmektedir. Yakın zamanda Flickr30K’nın piyasaya sürülmesine rağmen, MS COCO ve diğer büyük veri kümeleri, sinir ağları gibi daha karmaşık modellerin eğitimini mümkün kılmıştır, görüntü altyazılama araştırmalarının daha büyük ve çeşitlendirilmiş veri kümelerinden fayda sağlayabileceği ileri sürülmüştür. Görüntü betimlemelerinin uygunluğunu değerlendirmede insan yargılarını taklit edebilen otomatik ölçütlerin tasarlanması, alandaki bir diğer ihtiyaçtır. Diğer açık zorluklar arasında görsel soru yanıtlama (MYK)[23] ile görüntü açıklaması için çok dilli veri havuzlarının oluşturulması ve değerlendirilmesi yer alır.[22]
Chatbotlar
NLG’nin yaygın olarak uygulandığı bir başka alan da, genellikle sohbet robotları biçimindeki otomatik diyalog sistemleridir. Chatbot veya chatterbot, canlı bir insan aracıyla doğrudan iletişim sağlamak yerine, metin veya metinden konuşmaya yoluyla çevrimiçi sohbet görüşmesi yapmak için kullanılan bir yazılım uygulamasıdır. İnsan girdisinin deşifre edilmesinde Doğal Dil İşleme (NLP) teknikleri uygulanırken, NLG gerçek zamanlı diyalogların kolaylaştırılmasında chatbot algoritmalarının çıktı kısmını bilgilendirir.
1988’de Rollo Carpenter tarafından oluşturulan ve 1997’de yayınlanan CleverBot da dahil olmak üzere ilk Chatbot sistemleri, bir Bilgi Edinme (IR) yaklaşımı aracılığıyla bir konuşma veritabanında bir insanın aynı soruya nasıl yanıt verdiğini belirleyerek soruları yanıtlar. Modern sohbet robotu sistemleri, insan dili çıktısı oluşturmada ağırlıklı olarak diziden diziye öğrenme ve pekiştirmeli öğrenme gibi makine öğrenimi (ML) modellerine dayanır. Hibrit modeller de araştırılmıştır. Örneğin, Alibaba alışveriş asistanı, adayları yeniden sıralamak ve yanıtı oluşturmak için makine öğrenimi güdümlü seq2seq modeli kullanılmadan önce, bilgi tabanından en iyi adayları almak için bir IR yaklaşımı kullanır.[24]
Yaratıcı Yazma ve Hesaplamalı Mizah
NLG tarafından yaratıcı dil üretimi, alanın kökenlerinden beri varsayılmaktadır. Bu alanda yeni bir öncü olan Phillip Parker, otomatik olarak ders kitapları, çapraz bulmacalar, şiirler ve kitap ciltlemeden katarakta kadar çeşitli konularda kitaplar üretebilen bir algoritma cephaneliği geliştirmiştir.[25] GPT-3 gibi büyük, önceden eğitilmiş dönüştürücü tabanlı dil modellerinin ortaya çıkışı da, bu tür modellerin oluşturma-yazma görevleri için fark edilebilir bir yetenek sergilediğini gösteren atılımlara olanak sağlamıştır.[26]
NLG uygulamasının ilgili bir alanı da hesaplamalı mizah üretimidir. JAPE (Şaka Analizi ve Üretim Motoru), çocuklar için kelime oyunu bilmeceleri oluşturmak için elle kodlanmış şablon tabanlı bir yaklaşım kullanan en eski büyük, otomatik mizah üretim sistemlerinden biridir. HAHAcronym, herhangi bir kısaltmanın mizahi yeniden yorumlarını oluşturmanın yanı sıra, bazı anahtar kelimeler verildiğinde yeni uygun kısaltmalar önermektedir.[27]
İlerlemelere rağmen, insan çıktısına rakip olacak otomatik yaratıcı ve mizahi içerik üretme konusunda birçok zorluk devam etmektedir. Hiciv manşetleri oluşturmaya yönelik bir deneyde, en iyi BERT tabanlı modellerinin çıktıları %9,4 oranında komik olarak algılanırken (gerçek Onion manşetleri %38,4 idi) ve hiciv manşetlerinde ince ayar yapılmış bir GPT-2 modeli %6,9 oranında başarı elde etti. [28] Mizah oluşturma sistemleriyle ilgili iki ana sorunun, açıklamalı veri setlerinin eksikliği ve diğer yaratıcı içerik üretimine uygulanabilecek resmi değerlendirme yöntemlerinin eksikliği olduğuna işaret edilmiştir. Bazıları, diğer uygulamalara göre, NLG’de dil üretiminin yaratıcı yönlerine dikkat eksikliği olduğunu savundu. NLG araştırmacıları, veriden metne sistemlerde bile NLG çıktısını geliştirme potansiyeline sahip anlatının yapısal özelliklerinin yanı sıra, yaratıcı dil üretimini neyin oluşturduğuna ilişkin içgörülerden yararlanmaya hazırdır.[22]
Değerlendirme
Diğer bilimsel alanlarda olduğu gibi, NLG araştırmacılarının da sistemlerinin, modüllerinin ve algoritmalarının ne kadar iyi çalıştığını test etmesi gerekiyor. Buna değerlendirme denir. NLG sistemlerini değerlendirmek için üç temel teknik vardır:
Göreve dayalı (dışsal) değerlendirme: Oluşturulan metni bir kişiye verin ve bir görevi yerine getirmelerine ne kadar yardımcı olduğunu (veya başka bir şekilde iletişimsel hedefine ulaştığını) değerlendirin. Örneğin, tıbbi verilerin özetlerini oluşturan bir sistem, bu özetlerin doktorlara verilmesi ve özetlerin doktorların daha iyi karar vermesine yardımcı olup olmadığı değerlendirilerek değerlendirilebilir.[4]
İnsan değerlendirmeleri: Oluşturulan metni bir kişiye verin ve metnin kalitesini ve kullanışlılığını derecelendirmesini isteyin.
Metrikler: BLEU, METEOR, ROUGE ve LEPOR gibi otomatik bir metrik kullanarak, oluşturulan metinleri aynı girdi verilerinden insanlar tarafından yazılan metinlerle karşılaştırın.
Nihai hedef, yukarıdaki tekniklerin ilki olan NLG sistemlerinin insanlara yardım etmede ne kadar yararlı olduğudur. Bununla birlikte, göreve dayalı değerlendirmeler zaman alıcı ve pahalıdır ve gerçekleştirilmesi zor olabilir (özellikle doktorlar gibi uzmanlık gerektiren kişiler gerektiriyorsa). Bu nedenle (NLP’nin diğer alanlarında olduğu gibi) göreve dayalı değerlendirmeler norm değil, istisnadır.
Son zamanlarda araştırmacılar, insan derecelendirmelerinin ve ölçümlerinin göreve dayalı değerlendirmelerle (tahmin) ne kadar iyi ilişkili olduğunu değerlendiriyorlar. Nesil Mücadeleleri[29] ortak görev etkinlikleri bağlamında çalışmalar yürütülmektedir. İlk sonuçlar, insan derecelendirmelerinin bu açıdan metriklerden çok daha iyi olduğunu gösteriyor. Başka bir deyişle, insan derecelendirmeleri genellikle görev etkililiğini en azından bir dereceye kadar tahmin eder (istisnalar olsa da), metrikler tarafından üretilen derecelendirmeler genellikle görev etkinliğini iyi tahmin etmez. Bu sonuçlar başlangıç niteliğindedir. Her durumda, insan derecelendirmeleri NLG’deki en popüler değerlendirme tekniğidir; bu, metriklerin yaygın olarak kullanıldığı makine çevirisinin tersidir.
Bir yapay zeka, eğitim verilerine olan sadakatine veya alternatif olarak gerçeğe uygunluğuna göre derecelendirilebilir. Eğitim verilerini yansıtan ancak gerçeği yansıtmayan bir yanıt sadıktır ancak gerçeklere dayalı değildir. Kendinden emin ama sadakatsiz bir tepki halüsinasyondur. Doğal Dil İşleme’de halüsinasyon genellikle “sağlanan kaynak içeriğe anlamsız veya sadakatsiz olan oluşturulmuş içerik” olarak tanımlanır. Metin ve temsiller arasındaki kodlama ve kod çözme hataları halüsinasyonlara neden olabilir. Çeşitli tepkiler üretmek için AI eğitimi de halüsinasyona yol açabilir. Halüsinasyonlar ayrıca, yapay zeka, etiketli özetlerin, gerçeklere dayalı olarak doğru olmalarına rağmen, “özetlendiği” iddia edilen etiketli verilere doğrudan dayanmadığı bir veri kümesi üzerinde eğitildiğinde de ortaya çıkabilir. Daha büyük veri kümeleri, parametrik bilgi (öğrenilen sistem parametrelerinde yerleşik olan bilgi) sorunu yaratabilir ve sistem yerleşik bilgisine aşırı güveniyorsa halüsinasyonlar yaratabilir. GPT-3 gibi sistemlerde, bir yapay zeka sonraki her kelimeyi bir önceki kelime dizisine göre üretir (mevcut yanıtta daha önce oluşturduğu kelimeler dahil) ve yanıt uzadıkça bir dizi olası halüsinasyona neden olur.[30 ]
Kaynak: https://en.wikipedia.org/wiki/Natural_language_generation
Wiki References
1)Reiter, Ehud; Dale, Robert (March 1997). “Building applied natural language generation systems”. Natural Language Engineering. 3 (1): 57–87. doi:10.1017/S1351324997001502. ISSN 1469-8110. S2CID 8460470.
2)Gatt A, Krahmer E (2018). “Survey of the state of the art in natural language generation: Core tasks, applications and evaluation”. Journal of Artificial Intelligence Research. 61 (61): 65–170. arXiv:1703.09902. doi:10.1613/jair.5477. S2CID 16946362.
3)Goldberg E, Driedger N, Kittredge R (1994). “Using Natural-Language Processing to Produce Weather Forecasts”. IEEE Expert. 9 (2): 45–53. doi:10.1109/64.294135. S2CID 9709337.
4)Portet F, Reiter E, Gatt A, Hunter J, Sripada S, Freer Y, Sykes C (2009). “Automatic Generation of Textual Summaries from Neonatal Intensive Care Data” (PDF). Artificial Intelligence. 173 (7–8): 789–816. doi:10.1016/j.artint.2008.12.002.
5)Farhadi A, Hejrati M, Sadeghi MA, Young P, Rashtchian C, Hockenmaier J, Forsyth D (2010-09-05). Every picture tells a story: Generating sentences from images (PDF). European conference on computer vision. Berlin, Heidelberg: Springer. pp. 15–29. doi:10.1007/978-3-642-15561-1_2.
6)Dale, Robert; Reiter, Ehud (2000). Building natural language generation systems. Cambridge, U.K.: Cambridge University Press. ISBN 978-0-521-02451-8.
7)Ehud Reiter (2021-03-21). History of NLG. Archived from the original on 2021-12-12.
8)Perera R, Nand P (2017). “Recent Advances in Natural Language Generation: A Survey and Classification of the Empirical Literature”. Computing and Informatics. 36 (1): 1–32. doi:10.4149/cai_2017_1_1. hdl:10292/10691.
9)R Turner, S Sripada, E Reiter, I Davy (2006). Generating Spatio-Temporal Descriptions in Pollen Forecasts. Proceedings of EACL06
10)”E2E NLG Challenge”.
11)”DataLabCup: Image Caption”.
12)Law A, Freer Y, Hunter J, Logie R, McIntosh N, Quinn J (2005). “A Comparison of Graphical and Textual Presentations of Time Series Data to Support Medical Decision Making in the Neonatal Intensive Care Unit”. Journal of Clinical Monitoring and Computing. 19 (3): 183–94. doi:10.1007/s10877-005-0879-3. PMID 16244840. S2CID 5569544.
13)Gkatzia D, Lemon O, Reiser V (2017). “Data-to-Text Generation Improves Decision-Making Under Uncertainty” (PDF). IEEE Computational Intelligence Magazine. 12 (3): 10–17. doi:10.1109/MCI.2017.2708998. S2CID 9544295.
14)”Text or Graphics?”. 2016-12-26.
15)Reiter E, Sripada S, Hunter J, Yu J, Davy I (2005). “Choosing Words in Computer-Generated Weather Forecasts”. Artificial Intelligence. 167 (1–2): 137–69. doi:10.1016/j.artint.2005.06.006.
16)S Sripada, N Burnett, R Turner, J Mastin, D Evans(2014). Generating A Case Study: NLG meeting Weather Industry Demand for Quality and Quantity of Textual Weather Forecasts. Proceedings of INLG 2014
17)Schwencke, Ken Schwencke Ken; Journalist, A.; Programmer, Computer; in 2014, left the Los Angeles Times (2014-03-17). “Earthquake aftershock: 2.7 quake strikes near Westwood”. Los Angeles Times. Retrieved 2022-06-03.
18)Levenson, Eric (2014-03-17). “L.A. Times Journalist Explains How a Bot Wrote His Earthquake Story for Him”. The Atlantic. Retrieved 2022-06-03.
19)”Neural Networks and Modern BI Platforms Will Evolve Data and Analytics”.
20)Harris MD (2008). “Building a Large-Scale Commercial NLG System for an EMR” (PDF). Proceedings of the Fifth International Natural Language Generation Conference. pp. 157–60.
21)”Welcome to the iGraph-Lite page”. www.inf.udec.cl. Archived from the original on 2010-03-16.
22)Gatt, Albert; Krahmer, Emiel (2018-01-29). “Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation”. arXiv:1703.09902 [cs.CL].
23)Kodali, Venkat; Berleant, Daniel (2022). “Recent, Rapid Advancement in Visual Question Answering Architecture: a Review”. Proceedings of the 22nd IEEE International Conference on EIT. pp. 133–146. arXiv:2203.01322.
24)Mnasri, Maali (2019-03-21). “Recent advances in conversational NLP : Towards the standardization of Chatbot building”. arXiv:1903.09025 [cs.CL].
25)”How To Author Over 1 Million Books”. HuffPost. 2013-02-11. Retrieved 2022-06-03.
26)”Exploring GPT-3: A New Breakthrough in Language Generation”. KDnuggets. Retrieved 2022-06-03.
27)Winters, Thomas (2021-04-30). “Computers Learning Humor Is No Joke”. Harvard Data Science Review. 3 (2). doi:10.1162/99608f92.f13a2337. S2CID 235589737.
28)Horvitz, Zachary; Do, Nam; Littman, Michael L. (July 2020). “Context-Driven Satirical News Generation”. Proceedings of the Second Workshop on Figurative Language Processing. Online: Association for Computational Linguistics: 40–50. doi:10.18653/v1/2020.figlang-1.5. S2CID 220330989.
29)Generation Challenges 2009
30)Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Madotto, Andrea; Fung, Pascale (17 November 2022). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys: 3571730. doi:10.1145/3571730.
