Örüntü tanıma, verilerdeki kalıpların ve düzenliliklerin otomatik olarak tanınmasıdır. İstatistiksel veri analizi, sinyal işleme, görüntü analizi, bilgi alma, biyoinformatik, veri sıkıştırma, bilgisayar grafikleri ve makine öğrenimi alanlarında uygulamaları vardır. Örüntü tanımanın kökenleri istatistik ve mühendisliktir; Örüntü tanımaya yönelik bazı modern yaklaşımlar, büyük verilerin artan kullanılabilirliği ve yeni bir işlem gücü bolluğu nedeniyle makine öğreniminin kullanımını içerir. Bu faaliyetler, aynı uygulama alanının iki yönü olarak görülebilir ve son birkaç on yılda önemli bir gelişme göstermişlerdir.
Örüntü tanıma sistemleri genellikle etiketli “eğitim” verilerinden eğitilir. Etiketli veri olmadığında, daha önce bilinmeyen kalıpları keşfetmek için başka algoritmalar kullanılabilir. KDD ve veri madenciliği, denetimsiz yöntemlere daha fazla odaklanır ve iş kullanımıyla daha güçlü bağlantıya sahiptir. Örüntü tanıma, sinyale daha fazla odaklanır ve ayrıca edinim ve sinyal işlemeyi dikkate alır. Mühendislikte ortaya çıkmıştır ve terim bilgisayarla görme bağlamında popülerdir: önde gelen bir bilgisayarla görme konferansının adı Bilgisayarla Görü ve Örüntü Tanıma Konferansıdır.
Makine öğreniminde örüntü tanıma, belirli bir giriş değerine bir etiket atanmasıdır. İstatistikte, 1936’da aynı amaç için diskriminant analizi tanıtıldı. Örüntü tanımanın bir örneği, her girdi değerini belirli bir sınıf kümesinden birine atamaya çalışan sınıflandırmadır (örneğin, belirli bir e-postanın “spam” olup olmadığını belirleme) ). Örüntü tanıma, diğer çıktı türlerini de kapsayan daha genel bir sorundur. Diğer örnekler, her girdiye gerçek değerli bir çıktı atayan regresyon;[1] bir değerler dizisinin her üyesine bir sınıf atayan dizi etiketleme[2] (örneğin, konuşma etiketlemenin bir bölümü atayan bölümü) bir giriş cümlesindeki her kelimeye konuşma); ve cümlenin sözdizimsel yapısını açıklayan bir giriş cümlesine bir ayrıştırma ağacı atayan ayrıştırma.[3]
Örüntü tanıma algoritmaları genellikle tüm olası girdiler için makul bir yanıt sağlamayı ve istatistiksel varyasyonlarını hesaba katarak girdilerin “en olası” eşleşmesini gerçekleştirmeyi amaçlar. Bu, girdide önceden var olan kalıplarla tam eşleşmeler arayan kalıp eşleştirme algoritmalarına zıttır. Kalıp eşleştirme algoritmasının yaygın bir örneği, metinsel verilerde belirli bir türdeki kalıpları arayan ve birçok metin düzenleyicinin ve kelime işlemcinin arama yeteneklerine dahil olan düzenli ifade eşleştirmedir.
Genel bakış
Örüntü tanımanın modern bir tanımı şöyledir:
Örüntü tanıma alanı, bilgisayar algoritmalarının kullanımı yoluyla verilerdeki düzenliliklerin otomatik olarak keşfedilmesi ve bu düzenliliklerin, verileri farklı kategorilerde sınıflandırmak gibi eylemler gerçekleştirmek için kullanılmasıyla ilgilidir.[4]
Örüntü tanıma genellikle çıktı değerini oluşturmak için kullanılan öğrenme prosedürünün türüne göre kategorize edilir. Denetimli öğrenme, doğru çıktıyla elle uygun şekilde etiketlenmiş bir dizi örnekten oluşan bir dizi eğitim verisinin (eğitim seti) sağlandığını varsayar. Daha sonra bir öğrenme prosedürü, bazen birbiriyle çelişen iki hedefi karşılamaya çalışan bir model oluşturur: Eğitim verilerinde mümkün olduğu kadar iyi performans gösterin ve yeni verilere mümkün olduğunca genelleştirin (genellikle bu, bazı teknik tanımlar için mümkün olduğunca basit olmak anlamına gelir) Aşağıda tartışılan Occam’s Razor’a göre “basit” kavramı). Öte yandan denetimsiz öğrenme, elle etiketlenmemiş eğitim verilerini varsayar ve daha sonra yeni veri örnekleri için doğru çıktı değerini belirlemek için kullanılabilecek verilerde doğal kalıplar bulmaya çalışır.[5] Araştırılan ikisinin bir kombinasyonu, etiketli ve etiketlenmemiş verilerin (tipik olarak büyük miktarda etiketlenmemiş veriyle birleştirilmiş küçük bir etiketli veri kümesi) bir kombinasyonunu kullanan yarı denetimli öğrenmedir. Denetimsiz öğrenme durumlarında, hiçbir eğitim verisi olmayabilir.
Bazen, aynı tür çıktı için ilgili denetimli ve denetimsiz öğrenme prosedürlerini açıklamak için farklı terimler kullanılır. Sınıflandırmanın denetimsiz eşdeğeri, normal olarak, görevin konuşulacak hiçbir eğitim verisi içermediği ve giriş verilerini bazı doğal benzerlik ölçütlerine (örneğin, örnekler arasındaki mesafe, dikkate alınan her girdi örneğini bir dizi önceden tanımlanmış sınıflardan birine atamak yerine, çok boyutlu bir vektör uzayında vektörler olarak). Bazı alanlarda terminoloji farklıdır. Topluluk ekolojisinde, sınıflandırma terimi, genellikle “kümelenme” olarak bilinen şeye atıfta bulunmak için kullanılır.
Kendisi için bir çıktı değerinin üretildiği girdi verisi parçası resmi olarak örnek olarak adlandırılır. Örnek, birlikte örneğin bilinen tüm özelliklerinin bir açıklamasını oluşturan bir özellik vektörü tarafından resmi olarak tanımlanır. Bu özellik vektörleri, uygun bir çok boyutlu uzayda tanımlayıcı noktalar olarak görülebilir ve vektör uzaylarında vektörleri manipüle etmek için iç çarpımı veya iki vektör arasındaki açıyı hesaplamak gibi yöntemler bunlara karşılık gelen şekilde uygulanabilir. Özellikler tipik olarak kategoriktir (nominal olarak da bilinir, yani “erkek” veya “dişi” cinsiyeti veya “A”, “B”, “kan grubu” gibi bir dizi sıralanmamış öğeden oluşur. AB” veya “O”), sıralı (sıralı öğeler kümesinin birinden oluşur, ör. “büyük”, “orta” veya “küçük”), tamsayı değerli (ör. bir e-postadaki belirli bir kelime) veya gerçek değerli (ör. kan basıncı ölçümü). Genellikle, kategorik ve sıralı veriler birlikte gruplanır ve bu aynı zamanda tamsayı değerli ve gerçek değerli veriler için de geçerlidir. Birçok algoritma, yalnızca kategorik veriler açısından çalışır ve gerçek değerli veya tamsayı değerli verilerin gruplara ayrılmasını gerektirir (örneğin, 5’ten küçük, 5 ile 10 arasında veya 10’dan büyük).
Olasılık sınıflandırıcılar
Birçok yaygın örüntü tanıma algoritması, belirli bir örnek için en iyi etiketi bulmak için istatistiksel çıkarım kullandıkları için doğası gereği olasılıksaldır. Basitçe bir “en iyi” etiketi çıkaran diğer algoritmalardan farklı olarak, genellikle olasılıksal algoritmalar, örneğin verilen etiket tarafından açıklanan örneğin bir olasılığını da verir. Ek olarak, birçok olasılık algoritması, yalnızca tek bir en iyi etiket yerine, N’nin bir değeri için ilişkili olasılıklarla birlikte N-en iyi etiketlerin bir listesini çıkarır. Olası etiketlerin sayısı oldukça az olduğunda (örneğin, sınıflandırma durumunda), olası tüm etiketlerin olasılığı çıktılanacak şekilde N ayarlanabilir. Olasılıksal algoritmaların, olasılıksal olmayan algoritmalara göre birçok avantajı vardır:
Seçimleriyle ilişkili bir güven değeri verirler. (Diğer bazı algoritmaların da güven değerleri çıkarabileceğini unutmayın, ancak genel olarak, yalnızca olasılık algoritmaları için bu değer matematiksel olarak olasılık teorisine dayanır. Olasılık dışı güven değerlerine genel olarak herhangi bir özel anlam verilemez ve yalnızca bunlarla karşılaştırmak için kullanılır. aynı algoritma tarafından çıkarılan diğer güven değerleri.)
Buna bağlı olarak, belirli bir çıktıyı seçme güveni çok düşük olduğunda çekimser kalabilirler.
Çıktı olasılıkları nedeniyle, olasılıksal örüntü tanıma algoritmaları, hata yayılımı sorununu kısmen veya tamamen önleyecek şekilde daha büyük makine öğrenimi görevlerine daha etkili bir şekilde dahil edilebilir.
Önemli özellik değişkenlerinin sayısı
Özellik seçme algoritmaları, gereksiz veya ilgisiz özellikleri doğrudan budamaya çalışır. Yaklaşımları ve zorlukları özetleyen özellik seçimine genel bir giriş yapılmıştır.[6] Özellik seçiminin karmaşıklığı, monoton olmayan karakterinden dolayı, toplam n özellik verildiğinde, hepsinden oluşan güç kümesinin verildiği bir optimizasyon problemidir. 2 n − 1 {\displaystyle 2^{n}- 1} 2^{n}-1 özellik alt kümesinin keşfedilmesi gerekiyor. Dal ve Sınır algoritması[7] bu karmaşıklığı azaltır, ancak mevcut özelliklerin sayısının orta ila büyük değerleri için anlaşılmazdır.
Ham özellik vektörlerini dönüştürmek için teknikler (özellik çıkarımı) bazen örüntü eşleştirme algoritmasının uygulanmasından önce kullanılır. Özellik çıkarma algoritmaları, temel bileşenler analizi (PCA) gibi matematiksel teknikleri kullanarak, büyük boyutlu bir özellik vektörünü, üzerinde çalışılması daha kolay olan ve daha az fazlalık kodlayan daha küçük boyutlu bir vektöre indirgemeye çalışır. Özellik seçme ve özellik çıkarma arasındaki fark, özellik çıkarma işleminden sonra ortaya çıkan özelliklerin orijinal özelliklerden farklı türden olması ve kolayca yorumlanamaması, özellik seçiminden sonra kalan özelliklerin ise orijinal özelliklerin basit bir alt kümesi olmasıdır.
Örüntü tanımaya Frequentist veya Bayes yaklaşımı
İlk örüntü sınıflandırıcı – Fisher tarafından sunulan lineer ayrımcı – sıklık geleneğinde geliştirildi. Frekansçı yaklaşım, model parametrelerinin bilinmeyen, ancak objektif olarak kabul edilmesini gerektirir. Parametreler daha sonra toplanan verilerden hesaplanır (tahmin edilir). Lineer diskriminant için bu parametreler tam olarak ortalama vektörler ve kovaryans matrisidir. Ayrıca, toplanan veri setinden her p sınıfının ( l a b e l | θ ) olasılığı tahmin edilir. Bir örüntü sınıflandırıcıda ‘Bayes kuralı’ kullanımının, sınıflandırmayı Bayesian yaklaşımı yapmadığına dikkat edin.
Bayesci istatistiklerin kökeni, ‘a priori’ ve ‘a posteriori’ bilgi arasında zaten bir ayrımın yapılmış olduğu Yunan felsefesine dayanmaktadır. Daha sonra Kant, gözlemden önce bilinen apriori ile gözlemlerden elde edilen ampirik bilgi arasındaki ayrımı tanımladı. Bir Bayes örüntü sınıflandırıcısında, sınıf olasılıkları p ( l a b e l | θ ) kullanıcı tarafından seçilebilir ve bunlar daha sonra önseldir. Ayrıca, a priori parametre değerleri olarak ölçülen deneyim, örneğin Beta- (önceki eşlenik) ve Dirichlet dağılımları kullanılarak ampirik gözlemlerle ağırlıklandırılabilir. Bayes yaklaşımı, öznel olasılıklar biçimindeki uzman bilgisi ile nesnel gözlemler arasında kusursuz bir karışımı kolaylaştırır.
Olasılığa dayalı örüntü sınıflandırıcılar, frekansçı veya Bayes yaklaşımına göre kullanılabilir.
Kullanımlar
Yüz, özel bir yazılım tarafından otomatik olarak algılandı.
Tıp biliminde, örüntü tanıma, bilgisayar destekli teşhis (CAD) sistemlerinin temelidir. CAD, doktorun yorumlarını ve bulgularını destekleyen bir prosedürü tanımlar. Örüntü tanıma tekniklerinin diğer tipik uygulamaları, otomatik konuşma tanıma, konuşmacı tanımlama, metnin birkaç kategoride sınıflandırılması (örneğin, spam veya spam olmayan e-posta mesajları), posta zarflarındaki el yazısının otomatik olarak tanınması, insan yüzlerinin görüntülerinin otomatik olarak tanınması, veya tıbbi formlardan el yazısı görüntüsü çıkarma.[9][10] Son iki örnek, örüntü tanıma sistemlerinin girdisi olarak dijital görüntüleri ele alan örüntü tanımanın alt konu görüntü analizini oluşturur.[11][12]
Optik karakter tanıma, bir model sınıflandırıcının uygulanmasına bir örnektir. Birinin adını imzalama yöntemi, 1990’dan itibaren kalem ve kaplama ile yakalandı. Vuruşlar, hız, göreli minimum, göreli maksimum, hızlanma ve basınç, kimliği benzersiz bir şekilde tanımlamak ve doğrulamak için kullanılır. Bankalara ilk önce bu teknoloji sunuldu, ancak herhangi bir banka dolandırıcılığı için FDIC’den tahsilat yapmaktan memnun kaldılar ve müşterileri rahatsız etmek istemediler.[kaynak belirtilmeli]
Örüntü tanıma, görüntü işlemede birçok gerçek dünya uygulamasına sahiptir. Bazı örnekler şunları içerir:
tanımlama ve kimlik doğrulama: örn., plaka tanıma,[13] parmak izi analizi, yüz algılama/doğrulama;,[14] ve ses tabanlı kimlik doğrulama.[15]
tıbbi teşhis: örneğin, rahim ağzı kanseri taraması (Papnet),[16] meme tümörleri veya kalp sesleri;
savunma: çeşitli navigasyon ve yönlendirme sistemleri, hedef tanıma sistemleri, şekil tanıma teknolojisi vb.
hareketlilik: gelişmiş sürücü destek sistemleri, otonom araç teknolojisi vb.[17][18][19][20][21]
Psikolojide örüntü tanıma, nesneleri anlamlandırmak ve tanımlamak için kullanılır ve algı ile yakından ilişkilidir. Bu, insanların aldığı duyusal girdilerin nasıl anlamlı hale getirildiğini açıklar. Örüntü tanıma iki farklı şekilde düşünülebilir. İlki şablon eşleştirmeyle, ikincisi ise özellik algılamayla ilgilidir. Şablon, aynı oranlara sahip öğeler üretmek için kullanılan bir modeldir. Şablon eşleştirme hipotezi, gelen uyaranların uzun süreli bellekteki şablonlarla karşılaştırılmasını önerir. Bir eşleşme varsa, uyaran tanımlanır. Harfleri sınıflandırmak için Pandemonium sistemi (Selfridge, 1959) gibi özellik algılama modelleri, uyaranların tanımlama için bileşen parçalarına ayrıldığını öne sürer. Bir gözlem, üç yatay çizgiye ve bir dikey çizgiye sahip büyük bir E’dir.[22]
Algoritmalar
Örüntü tanıma algoritmaları, etiket çıktısının türüne, öğrenmenin denetimli mi yoksa denetimsiz mi olduğuna ve algoritmanın doğası gereği istatistiksel olup olmadığına bağlıdır. İstatistiksel algoritmalar ayrıca üretken veya ayrımcı olarak kategorize edilebilir.
Sınıflandırma yöntemleri (Kategorik etiketleri tahmin eden yöntemler)
Parametrik:[23]
Lineer diskriminant analizi
İkinci dereceden diskriminant analizi
Maksimum entropi sınıflandırıcısı (aka lojistik regresyon, çok terimli lojistik regresyon): Adına rağmen lojistik regresyonun bir sınıflandırma algoritması olduğunu unutmayın. (Adını, lojistik regresyonun bir girdinin belirli bir sınıfta olma olasılığını modellemek için doğrusal bir regresyon modelinin bir uzantısını kullanması gerçeğinden alır.)
Parametrik olmayan:[24]
Karar ağaçları, karar listeleri
Çekirdek tahmini ve K-en yakın komşu algoritmaları
Naive Bayes sınıflandırıcısı
Sinir ağları (çok katmanlı algılayıcılar)
algılayıcılar
Vektör makineleri desteklemek
Gen ifadesi programlama
Kümeleme yöntemleri (kategorik etiketleri sınıflandırma ve tahmin etme yöntemleri)
Kategorik karışım modelleri
Hiyerarşik kümeleme (toplayıcı veya bölücü)
K-kümeleme anlamına gelir
korelasyon kümeleme
Çekirdek ana bileşen analizi (Kernel PCA)
Topluluk öğrenme algoritmaları (birden fazla öğrenme algoritmasını bir araya getirmek için denetimli meta-algoritmalar)
Yükseltme (meta-algoritma)
Bootstrap toplama (“torbalama”)
topluluk ortalaması
Uzmanların karışımı, uzmanların hiyerarşik karışımı
Keyfi olarak yapılandırılmış (küme) etiketleri tahmin etmek için genel yöntemler
Bayes ağları
Markov rasgele alanları
Çok doğrusal alt uzay öğrenme algoritmaları (tensör temsillerini kullanarak çok boyutlu verilerin etiketlerini tahmin etme)
Denetimsiz:
Çok doğrusal temel bileşen analizi (MPCA)
Gerçek değerli dizi etiketleme yöntemleri (gerçek değerli etiketlerin dizilerini tahmin etme)
Kalman filtreleri
Partikül filtreleri
Regresyon yöntemleri (gerçek değerli etiketleri tahmin etme)
Gauss süreç regresyonu (kriging)
Doğrusal regresyon ve uzantılar
Bağımsız bileşen analizi (ICA)
Temel bileşenler analizi (PCA)
Dizi etiketleme yöntemleri (kategorik etiketlerin dizilerini tahmin etme)
Koşullu rasgele alanlar (CRF’ler)
Gizli Markov modelleri (HMM’ler)
Maksimum entropi Markov modelleri (MEMM’ler)
Tekrarlayan sinir ağları (RNN’ler)
Dinamik zaman atlama (DTW)
Ayrıca bakınız:
Uyarlanabilir rezonans teorisi
Siyah kutu
Önbellek dili modeli
Bileşik terim işleme
Bilgisayar destekli tanı
Veri madenciliği
Derin Öğrenme
Bilgi teorisi
Sayısal analiz yazılımı listesi
Sayısal kitaplıkların listesi
neokognitron
Algı
algısal öğrenme
Tahmine dayalı analitik
Örüntü tanıma için ön bilgi
Sıra madenciliği
Şablon eşleme
Bağlamsal görüntü sınıflandırması
Makine öğrenimi araştırması için veri kümelerinin listesi
