Yapay-Zeka.Org
   [ Ana Sayfa ]   [ Ansiklopedi ]   [ Kitaplar ]   [ Makaleler ]   [ Dosya Arşivi ]   [ Sık Sorulanlar ]   [ Giriş ]   [ Üye ol ]  
Sitede Ara
Web'de Ara
"Rüyaları gerçekleştirmenin en iyi yolu uyanmaktır." S. M. Power
Destekliyoruz:


[Yapay Zeka Ansiklopedisi :: Bu sayfa]  

Doğal Dil İşleme (Natural Language Processing)

Dil, dünyayı nasıl yorumladığımızı belirleyen en önemli kavramsal araçtır. (Ulaş Başar Gezgin)

Doğal Dil İşleme (DDİ) Yapay Zeka (Artificial Intelligence) ve Dilbilim (Linguistics)'in bir alt dalıdır. Ancak günümüzde araştırma konuları genişleyerek tek başına incelenen bir disipline dönüşmüştür. Bu hızlı değişimin nedeni son yıllarda bilginin ön plana çıkarak bilgi toplumu kavramını doğuran bilişim alanındaki önemli gelişmelerdir. Dil yeteneği, insan beyninin nasıl çalıştığına ışık tutan insan türüne özgü tek özellik olduğu için dilbilim Bilişsel Bilimler (Cognitive Science) içerisinde önemli bir yer tutar. DDİ "Doğal dillerin" bilgisayar tarafından üretimi ve anlaşılması problemleriyle ilgilidir. Doğal dil üretim sistemleri bilgisayar veri tabanındaki bilgileri doğal dile ve doğal dil anlama sistemleride insan dili örneklerini bilgisayar programlarının işlemesi kolay olan soyut betimlemelere çevirir.

Dilin bilgisayar ortamında modeli oluşturulabilirse iletişim için oldukça yararlı bir araç elde edilmiş olur. Doğal Dil İşleme (DDİ), ana işlevi bir doğal dili çözümleme, anlama, yorumlama ve üretme olan bilgisayar sistemlerinin tasarımını ve gerçekleştirilmesini konu alan bir mühendislik alanıdır. Doğal dil işleme, yapay zeka (bilgi gösterimi, planlama, akıl yürütme, vb.) biçimsel diller kuramı (dil çözümleme), kuramsal dilbilim ve bilgisayar destekli dilbilim, bilişsel psikoloji gibi çok değişik alanlarda geliştirilmiş kuram, yöntem ve teknolojileri bir araya getirir. 1950 ve 1960'larda yapay zekanın küçük bir alt alanı olarak görülen bu konu, araştırmacıların ve gerçekleştirilen uygulamaların elde ettiği başarılar sonunda artık bilgisayar bilimlerinin temel bir disiplini olarak kabul edilmektedir. DDİ alanındaki temel araştırmalar şunlar olmuştur:

  • Doğal dillerin işlev ve yapısının daha iyi anlaşılması;
  • Bilgisayarlar ile insanlar arasındaki arabirim olarak doğal dil kullanmak ve bu şekilde bilgisayarlar ile insanlar arasındaki iletişimi kolaylaştırmak;
  • Bilgisayar ile dil çevirisi yapmak.
  • Japonya, İngiltere, ABD, Almanya, Hollanda, Fransa gibi ülkelerde bu teknolojiyi kullanan çeşitli yazılımlar ve bilgisayar sistemleri kullanıcıların hizmetine sunulmuştur. Bilim ve iş alanında her yerde geçerli bir dil olması açısından İngilizce bu gibi ürünlerin en fazla uygulandığı dil olmuştur. Ancak bu teknolojileri Türkçe'ye uygulamak ve Türkçe'de bir araştırma altyapısı oluşturmak için daha çok çalışma yapılması gerekmektedir. İngilizce için kullanılan kurallar ve algoritmaların aynen Türkçe'ye taşınması dillerin yapısının farklılığından dolayı mümkün değildir. Dolayısıyla Türkçe için yapılacak çalışmalar ya Türk dilbilimciler ve bilgisayar bilimciler tarafından ya da Türkçe'yi çok iyi bilen diğer ülke bilim adamları tarafından yapılabilir.

    DDİ, önümüzdeki yıllarda insanların bilgisayarlar ile etkileşimlerinde temel bir takım değişiklikler getirmeye aday teknolojilerden biridir. Bilgisayarlar ile doğal dil işleme çok değişik alanlarda uygulama alanı bulmaktadır. Örneğin çoğumuzun kullandığı kelime işlemci gibi programlarda bulunan hatalı sözcüklerin bulunması ve düzeltilmesi işlevi bu tip uygulamaların en basitlerinden biridir. Daha karmaşık bir uygulama olarak bir veri tabanına SQL ile değil, örneğin doğal dil ile sorgu yöneltmeyi ve sistemin bunu çözümleyerek bir SQL sorgusuna dönüştürüp işledikten sonra sonuçları kullanıcıya vermesini düşünülebilir.

    Bilgisayarla dilden dile yarı otomatik metin çevirisi yapmak, dil öğretmek, tek veya çok dilli sözcüklere erişmek , doğal dilde cümle ve metin üretmek gibi uygulamaları doğal dil işlemenin en önemli örnekleri olarak görülebilir. Çok daha genel bir bakış açısı ile de konuşma tanıma ve konuşma üretmeyi de kullandıkları temel teknolojiler farklı olsa da bu alan içinde görmek mümkündür. Bugün Japonya'da 5. nesil bilgisayarlar üzerinde çalışılmaktadır ki bunlar klavyesiz bilgisayarlardır; yani buna ses yardımıyla bilgisayarın kontrolü de denebilir. Bu tür bilgisayarlar insan gibi NP problemleri çözebilir. DDİ, sabit algoritmalar içermediğinden, belirsizliklere sahip olduğundan NP problemdir. Bu çalışmalarda bilgisayardan istenen bir problemi bilgisayarın algılaması, istenenleri kaydedip problemin çözümüne ilişkin programı kendisinin yazması gibi işlemler de düşünülmektedir.

    Yurt dışında yapılan çalışmalardan en önemlilerinden biri de cümlelerin anlamsal analizinin yapılmasıdır. Anlamsal analizdeki amaç bilgi tabanının bilgisayar tarafından yorumlanabilir bir biçime dönüştürülmesidir. Bu çalışmalar belli düzeyde başarı sağlamış ve bilgisayarın anlaması gerçeklenebilmiştir. Gelişmiş ülkelerde bu çalışmalar özürlülerin eğitiminde, ilk ve ortaöğretim okullarında, ticarette, alışverişte, bankacılık işlemlerinin otomatikleştirilmesinde, daha bir çok yerde uygulama alanına taşınmış ve artık hayatın parçası durumuna gelmişlerdir. Örneğin büyük alışveriş merkezlerinde belirli yerlere konulan bilgisayarlar yardımıyla müşterilerin malın yerini, fiyatını, vb. gibi özelliklerini öğrenmelerinde bu tür çalışmalar kullanılmaktadır. Buralarda insanlar kendi konuştukları dilde karşılarında bir insanla konuşurmuş gibi bilgisayara istediklerini yazarlar veya söylerler, bilgisayar da onların isteklerini anlar ve isteklerini yerine getirir.

    Doğal Dil İşleme

    SHRDLU gibi kısıtlı kelime hazinesiyle çalışan ilk sistemler gayet başarılı olarak araştırmacıları büyük bir iyimserliğe sürüklediler fakat sistemler gerçek hayat karışıklığı ve karmaşıklığıyla daha "gerçekci" durumlara genişletildiğinde bu iyimserlik kayboldu. doğal dil anlama bazen AI- complete problemi olarak adlandırılır, bunun nedeni doğal dil tanıma muazzam dış-dünya bilgisini ve bunu beceriyle kullanabilme yetisini gerektiriyor olmasıdır. Doğal dil işleme işleme deki en büyük problemlerden biri de "anlama" kavramının tanımıdır. Doğal dil anlama sistemlerinin karşılaştığı bazı problemler:

  • Maymunalara muzları verdik çünkü onlar açtılar. ve Maymunlara muzları verdik çünkü çok olgundular. cümleleri aynı yüzeysel dilbilgisi yapısına sahip, fakat "onlar" birinde maymunları, diğerinde ise muzları işaret ediyor: maymunlar ve muzların işlevleri ve özellikleri bilinmeksizin cümle tam anlamıyla anlaşılamaz.
  • Bir dizi kelime sonsuz sayıda yorumlanabilir. Örneğin; Zaman ok gibi uçar. cümlesi çok değişik şekillerde yorumlanabilir:
  • --Zaman ok gibi hızlı hareket ediyor. --Sineklerin hızı bir okun hızı gibidir --Hızı ok gibi olan sineklerin hızı --Ok gibi olan sineklerin hızı --Bi tür sinek olan zaman-sineği oklardan hoşlanır

    "Zaman" kelimesi ise kendi başına 3 değişik şekilde yorumlanabilir, ( ilk örnekte isim, 2,3,4te fiil, ve 5te sıfat olarak). Bu konuda İngilizce özellikle uğraştırıcıdır, çünkü kelime türlerini ayırt edecek çekim eklerinden yoksundur. İngilizce ve bazı diğer diller sıfatın hangi kelimeyi nitelediğini belirtmezler. Örneğin, "şirin küçük kızlar okulu" dizisinde; --Okul mu küçük görünüyor? --Kızlar mı küçük görünüyor? --Kızlar mı şirin görünüyor? --Okul mu şirin görünüyor?

    DDİ nin temel bölümleri

    #Metinden konuşmaya #Konuşma tanıma #Doğal dil üretimi #Makina çevirisi #Soru cevaplama #Bilgi düzeltimi #Bilgi çıkarımı #Metin sınaması #Çeviri teknolojisi #Otomatik özetleme

    DDİ'yi zorlaştıran problemler

    Konuşma bölütleme

    Çoğu doğal dilde, birbiriyle bütünleşmiş ardışık harfleri sesler temsil eder, bu yüzden analog sinyallerin tam karakterlere dönüştürülmesi çok zor bir süreç olabilir. Ayrıca, doğal konuşmalarda birbirini takip eden kelimeler arasında neredeyse hiç durak yoktur, bu sınırların yerleşimi genellikle kontekst gibi dilbilgisel ve anlambilimsel kısıtlamalarıda hesaba katmalıdır.

    Metin bölütleme

    Çince ve Tahice gibi bazı doğal diller, sinyal kelime sınırlarına sahip değildir, yani herhangi bir önemli metin ayrıştırımı genellikle kelime sınırlarının beliirlenmesini gerektirir ki bu çoğu zaman önemli bir görevdir.

    Çok Anlamlı Kelimeler

    Çoğu kelimenin birden çok anlamı (sense) bulunduğundan; çok anlamlı bir kelimenin içinde geçtiği bağlamdan (context) faydalanarak ifade edilmek istenilen anlamını bulmak gerekmektedir. Bu işleme Sözcük Anlamı Kesinleştirme (Word Sense Disambiguation) denilmektedir.

    Sözdizimsel belirsizlik

    Doğal dillerin dilbilgisi muğlaktır, örneğin çoğu zaman verilen bir cümle için bir çok ağaç yapısı mümkündür. En uygun olanı seçmek çoğunlukla anlamsal ve kontekssel bilgiyi gerektirir. Kusurlu ya da düzensiz girdi yabancı ya da bölgesel aksanlar ve konuşmadaki ses özürleri, yazım veya dilbilgisel hatalar, metindeki OCR hataları.

    Konuşma davranışları ve planlar

    Cümleler genelde kelimelerin söylediğinden farklı anlamları barındırır, örn. "Tuzu uzatabilir misiniz?" sorusuna tuzu uzatmak iyi bir cevap olur, çoğu durumda "evet" iyi bir cevap olmaz, "hayır" ın daha iyi bir cevap olmamasına rağmen "üzgünüm, göremiyorum" daha iyidir. Benzer şekilde, geçen sene bir ders açılmamışsa,"Geçen sene dersten kaç kişi kaldı?" sorusuna "Ders geçen sene açılmadı." "hiç" cevabından daha iyi bir cevaptır.

    İstatiksel DDİ

    İstatiksel Doğal Dil İşleme yukarda tartışılan zorlukları, özellikle gerçekçi gramerle işlendiği zaman uzunca cümlelerin bir hayli belirsizleşmesinden kaynaklanan, binlerce hatta milyonlarca olası analizi mümkün kılanları çözmek için stochastic, olasılıksal ve istatiksel methodlar kullanır. Belirsizliği giderme methodları çoğu zaman derlem ve Markov modelleri kullanımını içerir. İstatiksel DDİ için teknoloji çoğunlukla ikiside veriden öğrenmeyi içeren yapay zeka alanları olan makina öğrenme ve veri-madenciliğinden gelir.

    Doğal dil işleme çalışmalarında geçen çeşitli kavramlar aşağıda açıklanmaya çalışılmıştır:

  • Matematiksel Dil Modeli
  • Genişletilmiş Geçiş Ağları (Augmented Transition Networks)
  • Morfoloji (Morphology)
  • DDİ'nin Tarihçesi

  • Chomsky (1957) Syntactic Structures
  • Weizenbaum (1966), ELIZA
  • Woods (1967), Procedural semantics
  • Thorne et al. and Woods (1968-70), ATNs
  • Winograd (1970), Shrdlu
  • Colby, Weber & Hilf, 1971; Colby, 1975, PARRY
  • Wilks (1972), Preference semantics
  • Woods et al. (1972), LSNLIS / Lunar
  • Charniak (1972), Frames and demons
  • Wilks (1973), Stanford machine translation project
  • Montague (1973) IL semantics (Montague Grammar) in PTQ
  • Grosz (1977), Focus in task-oriented dialogues
  • Marcus (1977), Deterministic parsing
  • Davey (1978)
  • Cohen, Phil (1979), Planning speech acts
  • Allen (1980), Understanding speech acts
  • McDonald (1980), MUMBLE
  • Heim/Kamp (1981) Discourse Representation Theory
  • McKeown (1982), TEXT
  • Appelt (1982), KAMP (Integration of Functional Grammar with Discourse Plans)
  • Shieber (1984) Noncontextfreeness of NL syntax proven
  • Pollack (1986), Plan inference
  • Mann & Thompson (1987), Rhetorical Structure Theory
  • Conceptual Dependency:

  • Schank (1969), Conceptual Dependency
  • Schank, Riesbeck, Rieger, Goldman (1975), MARGIE
  • Cullingford (1979), SAM
  • Wilensky (1979), PAM
  • DeJong (1980), FRUMP
  • Lebowitz (1980), IPP
  • Dyer (1982), BORIS
  • Lytinen (1986), MOPTRANS
  • Hovy (1986), PAULINE
  • Ram (1989), AQUA
  • Dehn (1989), AUTHOR/STARSHIP
  • Martin (1986) Direct Memory Access Parsing (DMAP)
  • Fitzgerald (1995) Indexed Concept Parsing
  • Kaynaklar

  • İTÜ Doğal Dil İşleme Takımı, http://ddi.ce.itu.edu.tr/
  • Doğal Dil İşleme Ders Notları - Prof. Dr. Esref Adalı
  • MIT OpenCourseWare | 24.941J The Lexicon and Its Features, Spring 2007, http://ocw.mit.edu/OcwWeb/Linguistics-and-Philosophy/24-941JSpring-2007/CourseHome/index.htm
  • MIT OpenCourseWare | 24.900 Introduction to Linguistics, Spring 2005, http://ocw.mit.edu/OcwWeb/Linguistics-and-Philosophy/24-900Spring-2005/CourseHome/index.htm
  • MIT OpenCourseWare | 24.251 Introduction to Philosophy of Language, Spring 2005, http://ocw.mit.edu/OcwWeb/Linguistics-and-Philosophy/24-251Spring-2005/CourseHome/index.htm
  • MIT OpenCourseWare | 24.251 Introduction to Philosophy of Language, Spring 2006, http://ocw.mit.edu/OcwWeb/Linguistics-and-Philosophy/24-251Spring-2006/CourseHome/index.htm
  • http://en.wikipedia.org/wiki/Natural_language_processing
  • http://www.faqs.org/faqs/natural-lang-processing-faq
  • Stanford Engineering Everywhere Introduction to Robotics Natural Language Processing Course, http://see.stanford.edu/see/courseinfo.aspx?coll=63480b48-8819-4efd-8412-263f1a472f5a
  • Foundations of Statistical Natural Language Processing, http://nlp.stanford.edu/fsnlp/
  • http://www-nlp.stanford.edu/links/statnlp.html
  • Son değişme: 26.02.11 yazan
    Yapay-Zeka.org sayfalarında bulunan bilgi ve belgelerin, kaynak gösterilmek koşulu ile GÖBL çerçevesinde kullanılması serbesttir. XOOPS'a teşekkürler.