Stemming sözün şəkilçi və prefikslərə və ya lemma kimi tanınan sözlərin köklərinə əlavə olunan söz kökünə endirilməsi prosesidir. Kökləmə təbii dilin anlaşılması (NLU) və təbii dilin işlənməsi (NLP) üçün vacibdir.
NLP-də nümunə ilə nədən qaynaqlanır?
Stemming əsasən sözdən şəkilçinin çıxarılması və onun kök sözünə endirilməsidir. Məsələn: “Uçmaq” sözdür və onun şəkilçisi “ing”dir, “Uçmaq”dan “ing”i çıxarsaq, “Uçmaq” olan əsas söz və ya kök söz əldə edəcəyik.
Stemming nəyə lazımdır?
Stemming axtarış mühərrikləri kimi məlumat axtarış sistemlərində istifadə olunur. Domen analizində domen lüğətlərini müəyyən etmək üçün istifadə olunur.
Lemmatizasiya nədir?
Sökmə və lemmatizasiya sözünün arxasındakı mənası təhlil etmək üçün axtarış motorları və chatbotlar tərəfindən istifadə edilən metodlardır. Stemming sözün kökündən istifadə edir, lemmatizasiya isə sözün istifadə olunduğu kontekstdən istifadə edir.
NLP-də lemmatizasiya və köklənmə nədir?
Morfoloji analiz hər sözün düzgün lemmasının çıxarılmasını tələb edəcək. Məsələn, Lemmatizasiya müəyyən məna ifadə edən "problem"dən "problem"ə qədər əsas formanı aydın şəkildə müəyyən edir, halbuki Stemming"ed" hissəsini kəsib onu "problem"ə çevirəcək. yanlış məna və orfoqrafik səhvlər.
