Add Ukrainian stemmer

Author: abratashov

algorithms/ukrainian.sbl

@@ -119,7 +119,7 @@ backwardmode (
                 // but not   'им' 'уем' // present passive participle
                 // or        'енн'      // adjective from past passive participle
 
-                'ивш' 'ывш'             // past active participle                     // брод|ивших      несб|ывшееся
+                'ивш' 'ывш'             // past active participle                     // брод|ивших      несб|ывш(ее(ся))
                 'ующ'                   // present active participle                  // несуществ|ующий
                     (delete)
             )
@@ -129,7 +129,7 @@ backwardmode (
 
     define reflexive as (
         [substring] among (
-            'ся'            // осек|ся
+            'ся'            // осек|ся несбывшее|ся
             'сь'            // ввы|сь
                 (delete)
         )

explanations/russian.sbl.explanation

@@ -38,12 +38,12 @@ stringdef ia   '{U+044F}'
 stringdef apostrophe '{U+0027}'
 
 routines ( mark_regions R2
-           // perfective_gerund
+           perfective_gerund
            adjective
            adjectival
-           // reflexive
-           // verb
-           // noun
+           reflexive
+           verb
+           noun
            // derivational
            // tidy_up
 )
@@ -70,35 +70,62 @@ backwardmode (
 
     define R2 as $p2 <= cursor
 
-    // define perfective_gerund as (
-    //     [substring] among (
-    //         // 'в'
-    //         // 'вші'
-    //         // 'вшіс{'}'
-    //         //     ('а' or 'я' delete)
-    //         // 'ів'
-    //         // 'івші'
-    //         // 'івшіс{'}'
-    //         // 'ив'
-    //         // 'ивші'
-    //         // 'ившіс{'}'
-    //         //     (delete)
-    //     )
-    // )
+    define perfective_gerund as (
+       [substring] among (
+           // 'в'
+           // 'вші'
+           // 'вшіс{'}'
+           //     ('а' or 'я' delete)
+           // 'ів'
+           // 'івші'
+           // 'івшіс{'}'
+           // 'ив'
+           // 'ивші'
+           // 'ившіс{'}'
+           //     (delete)
+
+          'в'      // донаписа|в    дороби|в дороби|в
+          'вши'    // написа|вши    зроби|вши
+          'вшись'  // оберіга|вшись спакува|вшись
+          'вшися'  // оберіга|вшися сподіва|вшися
+            // ('а' or 'я' delete) ???
+          'учи'    // пиш|учи       рев|учи
+          'ючи'    // ся|ючи        підпису|ючи
+          'ючись'  // змага|ючись
+          'ючися'  // навча|ючися
+          'ачи'    // бач|ачи
+          'ачись'  // бач|ачись
+          'ачися'  // бач|ачися
+          'лячи'   // роб|лячи      люб|лячи
+          'лячись' // бав|лячись
+          'лячися' // бав|лячися
+          'ячи'    // сид|ячи       вовтуз|ячи
+          'ячись'  // ???
+          'ячися'  // ???
+            (delete)
+       )
+    )
 
     define adjective as (
         [substring] among (
-            'ього'
-              (delete)
             // 'ее' 'іе' 'ие' 'ое' 'імі' 'имі'
-            // 'ей' 'ій' 'ий' 'ой' 'ем' 'ім'
-            // 'им' 'ом' 'еґо' 'оґо' 'ему'
-            // 'ому' 'іх' 'их' 'ую' 'юю' 'ая'
-            // 'яя'
-            //             // and -
-            // 'ою'   // - which is somewhat archaic
+            // 'ей' 'ой' 'ем'
+            // 'ом' 'еґо' 'оґо' 'ему'
+            // 'ую' 'юю' 'ая'
             // 'ею'   // - soft form of ою
             //     (delete)
+
+            'ий' 'ого' 'ому' 'им' 'ім'            // зелен|ий    зелен|ого   зелен|ому   зелен|им    зелен|ім
+            'іший' 'ішого' 'ішому' 'ішим' 'ішім'  // зелен|іший  зелен|ішого зелен|ішому зелен|ішим  зелен|ішім
+            'е' 'іше'                             // зелен|е     зелен|іше
+            'а' 'ої' 'ій' 'у' 'ою'                // зелен|а     зелен|ої    зелен|ій    зелен|у     зелен|ою
+            'іша' 'ішої' 'ішій' 'ішу' 'ішою'      // зелен|іша   зелен|ішої  зелен|ішій  зелен|ішу   зелен|ішою
+            'і' 'их' 'ими'                        // зелен|і     зелен|их    зелен|ими
+            'іші' 'іших' 'ішими'                  // зелен|іші   зелен|іших  зелен|ішими
+            'ього' 'ьому'                         // верхн|ього  верхн|ьому
+            'я' 'ьої' 'ю' 'ьою'                   // верхн|я     верхн|ьої   верхн|ю     верхн|ьою
+            'іх' 'іми'                            // верхн|іх    верхн|іми
+              (delete)
         )
     )
 
@@ -110,71 +137,134 @@ backwardmode (
            errors. Removing im, uem, enn creates too many errors.
         */
 
-     //    try (
-     //        [substring] among (
-     //            // 'ем'                  // present passive participle
-     //            // 'нн'                  // adjective from past passive participle
-     //            // 'вш'                 // past active participle
-     //            // 'ющ' 'щ'     // present active participle
-     //            //     ('а' or 'я' delete)
+        try (
+            [substring] among (
+                // 'ем'                  // present passive participle
+                // 'нн'                  // adjective from past passive participle
+                // 'вш'                 // past active participle
+                // 'ющ' 'щ'     // present active participle
+                //     ('а' or 'я' delete)
 
-     // // //but not  'ім' 'уем'      // present passive participle
-     // // //or       'енн'               // adjective from past passive participle
+                // //but not  'ім' 'уем'      // present passive participle
+                // //or       'енн'               // adjective from past passive participle
 
-     // //            'івш' 'ивш'// past active participle
-     // //            'ующ'          // present active participle
-     // //                (delete)
-     //        )
-     //    )
+                //            'івш' 'ивш'// past active participle
+                //            'ующ'          // present active participle
+                //                (delete)
+
+                'ячий' 'ячого' 'ячому' 'ячим' 'ячім'    // сид|ячий    сид|ячого     сид|ячому     сид|ячим      сид|ячім
+                'яча' 'яче' 'ячої' 'ячій' 'ячу' 'ячою'  // сид|яча     сид|яче       сид|ячої      сид|ячій      сид|ячу     сид|ячою
+                'ячі' 'ячих' 'ячими'                    // сид|ячі     сид|ячих      сид|ячими
+                'ачий' 'ачого' 'ачому' 'ачим' 'ачім'    // дриж|ачий   дриж|ачого    дриж|ачому    дриж|ачим     дриж|ачім
+                'ача' 'аче' 'ачої' 'ачій' 'ачу' 'ачою'  // дриж|ача    дриж|аче      дриж|ачої     дриж|ачій     дриж|ачу    дриж|ачою
+                'ачі' 'ачих'  'ачими'                   // дриж|ачі    дриж|ачих     дриж |ачими
+                'ючий' 'ючого' 'ючому' 'ючим' 'ючім'    // далені|ючий далені|ючого  даленію|ючому далені|ючим   далені|ючім
+                'юча' 'юче' 'ючої' 'ючій' 'ючу' 'ючою'  // далені|юча  далені|юче    далені|ючої   даленію|ючій  далені|ючу  далені|ючою
+                'ючі' 'ючих' 'ючими'                    // далені|ючі  далені|ючих   далені|ючими
+                'учий' 'учого' 'учому' 'учим' 'учім'    // пиш|учий    далені|учого  пиш|учому     пиш|учим      пиш|учім
+                'уча' 'уче' 'учої' 'учій' 'учу' 'учою'  // пиш|уча     пиш|уче       пиш|учої      пиш|учій      пиш|учу     пиш|учою
+                'учі' 'учих' 'учими'                    // пиш|учі     пиш|учих      пиш|учими
+                'ений' 'еного' 'еному' 'еним' 'енім'    // втрач|ений  втрач|еного   втрач|еному   втрач|еним    втрач|енім
+                'ена' 'ене' 'еної' 'еній' 'ену' 'еною'  // втрач|ена   втрач|ене     втрач|еної    втрач|еній    втрач|ену   втрач|еною
+                'ені' 'ених' 'еними'                    // втрач|ені   втрач|ених    втрач|еними
+                  (delete)
+            )
+        )
 
     )
 
-    // define reflexive as (
-    //     [substring] among (
-    //         // 'ся'
-    //         // 'с{'}'
-    //         //     (delete)
-    //     )
-    // )
+    define reflexive as (
+        [substring] among (
+            // 'ся'
+            // 'с{'}'
+            //     (delete)
 
-    // define verb as (
-    //     [substring] among (
-    //         // 'ла' 'на' 'ете' 'йте' 'лі' 'й'
-    //         // 'л' 'ем' 'н' 'ло' 'но' 'ет' 'ют'
-    //         // 'ни' 'т{'}' 'еш{'}'
-
-    //         // 'нно'
-    //         //     ('а' or 'я' delete)
-
-    //         // 'іла' 'ила' 'ена' 'ейте'
-    //         // 'уйте' 'іте' 'ілі' 'илі' 'ей'
-    //         // 'уй' 'іл' 'ил' 'ім' 'им' 'ен'
-    //         // 'іло' 'ило' 'ено' 'ят' 'ует'
-    //         // 'уют' 'іт' 'ит' 'ени' 'іт{'}'
-    //         // 'ит{'}' 'іш{'}' 'ую' 'ю'
-    //         //     (delete)
-    //         /* note the short passive participle tests:
-    //            'на' 'н' 'но' 'ни'
-    //            'ена' 'ен' 'ено' 'ени'
-    //         */
-    //     )
-    // )
+            'ся'     // осік|ся
+            'сь'     // недонавчи|сь
+            'тися'   // би|тися
+            'тись'   // боро|тись
+            // 'ться'   // роби|ться ???
+            'іться'  // подруж|іться
+            'теся'   // бав|теся
+            'йся'    // вдума|йся
+            'йтеся'  // вдума|йтеся
+            'вся' 'лася' 'лося' 'лися'                    // вчи|вся   вчи|лася  вчи|лося    вчи|лися
+            'всь' 'лась' 'лось' 'лись'                    // вчи|всь   вчи|лась  вчи|лось    вчи|лись
+            'юся' 'єшся' 'ється' 'ємося' 'єтеся' 'ються'  // смі|юся   смі|єшся  смі|ється   смі|ємося   смі|єтеся   смі|ються
+            'уся' 'ешся' 'еться' 'емося' 'етеся' 'уться'  // спиш|уся  спиш|ешся спиш|еться  спиш|емося  спиш|етеся  спиш|уться
+            'люся' 'ишся' 'иться' 'имося' 'итеся' 'ляться'// див|люся  див|ишся  див|иться   див|имося   див|итеся   див|ляться
+            'їшся' 'їться' 'їмося' 'їтеся' 'яться'        // бо|їшся   бо|їться  бо|їмося    бо|їтеся    бо|яться
+            'аться'                                       // бач|аться
+              (delete)
+        )
+    )
 
-    // define noun as (
-    //     [substring] among (
-    //         // 'а' 'ев' 'ов' 'іе' '{'}е' 'е'
-    //         // 'іямі' 'ямі' 'амі' 'еі' 'іі'
-    //         // 'і' 'іей' 'ей' 'ой' 'ій' 'й'
-    //         // 'іям' 'ям' 'іем' 'ем' 'ам' 'ом'
-    //         // 'о' 'у' 'ах' 'іях' 'ях' 'и' '{'}'
-    //         // 'ію' '{'}ю' 'ю' 'ія' '{'}я' 'я'
-    //         //     (delete)
-    //         /* the small class of neuter forms 'ені' 'енем'
-    //            'ена' 'ен' 'енам' 'енамі' 'ена{x}'
-    //            omitted - they only occur on 12 words.
-    //         */
-    //     )
-    // )
+    define verb as (
+        [substring] among (
+            // 'на' 'лі'
+            // 'л' 'ем' 'н'  'но' 'ет' 'ют'
+            // 'ни' 'т{'}' 'еш{'}'
+
+            // 'нно'
+            //     ('а' or 'я' delete)
+
+            // 'іла' 'ила' 'ена' 'ейте'
+            // 'уйте' 'іте' 'ілі' 'илі' 'ей'
+            // 'уй' 'іл' 'ил' 'ім' 'им' 'ен'
+            // 'іло' 'ило' 'ено' 'ят' 'ует'
+            // 'уют' 'іт' 'ит' 'ени' 'іт{'}'
+            // 'ит{'}' 'іш{'}' 'ую'
+            //     (delete)
+            /* note the short passive participle tests:
+               'на' 'н' 'но' 'ни'
+               'ена' 'ен' 'ено' 'ени'
+            */
+
+            'ти'  // працюва|ти
+            // 'ть'  // роби|ть ???
+            'іть' // роб|іть
+            'те'  // відправ|те
+            'й'   // чита|й
+            'йте' // дума|йте
+            'в' 'ла' 'ло' 'ли'                  // чита|в  чита|ла чита|ло   чита|ли
+            'ю' 'єш' 'є' 'ємо' 'єте' 'ють'      // чита|ю  чита|єш чита|є    чита|ємо  чита|єте  чита|ють
+            'у' 'еш' 'е' 'емо' 'ете' 'уть'      // пиш|у   пиш|еш  пиш|е     пиш|емо   пиш|ете   пиш|уть
+            'лю' 'иш' 'ить' 'имо' 'ите' 'лять'  // роб|лю  роб|иш  роб|ить   роб|имо   роб|ите   роб|лять
+            'їш' 'їть' 'їмо' 'їте' 'ять'        // сто|їш  сто|їть сто|їмо   сто|їте   сто|ять
+            'ать'                               // бач|ать
+              (delete)
+        )
+    )
+
+    define noun as (
+        [substring] among (
+            // 'а' 'ев' 'ов' 'іе' '{'}е' 'е'
+            // 'іямі' 'ямі' 'амі' 'еі' 'іі'
+            // 'і' 'іей' 'ей' 'ой' 'ій' 'й'
+            // 'іям' 'ям' 'іем' 'ем' 'ам' 'ом'
+            // 'о' 'у' 'ах' 'іях' 'ях' 'и' '{'}'
+            // 'ію' '{'}ю' 'ю' 'ія' '{'}я' 'я'
+            //     (delete)
+            /* the small class of neuter forms 'ені' 'енем'
+               'ена' 'ен' 'енам' 'енамі' 'ена{x}'
+               omitted - they only occur on 12 words.
+            */
+
+            'а' 'и' 'і' 'у' 'ою' 'о' // вод|а       вод|и     вод|і   вод|у   вод|ою  вод|о
+            'ам' 'ами' 'ах'          // вод|ам      вод|ами   вод|ах
+            'я' 'ю' 'ею' 'е'         // пісн|я      пісн|ю    пісн|ею пісн|е
+            'ям' 'ями' 'ях'          // пісн|ям     пісн|ями  пісн|ях
+            'ові' 'ом'               // батьк|ові   батьк|ом
+            'ець' 'ем'               // олів|ець    олівц|ем
+            'ень'                    // зел|ень
+            'ій'                     // ген|ій
+            'й'                      // сара|й
+            'ой'                     // гер|ой
+            'ь'                      // совіст|ь
+            'ію' 'ії'                // комед|ію    комед|ії
+              (delete)
+        )
+    )
 
     // define derivational as (
     //     [substring] R2 among (
@@ -208,16 +298,47 @@ define stem as (
     do mark_regions
     backwards setlimit tomark pV for (
         do (
-             adjectival
-             // perfective_gerund or
-             // ( try reflexive
-             //   adjectival or verb or noun
-             // )
+             // TEST:
+             // reflexive
+             // verb
+             // noun
+
+             perfective_gerund or
+             ( try reflexive
+                adjectival or verb or noun
+             )
         )
-        // try([ 'і' ] delete)
+        try([ 'і' ] delete)
         // because noun ending -iю is being treated as verb ending -ю
 
         // do derivational
         // do tidy_up
     )
 )
+
+
+// ToDo:
+// 1. Ґ => Г
+//     do repeat ( goto (['ґ]) <- 'г' )                                      // угнетённый => угнетен
+// 2. Видалити всі типи Апострофів 'ʼ`
+
+// 3. Додатково перевірити слова:
+// брати
+// беруть
+
+// дописати
+// допишуть
+
+// посиденьки
+
+// лікар
+// лікарів
+
+// ----- прислівники? - куди попаде?
+// добре - добро
+// часто - частіший
+// довго - довгий
+// чисто - чистіший
+
+// робитимуть - ?
+// робитим

explanations/ukrainian.sbl.utf

@@ -415,7 +415,7 @@ static int slice_check(struct SN_env * z) {
         z->p == NULL ||
         z->l > SIZE(z->p)) /* this line could be removed */
     {
-#if 0
+#if 1
         fprintf(stderr, "faulty slice operation:\n");
         debug(z, -1, 0);
 #endif
@@ -490,7 +490,7 @@ extern int len_utf8(const symbol * p) {
     return len;
 }
 
-#if 0
+#if 1
 extern void debug(struct SN_env * z, int number, int line_count) {
     int i;
     int limit = SIZE(z->p);

runtime/utilities.c

@@ -31,7 +31,7 @@
   'ющ щ'    => %w[сталкива|ющихся спеша|щих
                   умоля|ющими     блестя|щему],
 
-  'ивш ывш' => %w[брод|ивших      несб|ывшееся],
+  'ивш ывш' => %w[брод|ивших      несб|ывшееся], # несб|ывш(ее(ся))
   'ующ'     => %w[несуществ|ующий]
 }