LCOV - code coverage report
Current view: top level - src/backend/snowball/libstemmer - utilities.c (source / functions) Hit Total Coverage
Test: PostgreSQL 13devel Lines: 170 291 58.4 %
Date: 2019-11-13 22:07:24 Functions: 16 30 53.3 %
Legend: Lines: hit not hit

          Line data    Source code
       1             : #include "header.h"
       2             : 
       3             : #define CREATE_SIZE 1
       4             : 
       5          26 : extern symbol * create_s(void) {
       6             :     symbol * p;
       7          26 :     void * mem = malloc(HEAD + (CREATE_SIZE + 1) * sizeof(symbol));
       8          26 :     if (mem == NULL) return NULL;
       9          26 :     p = (symbol *) (HEAD + (char *) mem);
      10          26 :     CAPACITY(p) = CREATE_SIZE;
      11          26 :     SET_SIZE(p, 0);
      12          26 :     return p;
      13             : }
      14             : 
      15           0 : extern void lose_s(symbol * p) {
      16           0 :     if (p == NULL) return;
      17           0 :     free((char *) p - HEAD);
      18             : }
      19             : 
      20             : /*
      21             :    new_p = skip_utf8(p, c, lb, l, n); skips n characters forwards from p + c
      22             :    if n +ve, or n characters backwards from p + c - 1 if n -ve. new_p is the new
      23             :    position, or -1 on failure.
      24             : 
      25             :    -- used to implement hop and next in the utf8 case.
      26             : */
      27             : 
      28       23942 : extern int skip_utf8(const symbol * p, int c, int lb, int l, int n) {
      29             :     int b;
      30       23942 :     if (n >= 0) {
      31       50884 :         for (; n > 0; n--) {
      32       31104 :             if (c >= l) return -1;
      33       27108 :             b = p[c++];
      34       27108 :             if (b >= 0xC0) {   /* 1100 0000 */
      35           0 :                 while (c < l) {
      36           0 :                     b = p[c];
      37           0 :                     if (b >= 0xC0 || b < 0x80) break;
      38             :                     /* break unless b is 10------ */
      39           0 :                     c++;
      40             :                 }
      41             :             }
      42             :         }
      43             :     } else {
      44         332 :         for (; n < 0; n++) {
      45         166 :             if (c <= lb) return -1;
      46         166 :             b = p[--c];
      47         166 :             if (b >= 0x80) {   /* 1000 0000 */
      48           0 :                 while (c > lb) {
      49           0 :                     b = p[c];
      50           0 :                     if (b >= 0xC0) break; /* 1100 0000 */
      51           0 :                     c--;
      52             :                 }
      53             :             }
      54             :         }
      55             :     }
      56       19946 :     return c;
      57             : }
      58             : 
      59             : /* Code for character groupings: utf8 cases */
      60             : 
      61       36244 : static int get_utf8(const symbol * p, int c, int l, int * slot) {
      62             :     int b0, b1, b2;
      63       36244 :     if (c >= l) return 0;
      64       30492 :     b0 = p[c++];
      65       30492 :     if (b0 < 0xC0 || c == l) {   /* 1100 0000 */
      66       30492 :         *slot = b0;
      67       30492 :         return 1;
      68             :     }
      69           0 :     b1 = p[c++] & 0x3F;
      70           0 :     if (b0 < 0xE0 || c == l) {   /* 1110 0000 */
      71           0 :         *slot = (b0 & 0x1F) << 6 | b1;
      72           0 :         return 2;
      73             :     }
      74           0 :     b2 = p[c++] & 0x3F;
      75           0 :     if (b0 < 0xF0 || c == l) {   /* 1111 0000 */
      76           0 :         *slot = (b0 & 0xF) << 12 | b1 << 6 | b2;
      77           0 :         return 3;
      78             :     }
      79           0 :     *slot = (b0 & 0xE) << 18 | b1 << 12 | b2 << 6 | (p[c] & 0x3F);
      80           0 :     return 4;
      81             : }
      82             : 
      83        2352 : static int get_b_utf8(const symbol * p, int c, int lb, int * slot) {
      84             :     int a, b;
      85        2352 :     if (c <= lb) return 0;
      86        2274 :     b = p[--c];
      87        2274 :     if (b < 0x80 || c == lb) {   /* 1000 0000 */
      88        2274 :         *slot = b;
      89        2274 :         return 1;
      90             :     }
      91           0 :     a = b & 0x3F;
      92           0 :     b = p[--c];
      93           0 :     if (b >= 0xC0 || c == lb) {   /* 1100 0000 */
      94           0 :         *slot = (b & 0x1F) << 6 | a;
      95           0 :         return 2;
      96             :     }
      97           0 :     a |= (b & 0x3F) << 6;
      98           0 :     b = p[--c];
      99           0 :     if (b >= 0xE0 || c == lb) {   /* 1110 0000 */
     100           0 :         *slot = (b & 0xF) << 12 | a;
     101           0 :         return 3;
     102             :     }
     103           0 :     *slot = (p[--c] & 0xE) << 18 | (b & 0x3F) << 12 | a;
     104           0 :     return 4;
     105             : }
     106             : 
     107       24560 : extern int in_grouping_U(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     108             :     do {
     109             :     int ch;
     110       24560 :     int w = get_utf8(z->p, z->c, z->l, & ch);
     111       42118 :     if (!w) return -1;
     112       20450 :     if (ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0)
     113       13448 :         return w;
     114        7002 :     z->c += w;
     115        7002 :     } while (repeat);
     116        6048 :     return 0;
     117             : }
     118             : 
     119         496 : extern int in_grouping_b_U(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     120             :     do {
     121             :     int ch;
     122         496 :     int w = get_b_utf8(z->p, z->c, z->lb, & ch);
     123         720 :     if (!w) return -1;
     124         496 :     if (ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0)
     125         224 :         return w;
     126         272 :     z->c -= w;
     127         272 :     } while (repeat);
     128         272 :     return 0;
     129             : }
     130             : 
     131       11684 : extern int out_grouping_U(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     132             :     do {
     133             :     int ch;
     134       11684 :     int w = get_utf8(z->p, z->c, z->l, & ch);
     135       17696 :     if (!w) return -1;
     136       10042 :     if (!(ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0))
     137        4370 :         return w;
     138        5672 :     z->c += w;
     139        5672 :     } while (repeat);
     140           0 :     return 0;
     141             : }
     142             : 
     143        1856 : extern int out_grouping_b_U(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     144             :     do {
     145             :     int ch;
     146        1856 :     int w = get_b_utf8(z->p, z->c, z->lb, & ch);
     147        2528 :     if (!w) return -1;
     148        1778 :     if (!(ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0))
     149         594 :         return w;
     150        1184 :     z->c -= w;
     151        1184 :     } while (repeat);
     152         728 :     return 0;
     153             : }
     154             : 
     155             : /* Code for character groupings: non-utf8 cases */
     156             : 
     157           0 : extern int in_grouping(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     158             :     do {
     159             :     int ch;
     160           0 :     if (z->c >= z->l) return -1;
     161           0 :     ch = z->p[z->c];
     162           0 :     if (ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0)
     163           0 :         return 1;
     164           0 :     z->c++;
     165           0 :     } while (repeat);
     166           0 :     return 0;
     167             : }
     168             : 
     169           0 : extern int in_grouping_b(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     170             :     do {
     171             :     int ch;
     172           0 :     if (z->c <= z->lb) return -1;
     173           0 :     ch = z->p[z->c - 1];
     174           0 :     if (ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0)
     175           0 :         return 1;
     176           0 :     z->c--;
     177           0 :     } while (repeat);
     178           0 :     return 0;
     179             : }
     180             : 
     181           0 : extern int out_grouping(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     182             :     do {
     183             :     int ch;
     184           0 :     if (z->c >= z->l) return -1;
     185           0 :     ch = z->p[z->c];
     186           0 :     if (!(ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0))
     187           0 :         return 1;
     188           0 :     z->c++;
     189           0 :     } while (repeat);
     190           0 :     return 0;
     191             : }
     192             : 
     193           0 : extern int out_grouping_b(struct SN_env * z, const unsigned char * s, int min, int max, int repeat) {
     194             :     do {
     195             :     int ch;
     196           0 :     if (z->c <= z->lb) return -1;
     197           0 :     ch = z->p[z->c - 1];
     198           0 :     if (!(ch > max || (ch -= min) < 0 || (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0))
     199           0 :         return 1;
     200           0 :     z->c--;
     201           0 :     } while (repeat);
     202           0 :     return 0;
     203             : }
     204             : 
     205           0 : extern int eq_s(struct SN_env * z, int s_size, const symbol * s) {
     206           0 :     if (z->l - z->c < s_size || memcmp(z->p + z->c, s, s_size * sizeof(symbol)) != 0) return 0;
     207           0 :     z->c += s_size; return 1;
     208             : }
     209             : 
     210           0 : extern int eq_s_b(struct SN_env * z, int s_size, const symbol * s) {
     211           0 :     if (z->c - z->lb < s_size || memcmp(z->p + z->c - s_size, s, s_size * sizeof(symbol)) != 0) return 0;
     212           0 :     z->c -= s_size; return 1;
     213             : }
     214             : 
     215           0 : extern int eq_v(struct SN_env * z, const symbol * p) {
     216           0 :     return eq_s(z, SIZE(p), p);
     217             : }
     218             : 
     219           0 : extern int eq_v_b(struct SN_env * z, const symbol * p) {
     220           0 :     return eq_s_b(z, SIZE(p), p);
     221             : }
     222             : 
     223        2044 : extern int find_among(struct SN_env * z, const struct among * v, int v_size) {
     224             : 
     225        2044 :     int i = 0;
     226        2044 :     int j = v_size;
     227             : 
     228        2044 :     int c = z->c; int l = z->l;
     229        2044 :     symbol * q = z->p + c;
     230             : 
     231             :     const struct among * w;
     232             : 
     233        2044 :     int common_i = 0;
     234        2044 :     int common_j = 0;
     235             : 
     236        2044 :     int first_key_inspected = 0;
     237             : 
     238        5440 :     while(1) {
     239        7484 :         int k = i + ((j - i) >> 1);
     240        7484 :         int diff = 0;
     241        7484 :         int common = common_i < common_j ? common_i : common_j; /* smaller */
     242        7484 :         w = v + k;
     243             :         {
     244        9546 :             int i2; for (i2 = common; i2 < w->s_size; i2++) {
     245        9522 :                 if (c + common == l) { diff = -1; break; }
     246        9474 :                 diff = q[common] - w->s[i2];
     247        9474 :                 if (diff != 0) break;
     248        2062 :                 common++;
     249             :             }
     250             :         }
     251        7484 :         if (diff < 0) {
     252        3556 :             j = k;
     253        3556 :             common_j = common;
     254             :         } else {
     255        3928 :             i = k;
     256        3928 :             common_i = common;
     257             :         }
     258        7484 :         if (j - i <= 1) {
     259        2240 :             if (i > 0) break; /* v->s has been inspected */
     260         392 :             if (j == i) break; /* only one item in v */
     261             : 
     262             :             /* - but now we need to go round once more to get
     263             :                v->s inspected. This looks messy, but is actually
     264             :                the optimal approach.  */
     265             : 
     266         288 :             if (first_key_inspected) break;
     267         196 :             first_key_inspected = 1;
     268             :         }
     269             :     }
     270             :     while(1) {
     271        2044 :         w = v + i;
     272        2044 :         if (common_i >= w->s_size) {
     273          24 :             z->c = c + w->s_size;
     274          24 :             if (w->function == 0) return w->result;
     275             :             {
     276           0 :                 int res = w->function(z);
     277           0 :                 z->c = c + w->s_size;
     278           0 :                 if (res) return w->result;
     279             :             }
     280             :         }
     281        2020 :         i = w->substring_i;
     282        2020 :         if (i < 0) return 0;
     283             :     }
     284             : }
     285             : 
     286             : /* find_among_b is for backwards processing. Same comments apply */
     287             : 
     288        5880 : extern int find_among_b(struct SN_env * z, const struct among * v, int v_size) {
     289             : 
     290        5880 :     int i = 0;
     291        5880 :     int j = v_size;
     292             : 
     293        5880 :     int c = z->c; int lb = z->lb;
     294        5880 :     symbol * q = z->p + c - 1;
     295             : 
     296             :     const struct among * w;
     297             : 
     298        5880 :     int common_i = 0;
     299        5880 :     int common_j = 0;
     300             : 
     301        5880 :     int first_key_inspected = 0;
     302             : 
     303       15380 :     while(1) {
     304       21260 :         int k = i + ((j - i) >> 1);
     305       21260 :         int diff = 0;
     306       21260 :         int common = common_i < common_j ? common_i : common_j;
     307       21260 :         w = v + k;
     308             :         {
     309       33870 :             int i2; for (i2 = w->s_size - 1 - common; i2 >= 0; i2--) {
     310       32674 :                 if (c - common == lb) { diff = -1; break; }
     311       32650 :                 diff = q[- common] - w->s[i2];
     312       32650 :                 if (diff != 0) break;
     313       12610 :                 common++;
     314             :             }
     315             :         }
     316       21260 :         if (diff < 0) { j = k; common_j = common; }
     317       10122 :                  else { i = k; common_i = common; }
     318       21260 :         if (j - i <= 1) {
     319        7296 :             if (i > 0) break;
     320        2832 :             if (j == i) break;
     321        2208 :             if (first_key_inspected) break;
     322        1416 :             first_key_inspected = 1;
     323             :         }
     324             :     }
     325             :     while(1) {
     326        8896 :         w = v + i;
     327        7388 :         if (common_i >= w->s_size) {
     328        1538 :             z->c = c - w->s_size;
     329        1538 :             if (w->function == 0) return w->result;
     330             :             {
     331           0 :                 int res = w->function(z);
     332           0 :                 z->c = c - w->s_size;
     333           0 :                 if (res) return w->result;
     334             :             }
     335             :         }
     336        5850 :         i = w->substring_i;
     337        5850 :         if (i < 0) return 0;
     338             :     }
     339             : }
     340             : 
     341             : 
     342             : /* Increase the size of the buffer pointed to by p to at least n symbols.
     343             :  * If insufficient memory, returns NULL and frees the old buffer.
     344             :  */
     345          26 : static symbol * increase_size(symbol * p, int n) {
     346             :     symbol * q;
     347          26 :     int new_size = n + 20;
     348          26 :     void * mem = realloc((char *) p - HEAD,
     349             :                          HEAD + (new_size + 1) * sizeof(symbol));
     350          26 :     if (mem == NULL) {
     351           0 :         lose_s(p);
     352           0 :         return NULL;
     353             :     }
     354          26 :     q = (symbol *) (HEAD + (char *)mem);
     355          26 :     CAPACITY(q) = new_size;
     356          26 :     return q;
     357             : }
     358             : 
     359             : /* to replace symbols between c_bra and c_ket in z->p by the
     360             :    s_size symbols at s.
     361             :    Returns 0 on success, -1 on error.
     362             :    Also, frees z->p (and sets it to NULL) on error.
     363             : */
     364        5170 : extern int replace_s(struct SN_env * z, int c_bra, int c_ket, int s_size, const symbol * s, int * adjptr)
     365             : {
     366             :     int adjustment;
     367             :     int len;
     368        5170 :     if (z->p == NULL) {
     369           0 :         z->p = create_s();
     370           0 :         if (z->p == NULL) return -1;
     371             :     }
     372        5170 :     adjustment = s_size - (c_ket - c_bra);
     373        5170 :     len = SIZE(z->p);
     374        5170 :     if (adjustment != 0) {
     375        2654 :         if (adjustment + len > CAPACITY(z->p)) {
     376          26 :             z->p = increase_size(z->p, adjustment + len);
     377          26 :             if (z->p == NULL) return -1;
     378             :         }
     379        7962 :         memmove(z->p + c_ket + adjustment,
     380        5308 :                 z->p + c_ket,
     381        2654 :                 (len - c_ket) * sizeof(symbol));
     382        2654 :         SET_SIZE(z->p, adjustment + len);
     383        2654 :         z->l += adjustment;
     384        2654 :         if (z->c >= c_ket)
     385          74 :             z->c += adjustment;
     386        2580 :         else if (z->c > c_bra)
     387           0 :             z->c = c_bra;
     388             :     }
     389        5170 :     if (s_size) memmove(z->p + c_bra, s, s_size * sizeof(symbol));
     390        5170 :     if (adjptr != NULL)
     391           4 :         *adjptr = adjustment;
     392        5170 :     return 0;
     393             : }
     394             : 
     395        1390 : static int slice_check(struct SN_env * z) {
     396             : 
     397        2780 :     if (z->bra < 0 ||
     398        2780 :         z->bra > z->ket ||
     399        2780 :         z->ket > z->l ||
     400        2780 :         z->p == NULL ||
     401        1390 :         z->l > SIZE(z->p)) /* this line could be removed */
     402             :     {
     403             : #if 0
     404             :         fprintf(stderr, "faulty slice operation:\n");
     405             :         debug(z, -1, 0);
     406             : #endif
     407           0 :         return -1;
     408             :     }
     409        1390 :     return 0;
     410             : }
     411             : 
     412        1390 : extern int slice_from_s(struct SN_env * z, int s_size, const symbol * s) {
     413        1390 :     if (slice_check(z)) return -1;
     414        1390 :     return replace_s(z, z->bra, z->ket, s_size, s, NULL);
     415             : }
     416             : 
     417           0 : extern int slice_from_v(struct SN_env * z, const symbol * p) {
     418           0 :     return slice_from_s(z, SIZE(p), p);
     419             : }
     420             : 
     421         650 : extern int slice_del(struct SN_env * z) {
     422         650 :     return slice_from_s(z, 0, 0);
     423             : }
     424             : 
     425           4 : extern int insert_s(struct SN_env * z, int bra, int ket, int s_size, const symbol * s) {
     426             :     int adjustment;
     427           4 :     if (replace_s(z, bra, ket, s_size, s, &adjustment))
     428           0 :         return -1;
     429           4 :     if (bra <= z->bra) z->bra += adjustment;
     430           4 :     if (bra <= z->ket) z->ket += adjustment;
     431           4 :     return 0;
     432             : }
     433             : 
     434           0 : extern int insert_v(struct SN_env * z, int bra, int ket, const symbol * p) {
     435           0 :     return insert_s(z, bra, ket, SIZE(p), p);
     436             : }
     437             : 
     438           0 : extern symbol * slice_to(struct SN_env * z, symbol * p) {
     439           0 :     if (slice_check(z)) {
     440           0 :         lose_s(p);
     441           0 :         return NULL;
     442             :     }
     443             :     {
     444           0 :         int len = z->ket - z->bra;
     445           0 :         if (CAPACITY(p) < len) {
     446           0 :             p = increase_size(p, len);
     447           0 :             if (p == NULL)
     448           0 :                 return NULL;
     449             :         }
     450           0 :         memmove(p, z->p + z->bra, len * sizeof(symbol));
     451           0 :         SET_SIZE(p, len);
     452             :     }
     453           0 :     return p;
     454             : }
     455             : 
     456           0 : extern symbol * assign_to(struct SN_env * z, symbol * p) {
     457           0 :     int len = z->l;
     458           0 :     if (CAPACITY(p) < len) {
     459           0 :         p = increase_size(p, len);
     460           0 :         if (p == NULL)
     461           0 :             return NULL;
     462             :     }
     463           0 :     memmove(p, z->p, len * sizeof(symbol));
     464           0 :     SET_SIZE(p, len);
     465           0 :     return p;
     466             : }
     467             : 
     468           0 : extern int len_utf8(const symbol * p) {
     469           0 :     int size = SIZE(p);
     470           0 :     int len = 0;
     471           0 :     while (size--) {
     472           0 :         symbol b = *p++;
     473           0 :         if (b >= 0xC0 || b < 0x80) ++len;
     474             :     }
     475           0 :     return len;
     476             : }
     477             : 
     478             : #if 0
     479             : extern void debug(struct SN_env * z, int number, int line_count) {
     480             :     int i;
     481             :     int limit = SIZE(z->p);
     482             :     /*if (number >= 0) printf("%3d (line %4d): '", number, line_count);*/
     483             :     if (number >= 0) printf("%3d (line %4d): [%d]'", number, line_count,limit);
     484             :     for (i = 0; i <= limit; i++) {
     485             :         if (z->lb == i) printf("{");
     486             :         if (z->bra == i) printf("[");
     487             :         if (z->c == i) printf("|");
     488             :         if (z->ket == i) printf("]");
     489             :         if (z->l == i) printf("}");
     490             :         if (i < limit)
     491             :         {   int ch = z->p[i];
     492             :             if (ch == 0) ch = '#';
     493             :             printf("%c", ch);
     494             :         }
     495             :     }
     496             :     printf("'\n");
     497             : }
     498             : #endif

Generated by: LCOV version 1.13