LCOV - code coverage report
Current view: top level - src/backend/tsearch - to_tsany.c (source / functions) Coverage Total Hit
Test: PostgreSQL 20devel Lines: 96.5 % 284 274
Test Date: 2026-07-25 22:15:46 Functions: 92.3 % 26 24
Legend: Lines:     hit not hit
Branches: + taken - not taken # not executed
Branches: 75.4 % 114 86

             Branch data     Line data    Source code
       1                 :             : /*-------------------------------------------------------------------------
       2                 :             :  *
       3                 :             :  * to_tsany.c
       4                 :             :  *      to_ts* function definitions
       5                 :             :  *
       6                 :             :  * Portions Copyright (c) 1996-2026, PostgreSQL Global Development Group
       7                 :             :  *
       8                 :             :  *
       9                 :             :  * IDENTIFICATION
      10                 :             :  *    src/backend/tsearch/to_tsany.c
      11                 :             :  *
      12                 :             :  *-------------------------------------------------------------------------
      13                 :             :  */
      14                 :             : #include "postgres.h"
      15                 :             : 
      16                 :             : #include "tsearch/ts_cache.h"
      17                 :             : #include "tsearch/ts_utils.h"
      18                 :             : #include "utils/builtins.h"
      19                 :             : #include "utils/jsonfuncs.h"
      20                 :             : 
      21                 :             : 
      22                 :             : /*
      23                 :             :  * Opaque data structure, which is passed by parse_tsquery() to pushval_morph().
      24                 :             :  */
      25                 :             : typedef struct MorphOpaque
      26                 :             : {
      27                 :             :     Oid         cfg_id;
      28                 :             : 
      29                 :             :     /*
      30                 :             :      * Single tsquery morph could be parsed into multiple words.  When these
      31                 :             :      * words reside in adjacent positions, they are connected using this
      32                 :             :      * operator.  Usually, that is OP_PHRASE, which requires word positions of
      33                 :             :      * a complex morph to exactly match the tsvector.
      34                 :             :      */
      35                 :             :     int         qoperator;
      36                 :             : } MorphOpaque;
      37                 :             : 
      38                 :             : typedef struct TSVectorBuildState
      39                 :             : {
      40                 :             :     ParsedText *prs;
      41                 :             :     Oid         cfgId;
      42                 :             : } TSVectorBuildState;
      43                 :             : 
      44                 :             : static void add_to_tsvector(void *_state, char *elem_value, int elem_len);
      45                 :             : 
      46                 :             : 
      47                 :             : Datum
      48                 :           0 : get_current_ts_config(PG_FUNCTION_ARGS)
      49                 :             : {
      50                 :           0 :     PG_RETURN_OID(getTSCurrentConfig(true));
      51                 :             : }
      52                 :             : 
      53                 :             : /*
      54                 :             :  * to_tsvector
      55                 :             :  */
      56                 :             : static int
      57                 :       10325 : compareWORD(const void *a, const void *b)
      58                 :             : {
      59                 :             :     int         res;
      60                 :             : 
      61                 :       10325 :     res = tsCompareString(((const ParsedWord *) a)->word, ((const ParsedWord *) a)->len,
      62                 :       10325 :                           ((const ParsedWord *) b)->word, ((const ParsedWord *) b)->len,
      63                 :             :                           false);
      64                 :             : 
      65         [ +  + ]:       10325 :     if (res == 0)
      66                 :             :     {
      67         [ +  + ]:         875 :         if (((const ParsedWord *) a)->pos.pos == ((const ParsedWord *) b)->pos.pos)
      68                 :          20 :             return 0;
      69                 :             : 
      70         [ +  + ]:         855 :         res = (((const ParsedWord *) a)->pos.pos > ((const ParsedWord *) b)->pos.pos) ? 1 : -1;
      71                 :             :     }
      72                 :             : 
      73                 :       10305 :     return res;
      74                 :             : }
      75                 :             : 
      76                 :             : static int
      77                 :         579 : uniqueWORD(ParsedWord *a, int32 l)
      78                 :             : {
      79                 :             :     ParsedWord *ptr,
      80                 :             :                *res;
      81                 :             :     int         tmppos;
      82                 :             : 
      83         [ +  + ]:         579 :     if (l == 1)
      84                 :             :     {
      85                 :          48 :         tmppos = LIMITPOS(a->pos.pos);
      86                 :          48 :         a->alen = 2;
      87                 :          48 :         a->pos.apos = palloc_array(uint16, a->alen);
      88                 :          48 :         a->pos.apos[0] = 1;
      89                 :          48 :         a->pos.apos[1] = tmppos;
      90                 :          48 :         return l;
      91                 :             :     }
      92                 :             : 
      93                 :         531 :     res = a;
      94                 :         531 :     ptr = a + 1;
      95                 :             : 
      96                 :             :     /*
      97                 :             :      * Sort words with its positions
      98                 :             :      */
      99                 :         531 :     qsort(a, l, sizeof(ParsedWord), compareWORD);
     100                 :             : 
     101                 :             :     /*
     102                 :             :      * Initialize first word and its first position
     103                 :             :      */
     104                 :         531 :     tmppos = LIMITPOS(a->pos.pos);
     105                 :         531 :     a->alen = 2;
     106                 :         531 :     a->pos.apos = palloc_array(uint16, a->alen);
     107                 :         531 :     a->pos.apos[0] = 1;
     108                 :         531 :     a->pos.apos[1] = tmppos;
     109                 :             : 
     110                 :             :     /*
     111                 :             :      * Summarize position information for each word
     112                 :             :      */
     113         [ +  + ]:        3455 :     while (ptr - a < l)
     114                 :             :     {
     115         [ +  + ]:        2924 :         if (!(ptr->len == res->len &&
     116         [ +  + ]:        1673 :               strncmp(ptr->word, res->word, res->len) == 0))
     117                 :             :         {
     118                 :             :             /*
     119                 :             :              * Got a new word, so put it in result
     120                 :             :              */
     121                 :        2379 :             res++;
     122                 :        2379 :             res->len = ptr->len;
     123                 :        2379 :             res->word = ptr->word;
     124                 :        2379 :             tmppos = LIMITPOS(ptr->pos.pos);
     125                 :        2379 :             res->alen = 2;
     126                 :        2379 :             res->pos.apos = palloc_array(uint16, res->alen);
     127                 :        2379 :             res->pos.apos[0] = 1;
     128                 :        2379 :             res->pos.apos[1] = tmppos;
     129                 :             :         }
     130                 :             :         else
     131                 :             :         {
     132                 :             :             /*
     133                 :             :              * The word already exists, so adjust position information. But
     134                 :             :              * before we should check size of position's array, max allowed
     135                 :             :              * value for position and uniqueness of position
     136                 :             :              */
     137                 :         545 :             pfree(ptr->word);
     138   [ +  -  +  - ]:         545 :             if (res->pos.apos[0] < MAXNUMPOS - 1 && res->pos.apos[res->pos.apos[0]] != MAXENTRYPOS - 1 &&
     139         [ +  + ]:         545 :                 res->pos.apos[res->pos.apos[0]] != LIMITPOS(ptr->pos.pos))
     140                 :             :             {
     141         [ +  + ]:         525 :                 if (res->pos.apos[0] + 1 >= res->alen)
     142                 :             :                 {
     143                 :         420 :                     res->alen *= 2;
     144                 :         420 :                     res->pos.apos = repalloc_array(res->pos.apos, uint16, res->alen);
     145                 :             :                 }
     146   [ +  -  +  - ]:         525 :                 if (res->pos.apos[0] == 0 || res->pos.apos[res->pos.apos[0]] != LIMITPOS(ptr->pos.pos))
     147                 :             :                 {
     148                 :         525 :                     res->pos.apos[res->pos.apos[0] + 1] = LIMITPOS(ptr->pos.pos);
     149                 :         525 :                     res->pos.apos[0]++;
     150                 :             :                 }
     151                 :             :             }
     152                 :             :         }
     153                 :        2924 :         ptr++;
     154                 :             :     }
     155                 :             : 
     156                 :         531 :     return res + 1 - a;
     157                 :             : }
     158                 :             : 
     159                 :             : /*
     160                 :             :  * make value of tsvector, given parsed text
     161                 :             :  *
     162                 :             :  * Note: frees prs->words and subsidiary data.
     163                 :             :  */
     164                 :             : TSVector
     165                 :         662 : make_tsvector(ParsedText *prs)
     166                 :             : {
     167                 :             :     int         i,
     168                 :             :                 j,
     169                 :         662 :                 lenstr = 0,
     170                 :             :                 totallen;
     171                 :             :     TSVector    in;
     172                 :             :     WordEntry  *ptr;
     173                 :             :     char       *str;
     174                 :             :     int         stroff;
     175                 :             : 
     176                 :             :     /* Merge duplicate words */
     177         [ +  + ]:         662 :     if (prs->curwords > 0)
     178                 :         579 :         prs->curwords = uniqueWORD(prs->words, prs->curwords);
     179                 :             : 
     180                 :             :     /* Determine space needed */
     181         [ +  + ]:        3620 :     for (i = 0; i < prs->curwords; i++)
     182                 :             :     {
     183                 :        2958 :         lenstr += prs->words[i].len;
     184         [ +  - ]:        2958 :         if (prs->words[i].alen)
     185                 :             :         {
     186                 :        2958 :             lenstr = SHORTALIGN(lenstr);
     187                 :        2958 :             lenstr += sizeof(uint16) + prs->words[i].pos.apos[0] * sizeof(WordEntryPos);
     188                 :             :         }
     189                 :             :     }
     190                 :             : 
     191         [ -  + ]:         662 :     if (lenstr > MAXSTRPOS)
     192         [ #  # ]:           0 :         ereport(ERROR,
     193                 :             :                 (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
     194                 :             :                  errmsg("string is too long for tsvector (%d bytes, max %d bytes)", lenstr, MAXSTRPOS)));
     195                 :             : 
     196                 :         662 :     totallen = CALCDATASIZE(prs->curwords, lenstr);
     197                 :         662 :     in = (TSVector) palloc0(totallen);
     198                 :         662 :     SET_VARSIZE(in, totallen);
     199                 :         662 :     in->size = prs->curwords;
     200                 :             : 
     201                 :         662 :     ptr = ARRPTR(in);
     202                 :         662 :     str = STRPTR(in);
     203                 :         662 :     stroff = 0;
     204         [ +  + ]:        3620 :     for (i = 0; i < prs->curwords; i++)
     205                 :             :     {
     206                 :        2958 :         ptr->len = prs->words[i].len;
     207                 :        2958 :         ptr->pos = stroff;
     208                 :        2958 :         memcpy(str + stroff, prs->words[i].word, prs->words[i].len);
     209                 :        2958 :         stroff += prs->words[i].len;
     210                 :        2958 :         pfree(prs->words[i].word);
     211         [ +  - ]:        2958 :         if (prs->words[i].alen)
     212                 :             :         {
     213                 :        2958 :             int         k = prs->words[i].pos.apos[0];
     214                 :             :             WordEntryPos *wptr;
     215                 :             : 
     216         [ -  + ]:        2958 :             if (k > 0xFFFF)
     217         [ #  # ]:           0 :                 elog(ERROR, "positions array too long");
     218                 :             : 
     219                 :        2958 :             ptr->haspos = 1;
     220                 :        2958 :             stroff = SHORTALIGN(stroff);
     221                 :        2958 :             *(uint16 *) (str + stroff) = (uint16) k;
     222                 :        2958 :             wptr = POSDATAPTR(in, ptr);
     223         [ +  + ]:        6441 :             for (j = 0; j < k; j++)
     224                 :             :             {
     225                 :        3483 :                 WEP_SETWEIGHT(wptr[j], 0);
     226                 :        3483 :                 WEP_SETPOS(wptr[j], prs->words[i].pos.apos[j + 1]);
     227                 :             :             }
     228                 :        2958 :             stroff += sizeof(uint16) + k * sizeof(WordEntryPos);
     229                 :        2958 :             pfree(prs->words[i].pos.apos);
     230                 :             :         }
     231                 :             :         else
     232                 :           0 :             ptr->haspos = 0;
     233                 :        2958 :         ptr++;
     234                 :             :     }
     235                 :             : 
     236         [ +  + ]:         662 :     if (prs->words)
     237                 :         604 :         pfree(prs->words);
     238                 :             : 
     239                 :         662 :     return in;
     240                 :             : }
     241                 :             : 
     242                 :             : Datum
     243                 :         418 : to_tsvector_byid(PG_FUNCTION_ARGS)
     244                 :             : {
     245                 :         418 :     Oid         cfgId = PG_GETARG_OID(0);
     246                 :         418 :     text       *in = PG_GETARG_TEXT_PP(1);
     247                 :             :     ParsedText  prs;
     248                 :             :     TSVector    out;
     249                 :             : 
     250                 :         418 :     prs.lenwords = VARSIZE_ANY_EXHDR(in) / 6;   /* just estimation of word's
     251                 :             :                                                  * number */
     252         [ +  + ]:         418 :     if (prs.lenwords < 2)
     253                 :         305 :         prs.lenwords = 2;
     254         [ -  + ]:         113 :     else if (prs.lenwords > MaxAllocSize / sizeof(ParsedWord))
     255                 :           0 :         prs.lenwords = MaxAllocSize / sizeof(ParsedWord);
     256                 :         418 :     prs.curwords = 0;
     257                 :         418 :     prs.pos = 0;
     258                 :         418 :     prs.words = palloc_array(ParsedWord, prs.lenwords);
     259                 :             : 
     260                 :         418 :     parsetext(cfgId, &prs, VARDATA_ANY(in), VARSIZE_ANY_EXHDR(in));
     261                 :             : 
     262         [ -  + ]:         418 :     PG_FREE_IF_COPY(in, 1);
     263                 :             : 
     264                 :         418 :     out = make_tsvector(&prs);
     265                 :             : 
     266                 :         418 :     PG_RETURN_TSVECTOR(out);
     267                 :             : }
     268                 :             : 
     269                 :             : Datum
     270                 :          68 : to_tsvector(PG_FUNCTION_ARGS)
     271                 :             : {
     272                 :          68 :     text       *in = PG_GETARG_TEXT_PP(0);
     273                 :             :     Oid         cfgId;
     274                 :             : 
     275                 :          68 :     cfgId = getTSCurrentConfig(true);
     276                 :          68 :     PG_RETURN_DATUM(DirectFunctionCall2(to_tsvector_byid,
     277                 :             :                                         ObjectIdGetDatum(cfgId),
     278                 :             :                                         PointerGetDatum(in)));
     279                 :             : }
     280                 :             : 
     281                 :             : /*
     282                 :             :  * Worker function for jsonb(_string)_to_tsvector(_byid)
     283                 :             :  */
     284                 :             : static TSVector
     285                 :         116 : jsonb_to_tsvector_worker(Oid cfgId, Jsonb *jb, uint32 flags)
     286                 :             : {
     287                 :             :     TSVectorBuildState state;
     288                 :             :     ParsedText  prs;
     289                 :             : 
     290                 :         116 :     prs.words = NULL;
     291                 :         116 :     prs.curwords = 0;
     292                 :         116 :     state.prs = &prs;
     293                 :         116 :     state.cfgId = cfgId;
     294                 :             : 
     295                 :         116 :     iterate_jsonb_values(jb, flags, &state, add_to_tsvector);
     296                 :             : 
     297                 :         116 :     return make_tsvector(&prs);
     298                 :             : }
     299                 :             : 
     300                 :             : Datum
     301                 :          15 : jsonb_string_to_tsvector_byid(PG_FUNCTION_ARGS)
     302                 :             : {
     303                 :          15 :     Oid         cfgId = PG_GETARG_OID(0);
     304                 :          15 :     Jsonb      *jb = PG_GETARG_JSONB_P(1);
     305                 :             :     TSVector    result;
     306                 :             : 
     307                 :          15 :     result = jsonb_to_tsvector_worker(cfgId, jb, jtiString);
     308         [ -  + ]:          15 :     PG_FREE_IF_COPY(jb, 1);
     309                 :             : 
     310                 :          15 :     PG_RETURN_TSVECTOR(result);
     311                 :             : }
     312                 :             : 
     313                 :             : Datum
     314                 :          20 : jsonb_string_to_tsvector(PG_FUNCTION_ARGS)
     315                 :             : {
     316                 :          20 :     Jsonb      *jb = PG_GETARG_JSONB_P(0);
     317                 :             :     Oid         cfgId;
     318                 :             :     TSVector    result;
     319                 :             : 
     320                 :          20 :     cfgId = getTSCurrentConfig(true);
     321                 :          20 :     result = jsonb_to_tsvector_worker(cfgId, jb, jtiString);
     322         [ -  + ]:          20 :     PG_FREE_IF_COPY(jb, 0);
     323                 :             : 
     324                 :          20 :     PG_RETURN_TSVECTOR(result);
     325                 :             : }
     326                 :             : 
     327                 :             : Datum
     328                 :          81 : jsonb_to_tsvector_byid(PG_FUNCTION_ARGS)
     329                 :             : {
     330                 :          81 :     Oid         cfgId = PG_GETARG_OID(0);
     331                 :          81 :     Jsonb      *jb = PG_GETARG_JSONB_P(1);
     332                 :          81 :     Jsonb      *jbFlags = PG_GETARG_JSONB_P(2);
     333                 :             :     TSVector    result;
     334                 :          81 :     uint32      flags = parse_jsonb_index_flags(jbFlags);
     335                 :             : 
     336                 :          65 :     result = jsonb_to_tsvector_worker(cfgId, jb, flags);
     337         [ -  + ]:          65 :     PG_FREE_IF_COPY(jb, 1);
     338         [ -  + ]:          65 :     PG_FREE_IF_COPY(jbFlags, 2);
     339                 :             : 
     340                 :          65 :     PG_RETURN_TSVECTOR(result);
     341                 :             : }
     342                 :             : 
     343                 :             : Datum
     344                 :          16 : jsonb_to_tsvector(PG_FUNCTION_ARGS)
     345                 :             : {
     346                 :          16 :     Jsonb      *jb = PG_GETARG_JSONB_P(0);
     347                 :          16 :     Jsonb      *jbFlags = PG_GETARG_JSONB_P(1);
     348                 :             :     Oid         cfgId;
     349                 :             :     TSVector    result;
     350                 :          16 :     uint32      flags = parse_jsonb_index_flags(jbFlags);
     351                 :             : 
     352                 :          16 :     cfgId = getTSCurrentConfig(true);
     353                 :          16 :     result = jsonb_to_tsvector_worker(cfgId, jb, flags);
     354         [ -  + ]:          16 :     PG_FREE_IF_COPY(jb, 0);
     355         [ -  + ]:          16 :     PG_FREE_IF_COPY(jbFlags, 1);
     356                 :             : 
     357                 :          16 :     PG_RETURN_TSVECTOR(result);
     358                 :             : }
     359                 :             : 
     360                 :             : /*
     361                 :             :  * Worker function for json(_string)_to_tsvector(_byid)
     362                 :             :  */
     363                 :             : static TSVector
     364                 :         116 : json_to_tsvector_worker(Oid cfgId, text *json, uint32 flags)
     365                 :             : {
     366                 :             :     TSVectorBuildState state;
     367                 :             :     ParsedText  prs;
     368                 :             : 
     369                 :         116 :     prs.words = NULL;
     370                 :         116 :     prs.curwords = 0;
     371                 :         116 :     state.prs = &prs;
     372                 :         116 :     state.cfgId = cfgId;
     373                 :             : 
     374                 :         116 :     iterate_json_values(json, flags, &state, add_to_tsvector);
     375                 :             : 
     376                 :         116 :     return make_tsvector(&prs);
     377                 :             : }
     378                 :             : 
     379                 :             : Datum
     380                 :          15 : json_string_to_tsvector_byid(PG_FUNCTION_ARGS)
     381                 :             : {
     382                 :          15 :     Oid         cfgId = PG_GETARG_OID(0);
     383                 :          15 :     text       *json = PG_GETARG_TEXT_P(1);
     384                 :             :     TSVector    result;
     385                 :             : 
     386                 :          15 :     result = json_to_tsvector_worker(cfgId, json, jtiString);
     387         [ -  + ]:          15 :     PG_FREE_IF_COPY(json, 1);
     388                 :             : 
     389                 :          15 :     PG_RETURN_TSVECTOR(result);
     390                 :             : }
     391                 :             : 
     392                 :             : Datum
     393                 :          20 : json_string_to_tsvector(PG_FUNCTION_ARGS)
     394                 :             : {
     395                 :          20 :     text       *json = PG_GETARG_TEXT_P(0);
     396                 :             :     Oid         cfgId;
     397                 :             :     TSVector    result;
     398                 :             : 
     399                 :          20 :     cfgId = getTSCurrentConfig(true);
     400                 :          20 :     result = json_to_tsvector_worker(cfgId, json, jtiString);
     401         [ -  + ]:          20 :     PG_FREE_IF_COPY(json, 0);
     402                 :             : 
     403                 :          20 :     PG_RETURN_TSVECTOR(result);
     404                 :             : }
     405                 :             : 
     406                 :             : Datum
     407                 :          81 : json_to_tsvector_byid(PG_FUNCTION_ARGS)
     408                 :             : {
     409                 :          81 :     Oid         cfgId = PG_GETARG_OID(0);
     410                 :          81 :     text       *json = PG_GETARG_TEXT_P(1);
     411                 :          81 :     Jsonb      *jbFlags = PG_GETARG_JSONB_P(2);
     412                 :             :     TSVector    result;
     413                 :          81 :     uint32      flags = parse_jsonb_index_flags(jbFlags);
     414                 :             : 
     415                 :          65 :     result = json_to_tsvector_worker(cfgId, json, flags);
     416         [ -  + ]:          65 :     PG_FREE_IF_COPY(json, 1);
     417         [ -  + ]:          65 :     PG_FREE_IF_COPY(jbFlags, 2);
     418                 :             : 
     419                 :          65 :     PG_RETURN_TSVECTOR(result);
     420                 :             : }
     421                 :             : 
     422                 :             : Datum
     423                 :          16 : json_to_tsvector(PG_FUNCTION_ARGS)
     424                 :             : {
     425                 :          16 :     text       *json = PG_GETARG_TEXT_P(0);
     426                 :          16 :     Jsonb      *jbFlags = PG_GETARG_JSONB_P(1);
     427                 :             :     Oid         cfgId;
     428                 :             :     TSVector    result;
     429                 :          16 :     uint32      flags = parse_jsonb_index_flags(jbFlags);
     430                 :             : 
     431                 :          16 :     cfgId = getTSCurrentConfig(true);
     432                 :          16 :     result = json_to_tsvector_worker(cfgId, json, flags);
     433         [ -  + ]:          16 :     PG_FREE_IF_COPY(json, 0);
     434         [ -  + ]:          16 :     PG_FREE_IF_COPY(jbFlags, 1);
     435                 :             : 
     436                 :          16 :     PG_RETURN_TSVECTOR(result);
     437                 :             : }
     438                 :             : 
     439                 :             : /*
     440                 :             :  * Parse lexemes in an element of a json(b) value, add to TSVectorBuildState.
     441                 :             :  */
     442                 :             : static void
     443                 :         610 : add_to_tsvector(void *_state, char *elem_value, int elem_len)
     444                 :             : {
     445                 :         610 :     TSVectorBuildState *state = (TSVectorBuildState *) _state;
     446                 :         610 :     ParsedText *prs = state->prs;
     447                 :             :     int32       prevwords;
     448                 :             : 
     449         [ +  + ]:         610 :     if (prs->words == NULL)
     450                 :             :     {
     451                 :             :         /*
     452                 :             :          * First time through: initialize words array to a reasonable size.
     453                 :             :          * (parsetext() will realloc it bigger as needed.)
     454                 :             :          */
     455                 :         174 :         prs->lenwords = 16;
     456                 :         174 :         prs->words = palloc_array(ParsedWord, prs->lenwords);
     457                 :         174 :         prs->curwords = 0;
     458                 :         174 :         prs->pos = 0;
     459                 :             :     }
     460                 :             : 
     461                 :         610 :     prevwords = prs->curwords;
     462                 :             : 
     463                 :         610 :     parsetext(state->cfgId, prs, elem_value, elem_len);
     464                 :             : 
     465                 :             :     /*
     466                 :             :      * If we extracted any words from this JSON element, advance pos to create
     467                 :             :      * an artificial break between elements.  This is because we don't want
     468                 :             :      * phrase searches to think that the last word in this element is adjacent
     469                 :             :      * to the first word in the next one.
     470                 :             :      */
     471         [ +  + ]:         610 :     if (prs->curwords > prevwords)
     472                 :         554 :         prs->pos += 1;
     473                 :         610 : }
     474                 :             : 
     475                 :             : 
     476                 :             : /*
     477                 :             :  * to_tsquery
     478                 :             :  */
     479                 :             : 
     480                 :             : 
     481                 :             : /*
     482                 :             :  * This function is used for morph parsing.
     483                 :             :  *
     484                 :             :  * The value is passed to parsetext which will call the right dictionary to
     485                 :             :  * lexize the word. If it turns out to be a stopword, we push a QI_VALSTOP
     486                 :             :  * to the stack.
     487                 :             :  *
     488                 :             :  * All words belonging to the same variant are pushed as an ANDed list,
     489                 :             :  * and different variants are ORed together.
     490                 :             :  */
     491                 :             : static void
     492                 :        2545 : pushval_morph(void *opaque, TSQueryParserState state, char *strval, int lenval, int16 weight, bool prefix)
     493                 :             : {
     494                 :        2545 :     int32       count = 0;
     495                 :             :     ParsedText  prs;
     496                 :             :     uint32      variant,
     497                 :        2545 :                 pos = 0,
     498                 :        2545 :                 cntvar = 0,
     499                 :        2545 :                 cntpos = 0,
     500                 :        2545 :                 cnt = 0;
     501                 :        2545 :     MorphOpaque *data = opaque;
     502                 :             : 
     503                 :        2545 :     prs.lenwords = 4;
     504                 :        2545 :     prs.curwords = 0;
     505                 :        2545 :     prs.pos = 0;
     506                 :        2545 :     prs.words = palloc_array(ParsedWord, prs.lenwords);
     507                 :             : 
     508                 :        2545 :     parsetext(data->cfg_id, &prs, strval, lenval);
     509                 :             : 
     510         [ +  + ]:        2545 :     if (prs.curwords > 0)
     511                 :             :     {
     512         [ +  + ]:        4401 :         while (count < prs.curwords)
     513                 :             :         {
     514                 :             :             /*
     515                 :             :              * Were any stop words removed? If so, fill empty positions with
     516                 :             :              * placeholders linked by an appropriate operator.
     517                 :             :              */
     518   [ +  +  +  + ]:        2367 :             if (pos > 0 && pos + 1 < prs.words[count].pos.pos)
     519                 :             :             {
     520         [ +  + ]:          63 :                 while (pos + 1 < prs.words[count].pos.pos)
     521                 :             :                 {
     522                 :             :                     /* put placeholders for each missing stop word */
     523                 :          39 :                     pushStop(state);
     524         [ +  - ]:          39 :                     if (cntpos)
     525                 :          39 :                         pushOperator(state, data->qoperator, 1);
     526                 :          39 :                     cntpos++;
     527                 :          39 :                     pos++;
     528                 :             :                 }
     529                 :             :             }
     530                 :             : 
     531                 :             :             /* save current word's position */
     532                 :        2367 :             pos = prs.words[count].pos.pos;
     533                 :             : 
     534                 :             :             /* Go through all variants obtained from this token */
     535                 :        2367 :             cntvar = 0;
     536   [ +  +  +  + ]:        4794 :             while (count < prs.curwords && pos == prs.words[count].pos.pos)
     537                 :             :             {
     538                 :        2427 :                 variant = prs.words[count].nvariant;
     539                 :             : 
     540                 :             :                 /* Push all words belonging to the same variant */
     541                 :        2427 :                 cnt = 0;
     542                 :        2427 :                 while (count < prs.curwords &&
     543   [ +  +  +  + ]:        4974 :                        pos == prs.words[count].pos.pos &&
     544         [ +  + ]:        2607 :                        variant == prs.words[count].nvariant)
     545                 :             :                 {
     546                 :        2547 :                     pushValue(state,
     547                 :        2547 :                               prs.words[count].word,
     548                 :        2547 :                               prs.words[count].len,
     549                 :             :                               weight,
     550   [ +  +  -  + ]:        2547 :                               ((prs.words[count].flags & TSL_PREFIX) || prefix));
     551                 :        2547 :                     pfree(prs.words[count].word);
     552         [ +  + ]:        2547 :                     if (cnt)
     553                 :         120 :                         pushOperator(state, OP_AND, 0);
     554                 :        2547 :                     cnt++;
     555                 :        2547 :                     count++;
     556                 :             :                 }
     557                 :             : 
     558         [ +  + ]:        2427 :                 if (cntvar)
     559                 :          60 :                     pushOperator(state, OP_OR, 0);
     560                 :        2427 :                 cntvar++;
     561                 :             :             }
     562                 :             : 
     563         [ +  + ]:        2367 :             if (cntpos)
     564                 :             :             {
     565                 :             :                 /* distance may be useful */
     566                 :         333 :                 pushOperator(state, data->qoperator, 1);
     567                 :             :             }
     568                 :             : 
     569                 :        2367 :             cntpos++;
     570                 :             :         }
     571                 :             : 
     572                 :        2034 :         pfree(prs.words);
     573                 :             :     }
     574                 :             :     else
     575                 :         511 :         pushStop(state);
     576                 :        2545 : }
     577                 :             : 
     578                 :             : Datum
     579                 :         613 : to_tsquery_byid(PG_FUNCTION_ARGS)
     580                 :             : {
     581                 :         613 :     text       *in = PG_GETARG_TEXT_PP(1);
     582                 :             :     TSQuery     query;
     583                 :             :     MorphOpaque data;
     584                 :             : 
     585                 :         613 :     data.cfg_id = PG_GETARG_OID(0);
     586                 :             : 
     587                 :             :     /*
     588                 :             :      * Passing OP_PHRASE as a qoperator makes tsquery require matching of word
     589                 :             :      * positions of a complex morph exactly match the tsvector.  Also, when
     590                 :             :      * the complex morphs are connected with OP_PHRASE operator, we connect
     591                 :             :      * all their words into the OP_PHRASE sequence.
     592                 :             :      */
     593                 :         613 :     data.qoperator = OP_PHRASE;
     594                 :             : 
     595                 :         613 :     query = parse_tsquery(text_to_cstring(in),
     596                 :             :                           pushval_morph,
     597                 :             :                           &data,
     598                 :             :                           0,
     599                 :             :                           NULL);
     600                 :             : 
     601                 :         613 :     PG_RETURN_TSQUERY(query);
     602                 :             : }
     603                 :             : 
     604                 :             : Datum
     605                 :          96 : to_tsquery(PG_FUNCTION_ARGS)
     606                 :             : {
     607                 :          96 :     text       *in = PG_GETARG_TEXT_PP(0);
     608                 :             :     Oid         cfgId;
     609                 :             : 
     610                 :          96 :     cfgId = getTSCurrentConfig(true);
     611                 :          96 :     PG_RETURN_DATUM(DirectFunctionCall2(to_tsquery_byid,
     612                 :             :                                         ObjectIdGetDatum(cfgId),
     613                 :             :                                         PointerGetDatum(in)));
     614                 :             : }
     615                 :             : 
     616                 :             : Datum
     617                 :          48 : plainto_tsquery_byid(PG_FUNCTION_ARGS)
     618                 :             : {
     619                 :          48 :     text       *in = PG_GETARG_TEXT_PP(1);
     620                 :             :     TSQuery     query;
     621                 :             :     MorphOpaque data;
     622                 :             : 
     623                 :          48 :     data.cfg_id = PG_GETARG_OID(0);
     624                 :             : 
     625                 :             :     /*
     626                 :             :      * parse_tsquery() with P_TSQ_PLAIN flag takes the whole input text as a
     627                 :             :      * single morph.  Passing OP_PHRASE as a qoperator makes tsquery require
     628                 :             :      * matching of all words independently on their positions.
     629                 :             :      */
     630                 :          48 :     data.qoperator = OP_AND;
     631                 :             : 
     632                 :          48 :     query = parse_tsquery(text_to_cstring(in),
     633                 :             :                           pushval_morph,
     634                 :             :                           &data,
     635                 :             :                           P_TSQ_PLAIN,
     636                 :             :                           NULL);
     637                 :             : 
     638                 :          48 :     PG_RETURN_POINTER(query);
     639                 :             : }
     640                 :             : 
     641                 :             : Datum
     642                 :           8 : plainto_tsquery(PG_FUNCTION_ARGS)
     643                 :             : {
     644                 :           8 :     text       *in = PG_GETARG_TEXT_PP(0);
     645                 :             :     Oid         cfgId;
     646                 :             : 
     647                 :           8 :     cfgId = getTSCurrentConfig(true);
     648                 :           8 :     PG_RETURN_DATUM(DirectFunctionCall2(plainto_tsquery_byid,
     649                 :             :                                         ObjectIdGetDatum(cfgId),
     650                 :             :                                         PointerGetDatum(in)));
     651                 :             : }
     652                 :             : 
     653                 :             : 
     654                 :             : Datum
     655                 :          40 : phraseto_tsquery_byid(PG_FUNCTION_ARGS)
     656                 :             : {
     657                 :          40 :     text       *in = PG_GETARG_TEXT_PP(1);
     658                 :             :     TSQuery     query;
     659                 :             :     MorphOpaque data;
     660                 :             : 
     661                 :          40 :     data.cfg_id = PG_GETARG_OID(0);
     662                 :             : 
     663                 :             :     /*
     664                 :             :      * parse_tsquery() with P_TSQ_PLAIN flag takes the whole input text as a
     665                 :             :      * single morph.  Passing OP_PHRASE as a qoperator makes tsquery require
     666                 :             :      * matching of word positions.
     667                 :             :      */
     668                 :          40 :     data.qoperator = OP_PHRASE;
     669                 :             : 
     670                 :          40 :     query = parse_tsquery(text_to_cstring(in),
     671                 :             :                           pushval_morph,
     672                 :             :                           &data,
     673                 :             :                           P_TSQ_PLAIN,
     674                 :             :                           NULL);
     675                 :             : 
     676                 :          40 :     PG_RETURN_TSQUERY(query);
     677                 :             : }
     678                 :             : 
     679                 :             : Datum
     680                 :           0 : phraseto_tsquery(PG_FUNCTION_ARGS)
     681                 :             : {
     682                 :           0 :     text       *in = PG_GETARG_TEXT_PP(0);
     683                 :             :     Oid         cfgId;
     684                 :             : 
     685                 :           0 :     cfgId = getTSCurrentConfig(true);
     686                 :           0 :     PG_RETURN_DATUM(DirectFunctionCall2(phraseto_tsquery_byid,
     687                 :             :                                         ObjectIdGetDatum(cfgId),
     688                 :             :                                         PointerGetDatum(in)));
     689                 :             : }
     690                 :             : 
     691                 :             : Datum
     692                 :         341 : websearch_to_tsquery_byid(PG_FUNCTION_ARGS)
     693                 :             : {
     694                 :         341 :     text       *in = PG_GETARG_TEXT_PP(1);
     695                 :             :     MorphOpaque data;
     696                 :         341 :     TSQuery     query = NULL;
     697                 :             : 
     698                 :         341 :     data.cfg_id = PG_GETARG_OID(0);
     699                 :             : 
     700                 :             :     /*
     701                 :             :      * Passing OP_PHRASE as a qoperator makes tsquery require matching of word
     702                 :             :      * positions of a complex morph exactly match the tsvector.  Also, when
     703                 :             :      * the complex morphs are given in quotes, we connect all their words into
     704                 :             :      * the OP_PHRASE sequence.
     705                 :             :      */
     706                 :         341 :     data.qoperator = OP_PHRASE;
     707                 :             : 
     708                 :         341 :     query = parse_tsquery(text_to_cstring(in),
     709                 :             :                           pushval_morph,
     710                 :             :                           &data,
     711                 :             :                           P_TSQ_WEB,
     712                 :             :                           NULL);
     713                 :             : 
     714                 :         341 :     PG_RETURN_TSQUERY(query);
     715                 :             : }
     716                 :             : 
     717                 :             : Datum
     718                 :          16 : websearch_to_tsquery(PG_FUNCTION_ARGS)
     719                 :             : {
     720                 :          16 :     text       *in = PG_GETARG_TEXT_PP(0);
     721                 :             :     Oid         cfgId;
     722                 :             : 
     723                 :          16 :     cfgId = getTSCurrentConfig(true);
     724                 :          16 :     PG_RETURN_DATUM(DirectFunctionCall2(websearch_to_tsquery_byid,
     725                 :             :                                         ObjectIdGetDatum(cfgId),
     726                 :             :                                         PointerGetDatum(in)));
     727                 :             : }
        

Generated by: LCOV version 2.0-1