Branch data Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * jsonb_util.c
4 : : * converting between Jsonb and JsonbValues, and iterating.
5 : : *
6 : : * Copyright (c) 2014-2026, PostgreSQL Global Development Group
7 : : *
8 : : *
9 : : * IDENTIFICATION
10 : : * src/backend/utils/adt/jsonb_util.c
11 : : *
12 : : *-------------------------------------------------------------------------
13 : : */
14 : : #include "postgres.h"
15 : :
16 : : #include "catalog/pg_collation.h"
17 : : #include "catalog/pg_type.h"
18 : : #include "common/hashfn.h"
19 : : #include "miscadmin.h"
20 : : #include "port/pg_bitutils.h"
21 : : #include "utils/date.h"
22 : : #include "utils/datetime.h"
23 : : #include "utils/datum.h"
24 : : #include "utils/fmgrprotos.h"
25 : : #include "utils/json.h"
26 : : #include "utils/jsonb.h"
27 : : #include "utils/memutils.h"
28 : : #include "utils/varlena.h"
29 : :
30 : : /*
31 : : * Maximum number of elements in an array (or key/value pairs in an object).
32 : : * This is limited by two things: the size of the JEntry array must fit
33 : : * in MaxAllocSize, and the number of elements (or pairs) must fit in the bits
34 : : * reserved for that in the JsonbContainer.header field.
35 : : *
36 : : * (The total size of an array's or object's elements is also limited by
37 : : * JENTRY_OFFLENMASK, but we're not concerned about that here.)
38 : : */
39 : : #define JSONB_MAX_ELEMS (Min(MaxAllocSize / sizeof(JsonbValue), JB_CMASK))
40 : : #define JSONB_MAX_PAIRS (Min(MaxAllocSize / sizeof(JsonbPair), JB_CMASK))
41 : :
42 : : static void fillJsonbValue(JsonbContainer *container, int index,
43 : : char *base_addr, uint32 offset,
44 : : JsonbValue *result);
45 : : static bool equalsJsonbScalarValue(JsonbValue *a, JsonbValue *b);
46 : : static int compareJsonbScalarValue(JsonbValue *a, JsonbValue *b);
47 : : static Jsonb *convertToJsonb(JsonbValue *val);
48 : : static void convertJsonbValue(StringInfo buffer, JEntry *header, JsonbValue *val, int level);
49 : : static void convertJsonbArray(StringInfo buffer, JEntry *header, JsonbValue *val, int level);
50 : : static void convertJsonbObject(StringInfo buffer, JEntry *header, JsonbValue *val, int level);
51 : : static void convertJsonbScalar(StringInfo buffer, JEntry *header, JsonbValue *scalarVal);
52 : :
53 : : static int reserveFromBuffer(StringInfo buffer, int len);
54 : : static void appendToBuffer(StringInfo buffer, const void *data, int len);
55 : : static void copyToBuffer(StringInfo buffer, int offset, const void *data, int len);
56 : : static short padBufferToInt(StringInfo buffer);
57 : :
58 : : static JsonbIterator *iteratorFromContainer(JsonbContainer *container, JsonbIterator *parent);
59 : : static JsonbIterator *freeAndGetParent(JsonbIterator *it);
60 : : static JsonbParseState *pushState(JsonbInState *pstate);
61 : : static void appendKey(JsonbInState *pstate, JsonbValue *string, bool needCopy);
62 : : static void appendValue(JsonbInState *pstate, JsonbValue *scalarVal, bool needCopy);
63 : : static void appendElement(JsonbInState *pstate, JsonbValue *scalarVal, bool needCopy);
64 : : static void copyScalarSubstructure(JsonbValue *v, MemoryContext outcontext);
65 : : static int lengthCompareJsonbStringValue(const void *a, const void *b);
66 : : static int lengthCompareJsonbString(const char *val1, int len1,
67 : : const char *val2, int len2);
68 : : static int lengthCompareJsonbPair(const void *a, const void *b, void *binequal);
69 : : static void uniqueifyJsonbObject(JsonbValue *object, bool unique_keys,
70 : : bool skip_nulls);
71 : : static void pushJsonbValueScalar(JsonbInState *pstate,
72 : : JsonbIteratorToken seq,
73 : : JsonbValue *scalarVal);
74 : :
75 : : void
76 : 482 : JsonbToJsonbValue(Jsonb *jsonb, JsonbValue *val)
77 : : {
78 : 482 : val->type = jbvBinary;
79 : 482 : val->val.binary.data = &jsonb->root;
80 : 482 : val->val.binary.len = VARSIZE(jsonb) - VARHDRSZ;
81 : 482 : }
82 : :
83 : : /*
84 : : * Turn an in-memory JsonbValue into a Jsonb for on-disk storage.
85 : : *
86 : : * Generally we find it more convenient to directly iterate through the Jsonb
87 : : * representation and only really convert nested scalar values.
88 : : * JsonbIteratorNext() does this, so that clients of the iteration code don't
89 : : * have to directly deal with the binary representation (JsonbDeepContains() is
90 : : * a notable exception, although all exceptions are internal to this module).
91 : : * In general, functions that accept a JsonbValue argument are concerned with
92 : : * the manipulation of scalar values, or simple containers of scalar values,
93 : : * where it would be inconvenient to deal with a great amount of other state.
94 : : */
95 : : Jsonb *
96 : 67525 : JsonbValueToJsonb(JsonbValue *val)
97 : : {
98 : : Jsonb *out;
99 : :
100 [ + + + + ]: 67525 : if (IsAJsonbScalar(val))
101 : 46706 : {
102 : : /* Scalar value, so wrap it in an array */
103 : 46706 : JsonbInState pstate = {0};
104 : : JsonbValue scalarArray;
105 : :
106 : 46706 : scalarArray.type = jbvArray;
107 : 46706 : scalarArray.val.array.rawScalar = true;
108 : 46706 : scalarArray.val.array.nElems = 1;
109 : :
110 : 46706 : pushJsonbValue(&pstate, WJB_BEGIN_ARRAY, &scalarArray);
111 : 46706 : pushJsonbValue(&pstate, WJB_ELEM, val);
112 : 46706 : pushJsonbValue(&pstate, WJB_END_ARRAY, NULL);
113 : :
114 : 46706 : out = convertToJsonb(pstate.result);
115 : : }
116 [ + + + + ]: 20819 : else if (val->type == jbvObject || val->type == jbvArray)
117 : : {
118 : 19175 : out = convertToJsonb(val);
119 : : }
120 : : else
121 : : {
122 : : Assert(val->type == jbvBinary);
123 : 1644 : out = palloc(VARHDRSZ + val->val.binary.len);
124 : 1644 : SET_VARSIZE(out, VARHDRSZ + val->val.binary.len);
125 : 1644 : memcpy(VARDATA(out), val->val.binary.data, val->val.binary.len);
126 : : }
127 : :
128 : 67525 : return out;
129 : : }
130 : :
131 : : /*
132 : : * Get the offset of the variable-length portion of a Jsonb node within
133 : : * the variable-length-data part of its container. The node is identified
134 : : * by index within the container's JEntry array.
135 : : */
136 : : uint32
137 : 1277638 : getJsonbOffset(const JsonbContainer *jc, int index)
138 : : {
139 : 1277638 : uint32 offset = 0;
140 : : int i;
141 : :
142 : : /*
143 : : * Start offset of this entry is equal to the end offset of the previous
144 : : * entry. Walk backwards to the most recent entry stored as an end
145 : : * offset, returning that offset plus any lengths in between.
146 : : */
147 [ + + ]: 3768628 : for (i = index - 1; i >= 0; i--)
148 : : {
149 : 3283528 : offset += JBE_OFFLENFLD(jc->children[i]);
150 [ + + ]: 3283528 : if (JBE_HAS_OFF(jc->children[i]))
151 : 792538 : break;
152 : : }
153 : :
154 : 1277638 : return offset;
155 : : }
156 : :
157 : : /*
158 : : * Get the length of the variable-length portion of a Jsonb node.
159 : : * The node is identified by index within the container's JEntry array.
160 : : */
161 : : uint32
162 : 1133882 : getJsonbLength(const JsonbContainer *jc, int index)
163 : : {
164 : : uint32 off;
165 : : uint32 len;
166 : :
167 : : /*
168 : : * If the length is stored directly in the JEntry, just return it.
169 : : * Otherwise, get the begin offset of the entry, and subtract that from
170 : : * the stored end+1 offset.
171 : : */
172 [ + + ]: 1133882 : if (JBE_HAS_OFF(jc->children[index]))
173 : : {
174 : 377089 : off = getJsonbOffset(jc, index);
175 : 377089 : len = JBE_OFFLENFLD(jc->children[index]) - off;
176 : : }
177 : : else
178 : 756793 : len = JBE_OFFLENFLD(jc->children[index]);
179 : :
180 : 1133882 : return len;
181 : : }
182 : :
183 : : /*
184 : : * BT comparator worker function. Returns an integer less than, equal to, or
185 : : * greater than zero, indicating whether a is less than, equal to, or greater
186 : : * than b. Consistent with the requirements for a B-Tree operator class
187 : : *
188 : : * Strings are compared lexically, in contrast with other places where we use a
189 : : * much simpler comparator logic for searching through Strings. Since this is
190 : : * called from B-Tree support function 1, we're careful about not leaking
191 : : * memory here.
192 : : */
193 : : int
194 : 179178 : compareJsonbContainers(JsonbContainer *a, JsonbContainer *b)
195 : : {
196 : : JsonbIterator *ita,
197 : : *itb;
198 : 179178 : int res = 0;
199 : :
200 : 179178 : ita = JsonbIteratorInit(a);
201 : 179178 : itb = JsonbIteratorInit(b);
202 : :
203 : : do
204 : : {
205 : : JsonbValue va,
206 : : vb;
207 : : JsonbIteratorToken ra,
208 : : rb;
209 : :
210 : 529769 : ra = JsonbIteratorNext(&ita, &va, false);
211 : 529769 : rb = JsonbIteratorNext(&itb, &vb, false);
212 : :
213 [ + - ]: 529769 : if (ra == rb)
214 : : {
215 [ + + ]: 529769 : if (ra == WJB_DONE)
216 : : {
217 : : /* Decisively equal */
218 : 18517 : break;
219 : : }
220 : :
221 [ + + + + ]: 511252 : if (ra == WJB_END_ARRAY || ra == WJB_END_OBJECT)
222 : : {
223 : : /*
224 : : * There is no array or object to compare at this stage of
225 : : * processing. jbvArray/jbvObject values are compared
226 : : * initially, at the WJB_BEGIN_ARRAY and WJB_BEGIN_OBJECT
227 : : * tokens.
228 : : */
229 : 18618 : continue;
230 : : }
231 : :
232 [ + - ]: 492634 : if (va.type == vb.type)
233 : : {
234 [ + + + - : 492634 : switch (va.type)
- - ]
235 : : {
236 : 313144 : case jbvString:
237 : : case jbvNull:
238 : : case jbvNumeric:
239 : : case jbvBool:
240 : 313144 : res = compareJsonbScalarValue(&va, &vb);
241 : 313144 : break;
242 : 321 : case jbvArray:
243 : :
244 : : /*
245 : : * This could be a "raw scalar" pseudo array. That's
246 : : * a special case here though, since we still want the
247 : : * general type-based comparisons to apply, and as far
248 : : * as we're concerned a pseudo array is just a scalar.
249 : : */
250 [ + + ]: 321 : if (va.val.array.rawScalar != vb.val.array.rawScalar)
251 [ + - ]: 4 : res = (va.val.array.rawScalar) ? -1 : 1;
252 : :
253 : : /*
254 : : * There should be an "else" here, to prevent us from
255 : : * overriding the above, but we can't change the sort
256 : : * order now, so there is a mild anomaly that an empty
257 : : * top level array sorts less than null.
258 : : */
259 [ + + ]: 321 : if (va.val.array.nElems != vb.val.array.nElems)
260 [ + + ]: 131 : res = (va.val.array.nElems > vb.val.array.nElems) ? 1 : -1;
261 : 321 : break;
262 : 179169 : case jbvObject:
263 [ + + ]: 179169 : if (va.val.object.nPairs != vb.val.object.nPairs)
264 [ + + ]: 55516 : res = (va.val.object.nPairs > vb.val.object.nPairs) ? 1 : -1;
265 : 179169 : break;
266 : 0 : case jbvBinary:
267 [ # # ]: 0 : elog(ERROR, "unexpected jbvBinary value");
268 : : break;
269 : 0 : case jbvDatetime:
270 [ # # ]: 0 : elog(ERROR, "unexpected jbvDatetime value");
271 : : break;
272 : : }
273 : : }
274 : : else
275 : : {
276 : : /* Type-defined order */
277 [ # # ]: 0 : res = (va.type > vb.type) ? 1 : -1;
278 : : }
279 : : }
280 : : else
281 : : {
282 : : /*
283 : : * It's not possible for one iterator to report end of array or
284 : : * object while the other one reports something else, because we
285 : : * would have detected a length mismatch when we processed the
286 : : * container-start tokens above. Likewise we can't see WJB_DONE
287 : : * from one but not the other. So we have two different-type
288 : : * containers, or a container and some scalar type, or two
289 : : * different scalar types. Sort on the basis of the type code.
290 : : */
291 : : Assert(ra != WJB_DONE && ra != WJB_END_ARRAY && ra != WJB_END_OBJECT);
292 : : Assert(rb != WJB_DONE && rb != WJB_END_ARRAY && rb != WJB_END_OBJECT);
293 : :
294 : : Assert(va.type != vb.type);
295 : : Assert(va.type != jbvBinary);
296 : : Assert(vb.type != jbvBinary);
297 : : /* Type-defined order */
298 [ # # ]: 0 : res = (va.type > vb.type) ? 1 : -1;
299 : : }
300 : : }
301 [ + + ]: 511252 : while (res == 0);
302 : :
303 [ + + ]: 340050 : while (ita != NULL)
304 : : {
305 : 160872 : JsonbIterator *i = ita->parent;
306 : :
307 : 160872 : pfree(ita);
308 : 160872 : ita = i;
309 : : }
310 [ + + ]: 340050 : while (itb != NULL)
311 : : {
312 : 160872 : JsonbIterator *i = itb->parent;
313 : :
314 : 160872 : pfree(itb);
315 : 160872 : itb = i;
316 : : }
317 : :
318 : 179178 : return res;
319 : : }
320 : :
321 : : /*
322 : : * Find value in object (i.e. the "value" part of some key/value pair in an
323 : : * object), or find a matching element if we're looking through an array. Do
324 : : * so on the basis of equality of the object keys only, or alternatively
325 : : * element values only, with a caller-supplied value "key". The "flags"
326 : : * argument allows the caller to specify which container types are of interest.
327 : : *
328 : : * This exported utility function exists to facilitate various cases concerned
329 : : * with "containment". If asked to look through an object, the caller had
330 : : * better pass a Jsonb String, because their keys can only be strings.
331 : : * Otherwise, for an array, any type of JsonbValue will do.
332 : : *
333 : : * In order to proceed with the search, it is necessary for callers to have
334 : : * both specified an interest in exactly one particular container type with an
335 : : * appropriate flag, as well as having the pointed-to Jsonb container be of
336 : : * one of those same container types at the top level. (Actually, we just do
337 : : * whichever makes sense to save callers the trouble of figuring it out - at
338 : : * most one can make sense, because the container either points to an array
339 : : * (possibly a "raw scalar" pseudo array) or an object.)
340 : : *
341 : : * Note that we can return a jbvBinary JsonbValue if this is called on an
342 : : * object, but we never do so on an array. If the caller asks to look through
343 : : * a container type that is not of the type pointed to by the container,
344 : : * immediately fall through and return NULL. If we cannot find the value,
345 : : * return NULL. Otherwise, return palloc()'d copy of value.
346 : : */
347 : : JsonbValue *
348 : 139412 : findJsonbValueFromContainer(JsonbContainer *container, uint32 flags,
349 : : JsonbValue *key)
350 : : {
351 : 139412 : JEntry *children = container->children;
352 : 139412 : int count = JsonContainerSize(container);
353 : :
354 : : Assert((flags & ~(JB_FARRAY | JB_FOBJECT)) == 0);
355 : :
356 : : /* Quick out without a palloc cycle if object/array is empty */
357 [ + + ]: 139412 : if (count <= 0)
358 : 14730 : return NULL;
359 : :
360 [ + + + + ]: 124682 : if ((flags & JB_FARRAY) && JsonContainerIsArray(container))
361 : 69 : {
362 : 371 : JsonbValue *result = palloc_object(JsonbValue);
363 : 371 : char *base_addr = (char *) (children + count);
364 : 371 : uint32 offset = 0;
365 : : int i;
366 : :
367 [ + + ]: 686 : for (i = 0; i < count; i++)
368 : : {
369 : 617 : fillJsonbValue(container, i, base_addr, offset, result);
370 : :
371 [ + + ]: 617 : if (key->type == result->type)
372 : : {
373 [ + + ]: 554 : if (equalsJsonbScalarValue(key, result))
374 : 302 : return result;
375 : : }
376 : :
377 [ + + ]: 315 : JBE_ADVANCE_OFFSET(offset, children[i]);
378 : : }
379 : :
380 : 69 : pfree(result);
381 : : }
382 [ + - + - ]: 124311 : else if ((flags & JB_FOBJECT) && JsonContainerIsObject(container))
383 : : {
384 : : /* Object key passed by caller must be a string */
385 : : Assert(key->type == jbvString);
386 : :
387 : 124311 : return getKeyJsonValueFromContainer(container, key->val.string.val,
388 : : key->val.string.len, NULL);
389 : : }
390 : :
391 : : /* Not found */
392 : 69 : return NULL;
393 : : }
394 : :
395 : : /*
396 : : * Find value by key in Jsonb object and fetch it into 'res', which is also
397 : : * returned.
398 : : *
399 : : * 'res' can be passed in as NULL, in which case it's newly palloc'ed here.
400 : : */
401 : : JsonbValue *
402 : 173102 : getKeyJsonValueFromContainer(JsonbContainer *container,
403 : : const char *keyVal, int keyLen, JsonbValue *res)
404 : : {
405 : 173102 : JEntry *children = container->children;
406 : 173102 : int count = JsonContainerSize(container);
407 : : char *baseAddr;
408 : : uint32 stopLow,
409 : : stopHigh;
410 : :
411 : : Assert(JsonContainerIsObject(container));
412 : :
413 : : /* Quick out without a palloc cycle if object is empty */
414 [ + + ]: 173102 : if (count <= 0)
415 : 1888 : return NULL;
416 : :
417 : : /*
418 : : * Binary search the container. Since we know this is an object, account
419 : : * for *Pairs* of Jentrys
420 : : */
421 : 171214 : baseAddr = (char *) (children + count * 2);
422 : 171214 : stopLow = 0;
423 : 171214 : stopHigh = count;
424 [ + + ]: 545766 : while (stopLow < stopHigh)
425 : : {
426 : : uint32 stopMiddle;
427 : : int difference;
428 : : const char *candidateVal;
429 : : int candidateLen;
430 : :
431 : 409860 : stopMiddle = stopLow + (stopHigh - stopLow) / 2;
432 : :
433 : 409860 : candidateVal = baseAddr + getJsonbOffset(container, stopMiddle);
434 : 409860 : candidateLen = getJsonbLength(container, stopMiddle);
435 : :
436 : 409860 : difference = lengthCompareJsonbString(candidateVal, candidateLen,
437 : : keyVal, keyLen);
438 : :
439 [ + + ]: 409860 : if (difference == 0)
440 : : {
441 : : /* Found our key, return corresponding value */
442 : 35308 : int index = stopMiddle + count;
443 : :
444 [ + + ]: 35308 : if (!res)
445 : 31268 : res = palloc_object(JsonbValue);
446 : :
447 : 35308 : fillJsonbValue(container, index, baseAddr,
448 : : getJsonbOffset(container, index),
449 : : res);
450 : :
451 : 35308 : return res;
452 : : }
453 : : else
454 : : {
455 [ + + ]: 374552 : if (difference < 0)
456 : 138972 : stopLow = stopMiddle + 1;
457 : : else
458 : 235580 : stopHigh = stopMiddle;
459 : : }
460 : : }
461 : :
462 : : /* Not found */
463 : 135906 : return NULL;
464 : : }
465 : :
466 : : /*
467 : : * Get i-th value of a Jsonb array.
468 : : *
469 : : * Returns palloc()'d copy of the value, or NULL if it does not exist.
470 : : */
471 : : JsonbValue *
472 : 998 : getIthJsonbValueFromContainer(JsonbContainer *container, uint32 i)
473 : : {
474 : : JsonbValue *result;
475 : : char *base_addr;
476 : : uint32 nelements;
477 : :
478 [ - + ]: 998 : if (!JsonContainerIsArray(container))
479 [ # # ]: 0 : elog(ERROR, "not a jsonb array");
480 : :
481 : 998 : nelements = JsonContainerSize(container);
482 : 998 : base_addr = (char *) &container->children[nelements];
483 : :
484 [ + + ]: 998 : if (i >= nelements)
485 : 47 : return NULL;
486 : :
487 : 951 : result = palloc_object(JsonbValue);
488 : :
489 : 951 : fillJsonbValue(container, i, base_addr,
490 : : getJsonbOffset(container, i),
491 : : result);
492 : :
493 : 951 : return result;
494 : : }
495 : :
496 : : /*
497 : : * A helper function to fill in a JsonbValue to represent an element of an
498 : : * array, or a key or value of an object.
499 : : *
500 : : * The node's JEntry is at container->children[index], and its variable-length
501 : : * data is at base_addr + offset. We make the caller determine the offset
502 : : * since in many cases the caller can amortize that work across multiple
503 : : * children. When it can't, it can just call getJsonbOffset().
504 : : *
505 : : * A nested array or object will be returned as jbvBinary, ie. it won't be
506 : : * expanded.
507 : : */
508 : : static void
509 : 1054494 : fillJsonbValue(JsonbContainer *container, int index,
510 : : char *base_addr, uint32 offset,
511 : : JsonbValue *result)
512 : : {
513 : 1054494 : JEntry entry = container->children[index];
514 : :
515 [ + + ]: 1054494 : if (JBE_ISNULL(entry))
516 : : {
517 : 5505 : result->type = jbvNull;
518 : : }
519 [ + + ]: 1048989 : else if (JBE_ISSTRING(entry))
520 : : {
521 : 703500 : result->type = jbvString;
522 : 703500 : result->val.string.val = base_addr + offset;
523 : 703500 : result->val.string.len = getJsonbLength(container, index);
524 : : Assert(result->val.string.len >= 0);
525 : : }
526 [ + + ]: 345489 : else if (JBE_ISNUMERIC(entry))
527 : : {
528 : 226686 : result->type = jbvNumeric;
529 : 226686 : result->val.numeric = (Numeric) (base_addr + INTALIGN(offset));
530 : : }
531 [ + + ]: 118803 : else if (JBE_ISBOOL_TRUE(entry))
532 : : {
533 : 46982 : result->type = jbvBool;
534 : 46982 : result->val.boolean = true;
535 : : }
536 [ + + ]: 71821 : else if (JBE_ISBOOL_FALSE(entry))
537 : : {
538 : 51299 : result->type = jbvBool;
539 : 51299 : result->val.boolean = false;
540 : : }
541 : : else
542 : : {
543 : : Assert(JBE_ISCONTAINER(entry));
544 : 20522 : result->type = jbvBinary;
545 : : /* Remove alignment padding from data pointer and length */
546 : 20522 : result->val.binary.data = (JsonbContainer *) (base_addr + INTALIGN(offset));
547 : 20522 : result->val.binary.len = getJsonbLength(container, index) -
548 : 20522 : (INTALIGN(offset) - offset);
549 : : }
550 : 1054494 : }
551 : :
552 : : /*
553 : : * Push JsonbValue into JsonbInState.
554 : : *
555 : : * Used, for example, when parsing JSON input.
556 : : *
557 : : * *pstate is typically initialized to all-zeroes, except that the caller
558 : : * may provide outcontext and/or escontext. (escontext is ignored by this
559 : : * function and its subroutines, however.)
560 : : *
561 : : * "seq" tells what is being pushed (start/end of array or object, key,
562 : : * value, etc). WJB_DONE is not used here, but the other values of
563 : : * JsonbIteratorToken are. We assume the caller passes a valid sequence
564 : : * of values.
565 : : *
566 : : * The passed "jbval" is typically transient storage, such as a local variable.
567 : : * We will copy it into the outcontext (CurrentMemoryContext by default).
568 : : * If outcontext isn't NULL, we will also make copies of any pass-by-reference
569 : : * scalar values.
570 : : *
571 : : * Only sequential tokens pertaining to non-container types should pass a
572 : : * JsonbValue. There is one exception -- WJB_BEGIN_ARRAY callers may pass a
573 : : * "raw scalar" pseudo array to append it - the actual scalar should be passed
574 : : * next and it will be added as the only member of the array.
575 : : *
576 : : * Values of type jbvBinary, which are rolled up arrays and objects,
577 : : * are unpacked before being added to the result.
578 : : *
579 : : * At the end of construction of a JsonbValue, pstate->result will reference
580 : : * the top-level JsonbValue object.
581 : : */
582 : : void
583 : 305912 : pushJsonbValue(JsonbInState *pstate, JsonbIteratorToken seq,
584 : : JsonbValue *jbval)
585 : : {
586 : : JsonbIterator *it;
587 : : JsonbValue v;
588 : : JsonbIteratorToken tok;
589 : : int i;
590 : :
591 : : /*
592 : : * pushJsonbValueScalar handles all cases not involving pushing a
593 : : * container object as an ELEM or VALUE.
594 : : */
595 [ + + + + : 305912 : if (!jbval || IsAJsonbScalar(jbval) ||
+ + + + ]
596 [ + + ]: 51485 : (seq != WJB_ELEM && seq != WJB_VALUE))
597 : : {
598 : 305288 : pushJsonbValueScalar(pstate, seq, jbval);
599 : 305520 : return;
600 : : }
601 : :
602 : : /* If an object or array is pushed, recursively push its contents */
603 [ - + ]: 624 : if (jbval->type == jbvObject)
604 : : {
605 : 0 : pushJsonbValue(pstate, WJB_BEGIN_OBJECT, NULL);
606 [ # # ]: 0 : for (i = 0; i < jbval->val.object.nPairs; i++)
607 : : {
608 : 0 : pushJsonbValue(pstate, WJB_KEY, &jbval->val.object.pairs[i].key);
609 : 0 : pushJsonbValue(pstate, WJB_VALUE, &jbval->val.object.pairs[i].value);
610 : : }
611 : 0 : pushJsonbValue(pstate, WJB_END_OBJECT, NULL);
612 : 0 : return;
613 : : }
614 : :
615 [ - + ]: 624 : if (jbval->type == jbvArray)
616 : : {
617 : 0 : pushJsonbValue(pstate, WJB_BEGIN_ARRAY, NULL);
618 [ # # ]: 0 : for (i = 0; i < jbval->val.array.nElems; i++)
619 : : {
620 : 0 : pushJsonbValue(pstate, WJB_ELEM, &jbval->val.array.elems[i]);
621 : : }
622 : 0 : pushJsonbValue(pstate, WJB_END_ARRAY, NULL);
623 : 0 : return;
624 : : }
625 : :
626 : : /* Else it must be a jbvBinary value; push its contents */
627 : : Assert(jbval->type == jbvBinary);
628 : :
629 : 624 : it = JsonbIteratorInit(jbval->val.binary.data);
630 : :
631 : : /* ... with a special case for pushing a raw scalar */
632 [ + + ]: 624 : if ((jbval->val.binary.data->header & JB_FSCALAR) &&
633 [ + - ]: 252 : pstate->parseState != NULL)
634 : : {
635 : 252 : tok = JsonbIteratorNext(&it, &v, true);
636 : : Assert(tok == WJB_BEGIN_ARRAY);
637 : : Assert(v.type == jbvArray && v.val.array.rawScalar);
638 : :
639 : 252 : tok = JsonbIteratorNext(&it, &v, true);
640 : : Assert(tok == WJB_ELEM);
641 : :
642 : 252 : pushJsonbValueScalar(pstate, seq, &v);
643 : :
644 : 252 : tok = JsonbIteratorNext(&it, &v, true);
645 : : Assert(tok == WJB_END_ARRAY);
646 : : Assert(it == NULL);
647 : :
648 : 252 : return;
649 : : }
650 : :
651 [ + + ]: 2570 : while ((tok = JsonbIteratorNext(&it, &v, false)) != WJB_DONE)
652 [ + + ]: 3214 : pushJsonbValueScalar(pstate, tok,
653 [ + + ]: 1016 : tok < WJB_BEGIN_ARRAY ||
654 : 266 : (tok == WJB_BEGIN_ARRAY &&
655 [ - + ]: 266 : v.val.array.rawScalar) ? &v : NULL);
656 : : }
657 : :
658 : : /*
659 : : * Do the actual pushing, with only scalar or pseudo-scalar-array values
660 : : * accepted.
661 : : */
662 : : static void
663 : 307738 : pushJsonbValueScalar(JsonbInState *pstate, JsonbIteratorToken seq,
664 : : JsonbValue *scalarVal)
665 : : {
666 : : JsonbParseState *ppstate;
667 : : JsonbValue *val;
668 : : MemoryContext outcontext;
669 : :
670 [ + + + + : 307738 : switch (seq)
+ + + - ]
671 : : {
672 : 63272 : case WJB_BEGIN_ARRAY:
673 : : Assert(!scalarVal || scalarVal->val.array.rawScalar);
674 : 63272 : ppstate = pushState(pstate);
675 : 63272 : val = &ppstate->contVal;
676 : 63272 : val->type = jbvArray;
677 : 63272 : val->val.array.nElems = 0;
678 [ + + ]: 114404 : val->val.array.rawScalar = (scalarVal &&
679 [ + - ]: 51132 : scalarVal->val.array.rawScalar);
680 [ + + + - ]: 63272 : if (scalarVal && scalarVal->val.array.nElems > 0)
681 : : {
682 : : /* Assume that this array is still really a scalar */
683 : : Assert(scalarVal->type == jbvArray);
684 : 51132 : ppstate->size = scalarVal->val.array.nElems;
685 : : }
686 : : else
687 : : {
688 : 12140 : ppstate->size = 4; /* initial guess at array size */
689 : : }
690 [ + + ]: 63272 : outcontext = pstate->outcontext ? pstate->outcontext : CurrentMemoryContext;
691 : 126544 : val->val.array.elems = MemoryContextAlloc(outcontext,
692 : : sizeof(JsonbValue) *
693 : 63272 : ppstate->size);
694 : 63272 : break;
695 : 17774 : case WJB_BEGIN_OBJECT:
696 : : Assert(!scalarVal);
697 : 17774 : ppstate = pushState(pstate);
698 : 17774 : val = &ppstate->contVal;
699 : 17774 : val->type = jbvObject;
700 : 17774 : val->val.object.nPairs = 0;
701 : 17774 : ppstate->size = 4; /* initial guess at object size */
702 [ + + ]: 17774 : outcontext = pstate->outcontext ? pstate->outcontext : CurrentMemoryContext;
703 : 35548 : val->val.object.pairs = MemoryContextAlloc(outcontext,
704 : : sizeof(JsonbPair) *
705 : 17774 : ppstate->size);
706 : 17774 : break;
707 : 45687 : case WJB_KEY:
708 : : Assert(scalarVal->type == jbvString);
709 : 45687 : appendKey(pstate, scalarVal, true);
710 : 45687 : break;
711 : 38031 : case WJB_VALUE:
712 : : Assert(IsAJsonbScalar(scalarVal));
713 : 38031 : appendValue(pstate, scalarVal, true);
714 : 38031 : break;
715 : 67208 : case WJB_ELEM:
716 : : Assert(IsAJsonbScalar(scalarVal));
717 : 67208 : appendElement(pstate, scalarVal, true);
718 : 67208 : break;
719 : 15353 : case WJB_END_OBJECT:
720 : 15353 : ppstate = pstate->parseState;
721 : 15353 : uniqueifyJsonbObject(&ppstate->contVal,
722 : 15353 : ppstate->unique_keys,
723 : 15353 : ppstate->skip_nulls);
724 : : pg_fallthrough;
725 : 75746 : case WJB_END_ARRAY:
726 : : /* Steps here common to WJB_END_OBJECT case */
727 : : Assert(!scalarVal);
728 : 75746 : ppstate = pstate->parseState;
729 : 75746 : val = &ppstate->contVal;
730 : :
731 : : /*
732 : : * Pop stack and push current array/object as value in parent
733 : : * array/object, or return it as the final result. We don't need
734 : : * to re-copy any scalars that are in the data structure.
735 : : */
736 : 75746 : pstate->parseState = ppstate = ppstate->next;
737 [ + + ]: 75746 : if (ppstate)
738 : : {
739 [ + + - ]: 9865 : switch (ppstate->contVal.type)
740 : : {
741 : 4557 : case jbvArray:
742 : 4557 : appendElement(pstate, val, false);
743 : 4557 : break;
744 : 5308 : case jbvObject:
745 : 5308 : appendValue(pstate, val, false);
746 : 5308 : break;
747 : 0 : default:
748 [ # # ]: 0 : elog(ERROR, "invalid jsonb container type");
749 : : }
750 : : }
751 : : else
752 : 65881 : pstate->result = val;
753 : 75746 : break;
754 : 0 : default:
755 [ # # ]: 0 : elog(ERROR, "unrecognized jsonb sequential processing token");
756 : : }
757 : 307718 : }
758 : :
759 : : /*
760 : : * Push a new JsonbParseState onto the JsonbInState's stack
761 : : *
762 : : * As a notational convenience, the new state's address is returned.
763 : : * The caller must initialize the new state's contVal and size fields.
764 : : */
765 : : static JsonbParseState *
766 : 81046 : pushState(JsonbInState *pstate)
767 : : {
768 [ + + ]: 81046 : MemoryContext outcontext = pstate->outcontext ? pstate->outcontext : CurrentMemoryContext;
769 : 81046 : JsonbParseState *ns = MemoryContextAlloc(outcontext,
770 : : sizeof(JsonbParseState));
771 : :
772 : 81046 : ns->next = pstate->parseState;
773 : : /* This module never changes these fields, but callers can: */
774 : 81046 : ns->unique_keys = false;
775 : 81046 : ns->skip_nulls = false;
776 : :
777 : 81046 : pstate->parseState = ns;
778 : 81046 : return ns;
779 : : }
780 : :
781 : : /*
782 : : * pushJsonbValue() worker: Append a pair key to pstate
783 : : */
784 : : static void
785 : 45687 : appendKey(JsonbInState *pstate, JsonbValue *string, bool needCopy)
786 : : {
787 : 45687 : JsonbParseState *ppstate = pstate->parseState;
788 : 45687 : JsonbValue *object = &ppstate->contVal;
789 : : JsonbPair *pair;
790 : :
791 : : Assert(object->type == jbvObject);
792 : : Assert(string->type == jbvString);
793 : :
794 [ + + ]: 45687 : if (object->val.object.nPairs >= ppstate->size)
795 : : {
796 [ - + ]: 4183 : if (unlikely(object->val.object.nPairs >= JSONB_MAX_PAIRS))
797 [ # # ]: 0 : ereport(ERROR,
798 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
799 : : errmsg("number of jsonb object pairs exceeds the maximum allowed (%zu)",
800 : : JSONB_MAX_PAIRS)));
801 : 4183 : ppstate->size = Min(ppstate->size * 2, JSONB_MAX_PAIRS);
802 : 4183 : object->val.object.pairs = repalloc(object->val.object.pairs,
803 : 4183 : sizeof(JsonbPair) * ppstate->size);
804 : : }
805 : :
806 : 45687 : pair = &object->val.object.pairs[object->val.object.nPairs];
807 : 45687 : pair->key = *string;
808 : 45687 : pair->order = object->val.object.nPairs;
809 : :
810 [ + - ]: 45687 : if (needCopy)
811 : 45687 : copyScalarSubstructure(&pair->key, pstate->outcontext);
812 : 45687 : }
813 : :
814 : : /*
815 : : * pushJsonbValue() worker: Append a pair value to pstate
816 : : */
817 : : static void
818 : 43339 : appendValue(JsonbInState *pstate, JsonbValue *scalarVal, bool needCopy)
819 : : {
820 : 43339 : JsonbValue *object = &pstate->parseState->contVal;
821 : : JsonbPair *pair;
822 : :
823 : : Assert(object->type == jbvObject);
824 : :
825 : 43339 : pair = &object->val.object.pairs[object->val.object.nPairs];
826 : 43339 : pair->value = *scalarVal;
827 : 43339 : object->val.object.nPairs++;
828 : :
829 [ + + ]: 43339 : if (needCopy)
830 : 38031 : copyScalarSubstructure(&pair->value, pstate->outcontext);
831 : 43339 : }
832 : :
833 : : /*
834 : : * pushJsonbValue() worker: Append an array element to pstate
835 : : */
836 : : static void
837 : 71765 : appendElement(JsonbInState *pstate, JsonbValue *scalarVal, bool needCopy)
838 : : {
839 : 71765 : JsonbParseState *ppstate = pstate->parseState;
840 : 71765 : JsonbValue *array = &ppstate->contVal;
841 : : JsonbValue *elem;
842 : :
843 : : Assert(array->type == jbvArray);
844 : :
845 [ + + ]: 71765 : if (array->val.array.nElems >= ppstate->size)
846 : : {
847 [ - + ]: 1132 : if (unlikely(array->val.array.nElems >= JSONB_MAX_ELEMS))
848 [ # # ]: 0 : ereport(ERROR,
849 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
850 : : errmsg("number of jsonb array elements exceeds the maximum allowed (%zu)",
851 : : JSONB_MAX_ELEMS)));
852 : 1132 : ppstate->size = Min(ppstate->size * 2, JSONB_MAX_ELEMS);
853 : 1132 : array->val.array.elems = repalloc(array->val.array.elems,
854 : 1132 : sizeof(JsonbValue) * ppstate->size);
855 : : }
856 : :
857 : 71765 : elem = &array->val.array.elems[array->val.array.nElems];
858 : 71765 : *elem = *scalarVal;
859 : 71765 : array->val.array.nElems++;
860 : :
861 [ + + ]: 71765 : if (needCopy)
862 : 67208 : copyScalarSubstructure(elem, pstate->outcontext);
863 : 71765 : }
864 : :
865 : : /*
866 : : * Copy any infrastructure of a scalar JsonbValue into the outcontext,
867 : : * adjusting the pointer(s) in *v.
868 : : *
869 : : * We need not deal with containers here, as the routines above ensure
870 : : * that they are built fresh.
871 : : */
872 : : static void
873 : 150926 : copyScalarSubstructure(JsonbValue *v, MemoryContext outcontext)
874 : : {
875 : : MemoryContext oldcontext;
876 : :
877 : : /* Nothing to do if caller did not specify an outcontext */
878 [ + + ]: 150926 : if (outcontext == NULL)
879 : 149182 : return;
880 [ + + + - : 1744 : switch (v->type)
- ]
881 : : {
882 : 172 : case jbvNull:
883 : : case jbvBool:
884 : : /* pass-by-value, nothing to do */
885 : 172 : break;
886 : 1172 : case jbvString:
887 : : {
888 : 1172 : char *buf = MemoryContextAlloc(outcontext,
889 : 1172 : v->val.string.len);
890 : :
891 : 1172 : memcpy(buf, v->val.string.val, v->val.string.len);
892 : 1172 : v->val.string.val = buf;
893 : : }
894 : 1172 : break;
895 : 400 : case jbvNumeric:
896 : 400 : oldcontext = MemoryContextSwitchTo(outcontext);
897 : 400 : v->val.numeric =
898 : 400 : DatumGetNumeric(datumCopy(NumericGetDatum(v->val.numeric),
899 : : false, -1));
900 : 400 : MemoryContextSwitchTo(oldcontext);
901 : 400 : break;
902 : 0 : case jbvDatetime:
903 [ # # # ]: 0 : switch (v->val.datetime.typid)
904 : : {
905 : 0 : case DATEOID:
906 : : case TIMEOID:
907 : : case TIMESTAMPOID:
908 : : case TIMESTAMPTZOID:
909 : : /* pass-by-value, nothing to do */
910 : 0 : break;
911 : 0 : case TIMETZOID:
912 : : /* pass-by-reference */
913 : 0 : oldcontext = MemoryContextSwitchTo(outcontext);
914 : 0 : v->val.datetime.value = datumCopy(v->val.datetime.value,
915 : : false, TIMETZ_TYPLEN);
916 : 0 : MemoryContextSwitchTo(oldcontext);
917 : 0 : break;
918 : 0 : default:
919 [ # # ]: 0 : elog(ERROR, "unexpected jsonb datetime type oid %u",
920 : : v->val.datetime.typid);
921 : : }
922 : 0 : break;
923 : 0 : default:
924 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
925 : : }
926 : : }
927 : :
928 : : /*
929 : : * Given a JsonbContainer, expand to JsonbIterator to iterate over items
930 : : * fully expanded to in-memory representation for manipulation.
931 : : *
932 : : * See JsonbIteratorNext() for notes on memory management.
933 : : */
934 : : JsonbIterator *
935 : 471491 : JsonbIteratorInit(JsonbContainer *container)
936 : : {
937 : 471491 : return iteratorFromContainer(container, NULL);
938 : : }
939 : :
940 : : /*
941 : : * Get next JsonbValue while iterating
942 : : *
943 : : * Caller should initially pass their own, original iterator. They may get
944 : : * back a child iterator palloc()'d here instead. The function can be relied
945 : : * on to free those child iterators, lest the memory allocated for highly
946 : : * nested objects become unreasonable, but only if callers don't end iteration
947 : : * early (by breaking upon having found something in a search, for example).
948 : : *
949 : : * Callers in such a scenario, that are particularly sensitive to leaking
950 : : * memory in a long-lived context may walk the ancestral tree from the final
951 : : * iterator we left them with to its oldest ancestor, pfree()ing as they go.
952 : : * They do not have to free any other memory previously allocated for iterators
953 : : * but not accessible as direct ancestors of the iterator they're last passed
954 : : * back.
955 : : *
956 : : * Returns "Jsonb sequential processing" token value. Iterator "state"
957 : : * reflects the current stage of the process in a less granular fashion, and is
958 : : * mostly used here to track things internally with respect to particular
959 : : * iterators.
960 : : *
961 : : * Clients of this function should not have to handle any jbvBinary values
962 : : * (since recursive calls will deal with this), provided skipNested is false.
963 : : * It is our job to expand the jbvBinary representation without bothering them
964 : : * with it. However, clients should not take it upon themselves to touch array
965 : : * or Object element/pair buffers, since their element/pair pointers are
966 : : * garbage.
967 : : *
968 : : * *val is not meaningful when the result is WJB_DONE, WJB_END_ARRAY or
969 : : * WJB_END_OBJECT. However, we set val->type = jbvNull in those cases,
970 : : * so that callers may assume that val->type is always well-defined.
971 : : */
972 : : JsonbIteratorToken
973 : 1692503 : JsonbIteratorNext(JsonbIterator **it, JsonbValue *val, bool skipNested)
974 : : {
975 [ + + ]: 1692503 : if (*it == NULL)
976 : : {
977 : 89850 : val->type = jbvNull;
978 : 89850 : return WJB_DONE;
979 : : }
980 : :
981 : : /*
982 : : * When stepping into a nested container, we jump back here to start
983 : : * processing the child. We will not recurse further in one call, because
984 : : * processing the child will always begin in JBI_ARRAY_START or
985 : : * JBI_OBJECT_START state.
986 : : */
987 : 1616929 : recurse:
988 [ + + + + : 1616929 : switch ((*it)->state)
+ - ]
989 : : {
990 : 31337 : case JBI_ARRAY_START:
991 : : /* Set v to array on first array call */
992 : 31337 : val->type = jbvArray;
993 : 31337 : val->val.array.nElems = (*it)->nElems;
994 : :
995 : : /*
996 : : * v->val.array.elems is not actually set, because we aren't doing
997 : : * a full conversion
998 : : */
999 : 31337 : val->val.array.rawScalar = (*it)->isScalar;
1000 : 31337 : (*it)->curIndex = 0;
1001 : 31337 : (*it)->curDataOffset = 0;
1002 : 31337 : (*it)->curValueOffset = 0; /* not actually used */
1003 : : /* Set state for next call */
1004 : 31337 : (*it)->state = JBI_ARRAY_ELEM;
1005 : 31337 : return WJB_BEGIN_ARRAY;
1006 : :
1007 : 83638 : case JBI_ARRAY_ELEM:
1008 [ + + ]: 83638 : if ((*it)->curIndex >= (*it)->nElems)
1009 : : {
1010 : : /*
1011 : : * All elements within array already processed. Report this
1012 : : * to caller, and give it back original parent iterator (which
1013 : : * independently tracks iteration progress at its level of
1014 : : * nesting).
1015 : : */
1016 : 29946 : *it = freeAndGetParent(*it);
1017 : 29946 : val->type = jbvNull;
1018 : 29946 : return WJB_END_ARRAY;
1019 : : }
1020 : :
1021 : 53692 : fillJsonbValue((*it)->container, (*it)->curIndex,
1022 : 53692 : (*it)->dataProper, (*it)->curDataOffset,
1023 : : val);
1024 : :
1025 [ + + ]: 53692 : JBE_ADVANCE_OFFSET((*it)->curDataOffset,
1026 : : (*it)->children[(*it)->curIndex]);
1027 : 53692 : (*it)->curIndex++;
1028 : :
1029 [ + + + - : 53692 : if (!IsAJsonbScalar(val) && !skipNested)
+ + ]
1030 : : {
1031 : : /* Recurse into container. */
1032 : 8516 : *it = iteratorFromContainer(val->val.binary.data, *it);
1033 : 8516 : goto recurse;
1034 : : }
1035 : : else
1036 : : {
1037 : : /*
1038 : : * Scalar item in array, or a container and caller didn't want
1039 : : * us to recurse into it.
1040 : : */
1041 : 45176 : return WJB_ELEM;
1042 : : }
1043 : :
1044 : 454430 : case JBI_OBJECT_START:
1045 : : /* Set v to object on first object call */
1046 : 454430 : val->type = jbvObject;
1047 : 454430 : val->val.object.nPairs = (*it)->nElems;
1048 : :
1049 : : /*
1050 : : * v->val.object.pairs is not actually set, because we aren't
1051 : : * doing a full conversion
1052 : : */
1053 : 454430 : (*it)->curIndex = 0;
1054 : 454430 : (*it)->curDataOffset = 0;
1055 : 908860 : (*it)->curValueOffset = getJsonbOffset((*it)->container,
1056 : 454430 : (*it)->nElems);
1057 : : /* Set state for next call */
1058 : 454430 : (*it)->state = JBI_OBJECT_KEY;
1059 : 454430 : return WJB_BEGIN_OBJECT;
1060 : :
1061 : 614764 : case JBI_OBJECT_KEY:
1062 [ + + ]: 614764 : if ((*it)->curIndex >= (*it)->nElems)
1063 : : {
1064 : : /*
1065 : : * All pairs within object already processed. Report this to
1066 : : * caller, and give it back original containing iterator
1067 : : * (which independently tracks iteration progress at its level
1068 : : * of nesting).
1069 : : */
1070 : 83598 : *it = freeAndGetParent(*it);
1071 : 83598 : val->type = jbvNull;
1072 : 83598 : return WJB_END_OBJECT;
1073 : : }
1074 : : else
1075 : : {
1076 : : /* Return key of a key/value pair. */
1077 : 531166 : fillJsonbValue((*it)->container, (*it)->curIndex,
1078 : 531166 : (*it)->dataProper, (*it)->curDataOffset,
1079 : : val);
1080 [ - + ]: 531166 : if (val->type != jbvString)
1081 [ # # ]: 0 : elog(ERROR, "unexpected jsonb type as object key");
1082 : :
1083 : : /* Set state for next call */
1084 : 531166 : (*it)->state = JBI_OBJECT_VALUE;
1085 : 531166 : return WJB_KEY;
1086 : : }
1087 : :
1088 : 432760 : case JBI_OBJECT_VALUE:
1089 : : /* Set state for next call */
1090 : 432760 : (*it)->state = JBI_OBJECT_KEY;
1091 : :
1092 : 432760 : fillJsonbValue((*it)->container, (*it)->curIndex + (*it)->nElems,
1093 : 432760 : (*it)->dataProper, (*it)->curValueOffset,
1094 : : val);
1095 : :
1096 [ + + ]: 432760 : JBE_ADVANCE_OFFSET((*it)->curDataOffset,
1097 : : (*it)->children[(*it)->curIndex]);
1098 [ + + ]: 432760 : JBE_ADVANCE_OFFSET((*it)->curValueOffset,
1099 : : (*it)->children[(*it)->curIndex + (*it)->nElems]);
1100 : 432760 : (*it)->curIndex++;
1101 : :
1102 : : /*
1103 : : * Value may be a container, in which case we recurse with new,
1104 : : * child iterator (unless the caller asked not to, by passing
1105 : : * skipNested).
1106 : : */
1107 [ + + + - : 432760 : if (!IsAJsonbScalar(val) && !skipNested)
+ + ]
1108 : : {
1109 : 5760 : *it = iteratorFromContainer(val->val.binary.data, *it);
1110 : 5760 : goto recurse;
1111 : : }
1112 : : else
1113 : 427000 : return WJB_VALUE;
1114 : : }
1115 : :
1116 [ # # ]: 0 : elog(ERROR, "invalid jsonb iterator state");
1117 : : /* satisfy compilers that don't know that elog(ERROR) doesn't return */
1118 : : val->type = jbvNull;
1119 : : return WJB_DONE;
1120 : : }
1121 : :
1122 : : /*
1123 : : * Initialize an iterator for iterating all elements in a container.
1124 : : */
1125 : : static JsonbIterator *
1126 : 485767 : iteratorFromContainer(JsonbContainer *container, JsonbIterator *parent)
1127 : : {
1128 : : JsonbIterator *it;
1129 : :
1130 : 485767 : it = palloc0_object(JsonbIterator);
1131 : 485767 : it->container = container;
1132 : 485767 : it->parent = parent;
1133 : 485767 : it->nElems = JsonContainerSize(container);
1134 : :
1135 : : /* Array starts just after header */
1136 : 485767 : it->children = container->children;
1137 : :
1138 [ + + - ]: 485767 : switch (container->header & (JB_FARRAY | JB_FOBJECT))
1139 : : {
1140 : 31337 : case JB_FARRAY:
1141 : 31337 : it->dataProper =
1142 : 31337 : (char *) it->children + it->nElems * sizeof(JEntry);
1143 : 31337 : it->isScalar = JsonContainerIsScalar(container);
1144 : : /* This is either a "raw scalar", or an array */
1145 : : Assert(!it->isScalar || it->nElems == 1);
1146 : :
1147 : 31337 : it->state = JBI_ARRAY_START;
1148 : 31337 : break;
1149 : :
1150 : 454430 : case JB_FOBJECT:
1151 : 454430 : it->dataProper =
1152 : 454430 : (char *) it->children + it->nElems * sizeof(JEntry) * 2;
1153 : 454430 : it->state = JBI_OBJECT_START;
1154 : 454430 : break;
1155 : :
1156 : 0 : default:
1157 [ # # ]: 0 : elog(ERROR, "unknown type of jsonb container");
1158 : : }
1159 : :
1160 : 485767 : return it;
1161 : : }
1162 : :
1163 : : /*
1164 : : * JsonbIteratorNext() worker: Return parent, while freeing memory for current
1165 : : * iterator
1166 : : */
1167 : : static JsonbIterator *
1168 : 113544 : freeAndGetParent(JsonbIterator *it)
1169 : : {
1170 : 113544 : JsonbIterator *v = it->parent;
1171 : :
1172 : 113544 : pfree(it);
1173 : 113544 : return v;
1174 : : }
1175 : :
1176 : : /*
1177 : : * Worker for "contains" operator's function
1178 : : *
1179 : : * Formally speaking, containment is top-down, unordered subtree isomorphism.
1180 : : *
1181 : : * Takes iterators that belong to some container type. These iterators
1182 : : * "belong" to those values in the sense that they've just been initialized in
1183 : : * respect of them by the caller (perhaps in a nested fashion).
1184 : : *
1185 : : * "val" is lhs Jsonb, and mContained is rhs Jsonb when called from top level.
1186 : : * We determine if mContained is contained within val.
1187 : : */
1188 : : bool
1189 : 29164 : JsonbDeepContains(JsonbIterator **val, JsonbIterator **mContained)
1190 : : {
1191 : : JsonbValue vval,
1192 : : vcontained;
1193 : : JsonbIteratorToken rval,
1194 : : rcont;
1195 : :
1196 : : /*
1197 : : * Guard against stack overflow due to overly complex Jsonb.
1198 : : *
1199 : : * Functions called here independently take this precaution, but that
1200 : : * might not be sufficient since this is also a recursive function.
1201 : : */
1202 : 29164 : check_stack_depth();
1203 : :
1204 : 29164 : rval = JsonbIteratorNext(val, &vval, false);
1205 : 29164 : rcont = JsonbIteratorNext(mContained, &vcontained, false);
1206 : :
1207 [ + + ]: 29164 : if (rval != rcont)
1208 : : {
1209 : : /*
1210 : : * The differing return values can immediately be taken as indicating
1211 : : * two differing container types at this nesting level, which is
1212 : : * sufficient reason to give up entirely (but it should be the case
1213 : : * that they're both some container type).
1214 : : */
1215 : : Assert(rval == WJB_BEGIN_OBJECT || rval == WJB_BEGIN_ARRAY);
1216 : : Assert(rcont == WJB_BEGIN_OBJECT || rcont == WJB_BEGIN_ARRAY);
1217 : 10 : return false;
1218 : : }
1219 [ + + ]: 29154 : else if (rcont == WJB_BEGIN_OBJECT)
1220 : : {
1221 : : Assert(vval.type == jbvObject);
1222 : : Assert(vcontained.type == jbvObject);
1223 : :
1224 : : /*
1225 : : * If the lhs has fewer pairs than the rhs, it can't possibly contain
1226 : : * the rhs. (This conclusion is safe only because we de-duplicate
1227 : : * keys in all Jsonb objects; thus there can be no corresponding
1228 : : * optimization in the array case.) The case probably won't arise
1229 : : * often, but since it's such a cheap check we may as well make it.
1230 : : */
1231 [ + + ]: 28880 : if (vval.val.object.nPairs < vcontained.val.object.nPairs)
1232 : 2400 : return false;
1233 : :
1234 : : /* Work through rhs "is it contained within?" object */
1235 : : for (;;)
1236 : 577 : {
1237 : : JsonbValue *lhsVal; /* lhsVal is from pair in lhs object */
1238 : : JsonbValue lhsValBuf;
1239 : :
1240 : 27057 : rcont = JsonbIteratorNext(mContained, &vcontained, false);
1241 : :
1242 : : /*
1243 : : * When we get through caller's rhs "is it contained within?"
1244 : : * object without failing to find one of its values, it's
1245 : : * contained.
1246 : : */
1247 [ + + ]: 27057 : if (rcont == WJB_END_OBJECT)
1248 : 26480 : return true;
1249 : :
1250 : : Assert(rcont == WJB_KEY);
1251 : : Assert(vcontained.type == jbvString);
1252 : :
1253 : : /* First, find value by key... */
1254 : : lhsVal =
1255 : 18524 : getKeyJsonValueFromContainer((*val)->container,
1256 : 18524 : vcontained.val.string.val,
1257 : : vcontained.val.string.len,
1258 : : &lhsValBuf);
1259 [ + + ]: 18524 : if (!lhsVal)
1260 : 15633 : return false;
1261 : :
1262 : : /*
1263 : : * ...at this stage it is apparent that there is at least a key
1264 : : * match for this rhs pair.
1265 : : */
1266 : 2891 : rcont = JsonbIteratorNext(mContained, &vcontained, true);
1267 : :
1268 : : Assert(rcont == WJB_VALUE);
1269 : :
1270 : : /*
1271 : : * Compare rhs pair's value with lhs pair's value just found using
1272 : : * key
1273 : : */
1274 [ + + ]: 2891 : if (lhsVal->type != vcontained.type)
1275 : : {
1276 : 784 : return false;
1277 : : }
1278 [ + + - + ]: 2107 : else if (IsAJsonbScalar(lhsVal))
1279 : : {
1280 [ + + ]: 2005 : if (!equalsJsonbScalarValue(lhsVal, &vcontained))
1281 : 1500 : return false;
1282 : : }
1283 : : else
1284 : : {
1285 : : /* Nested container value (object or array) */
1286 : : JsonbIterator *nestval,
1287 : : *nestContained;
1288 : :
1289 : : Assert(lhsVal->type == jbvBinary);
1290 : : Assert(vcontained.type == jbvBinary);
1291 : :
1292 : 102 : nestval = JsonbIteratorInit(lhsVal->val.binary.data);
1293 : 102 : nestContained = JsonbIteratorInit(vcontained.val.binary.data);
1294 : :
1295 : : /*
1296 : : * Match "value" side of rhs datum object's pair recursively.
1297 : : * It's a nested structure.
1298 : : *
1299 : : * Note that nesting still has to "match up" at the right
1300 : : * nesting sub-levels. However, there need only be zero or
1301 : : * more matching pairs (or elements) at each nesting level
1302 : : * (provided the *rhs* pairs/elements *all* match on each
1303 : : * level), which enables searching nested structures for a
1304 : : * single String or other primitive type sub-datum quite
1305 : : * effectively (provided the user constructed the rhs nested
1306 : : * structure such that we "know where to look").
1307 : : *
1308 : : * In other words, the mapping of container nodes in the rhs
1309 : : * "vcontained" Jsonb to internal nodes on the lhs is
1310 : : * injective, and parent-child edges on the rhs must be mapped
1311 : : * to parent-child edges on the lhs to satisfy the condition
1312 : : * of containment (plus of course the mapped nodes must be
1313 : : * equal).
1314 : : */
1315 [ + + ]: 102 : if (!JsonbDeepContains(&nestval, &nestContained))
1316 : 30 : return false;
1317 : : }
1318 : : }
1319 : : }
1320 [ + - ]: 274 : else if (rcont == WJB_BEGIN_ARRAY)
1321 : : {
1322 : 274 : JsonbValue *lhsConts = NULL;
1323 : 274 : uint32 nLhsElems = vval.val.array.nElems;
1324 : :
1325 : : Assert(vval.type == jbvArray);
1326 : : Assert(vcontained.type == jbvArray);
1327 : :
1328 : : /*
1329 : : * Handle distinction between "raw scalar" pseudo arrays, and real
1330 : : * arrays.
1331 : : *
1332 : : * A raw scalar may contain another raw scalar, and an array may
1333 : : * contain a raw scalar, but a raw scalar may not contain an array. We
1334 : : * don't do something like this for the object case, since objects can
1335 : : * only contain pairs, never raw scalars (a pair is represented by an
1336 : : * rhs object argument with a single contained pair).
1337 : : */
1338 [ + + + + ]: 274 : if (vval.val.array.rawScalar && !vcontained.val.array.rawScalar)
1339 : 5 : return false;
1340 : :
1341 : : /* Work through rhs "is it contained within?" array */
1342 : : for (;;)
1343 : : {
1344 : 634 : rcont = JsonbIteratorNext(mContained, &vcontained, true);
1345 : :
1346 : : /*
1347 : : * When we get through caller's rhs "is it contained within?"
1348 : : * array without failing to find one of its values, it's
1349 : : * contained.
1350 : : */
1351 [ + + ]: 634 : if (rcont == WJB_END_ARRAY)
1352 : 220 : return true;
1353 : :
1354 : : Assert(rcont == WJB_ELEM);
1355 : :
1356 [ + + - + ]: 414 : if (IsAJsonbScalar(&vcontained))
1357 : : {
1358 [ + + ]: 319 : if (!findJsonbValueFromContainer((*val)->container,
1359 : : JB_FARRAY,
1360 : : &vcontained))
1361 : 41 : return false;
1362 : : }
1363 : : else
1364 : : {
1365 : : uint32 i;
1366 : :
1367 : : /*
1368 : : * If this is first container found in rhs array (at this
1369 : : * depth), initialize temp lhs array of containers
1370 : : */
1371 [ + + ]: 95 : if (lhsConts == NULL)
1372 : : {
1373 : 90 : uint32 j = 0;
1374 : :
1375 : : /* Make room for all possible values */
1376 : 90 : lhsConts = palloc_array(JsonbValue, nLhsElems);
1377 : :
1378 [ + + ]: 302 : for (i = 0; i < nLhsElems; i++)
1379 : : {
1380 : : /* Store all lhs elements in temp array */
1381 : 212 : rcont = JsonbIteratorNext(val, &vval, true);
1382 : : Assert(rcont == WJB_ELEM);
1383 : :
1384 [ + + ]: 212 : if (vval.type == jbvBinary)
1385 : 103 : lhsConts[j++] = vval;
1386 : : }
1387 : :
1388 : : /* No container elements in temp array, so give up now */
1389 [ - + ]: 90 : if (j == 0)
1390 : 0 : return false;
1391 : :
1392 : : /* We may have only partially filled array */
1393 : 90 : nLhsElems = j;
1394 : : }
1395 : :
1396 : : /* XXX: Nested array containment is O(N^2) */
1397 [ + + ]: 116 : for (i = 0; i < nLhsElems; i++)
1398 : : {
1399 : : /* Nested container value (object or array) */
1400 : : JsonbIterator *nestval,
1401 : : *nestContained;
1402 : : bool contains;
1403 : :
1404 : 108 : nestval = JsonbIteratorInit(lhsConts[i].val.binary.data);
1405 : 108 : nestContained = JsonbIteratorInit(vcontained.val.binary.data);
1406 : :
1407 : 108 : contains = JsonbDeepContains(&nestval, &nestContained);
1408 : :
1409 [ + - ]: 108 : if (nestval)
1410 : 108 : pfree(nestval);
1411 [ + + ]: 108 : if (nestContained)
1412 : 21 : pfree(nestContained);
1413 [ + + ]: 108 : if (contains)
1414 : 87 : break;
1415 : : }
1416 : :
1417 : : /*
1418 : : * Report rhs container value is not contained if couldn't
1419 : : * match rhs container to *some* lhs cont
1420 : : */
1421 [ + + ]: 95 : if (i == nLhsElems)
1422 : 8 : return false;
1423 : : }
1424 : : }
1425 : : }
1426 : : else
1427 : : {
1428 [ # # ]: 0 : elog(ERROR, "invalid jsonb container type");
1429 : : }
1430 : :
1431 : : elog(ERROR, "unexpectedly fell off end of jsonb container");
1432 : : return false;
1433 : : }
1434 : :
1435 : : /*
1436 : : * Hash a JsonbValue scalar value, mixing the hash value into an existing
1437 : : * hash provided by the caller.
1438 : : *
1439 : : * Some callers may wish to independently XOR in JB_FOBJECT and JB_FARRAY
1440 : : * flags.
1441 : : */
1442 : : void
1443 : 115932 : JsonbHashScalarValue(const JsonbValue *scalarVal, uint32 *hash)
1444 : : {
1445 : : uint32 tmp;
1446 : :
1447 : : /* Compute hash value for scalarVal */
1448 [ + + + + : 115932 : switch (scalarVal->type)
- ]
1449 : : {
1450 : 70 : case jbvNull:
1451 : 70 : tmp = 0x01;
1452 : 70 : break;
1453 : 84857 : case jbvString:
1454 : 84857 : tmp = DatumGetUInt32(hash_any((const unsigned char *) scalarVal->val.string.val,
1455 : 84857 : scalarVal->val.string.len));
1456 : 84857 : break;
1457 : 19906 : case jbvNumeric:
1458 : : /* Must hash equal numerics to equal hash codes */
1459 : 19906 : tmp = DatumGetUInt32(DirectFunctionCall1(hash_numeric,
1460 : : NumericGetDatum(scalarVal->val.numeric)));
1461 : 19906 : break;
1462 : 11099 : case jbvBool:
1463 [ + + ]: 11099 : tmp = scalarVal->val.boolean ? 0x02 : 0x04;
1464 : :
1465 : 11099 : break;
1466 : 0 : default:
1467 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
1468 : : tmp = 0; /* keep compiler quiet */
1469 : : break;
1470 : : }
1471 : :
1472 : : /*
1473 : : * Combine hash values of successive keys, values and elements by rotating
1474 : : * the previous value left 1 bit, then XOR'ing in the new
1475 : : * key/value/element's hash value.
1476 : : */
1477 : 115932 : *hash = pg_rotate_left32(*hash, 1);
1478 : 115932 : *hash ^= tmp;
1479 : 115932 : }
1480 : :
1481 : : /*
1482 : : * Hash a value to a 64-bit value, with a seed. Otherwise, similar to
1483 : : * JsonbHashScalarValue.
1484 : : */
1485 : : void
1486 : 144 : JsonbHashScalarValueExtended(const JsonbValue *scalarVal, uint64 *hash,
1487 : : uint64 seed)
1488 : : {
1489 : : uint64 tmp;
1490 : :
1491 [ + + + + : 144 : switch (scalarVal->type)
- ]
1492 : : {
1493 : 8 : case jbvNull:
1494 : 8 : tmp = seed + 0x01;
1495 : 8 : break;
1496 : 120 : case jbvString:
1497 : 120 : tmp = DatumGetUInt64(hash_any_extended((const unsigned char *) scalarVal->val.string.val,
1498 : 120 : scalarVal->val.string.len,
1499 : : seed));
1500 : 120 : break;
1501 : 8 : case jbvNumeric:
1502 : 8 : tmp = DatumGetUInt64(DirectFunctionCall2(hash_numeric_extended,
1503 : : NumericGetDatum(scalarVal->val.numeric),
1504 : : UInt64GetDatum(seed)));
1505 : 8 : break;
1506 : 8 : case jbvBool:
1507 [ + + ]: 8 : if (seed)
1508 : 4 : tmp = DatumGetUInt64(DirectFunctionCall2(hashcharextended,
1509 : : BoolGetDatum(scalarVal->val.boolean),
1510 : : UInt64GetDatum(seed)));
1511 : : else
1512 [ + - ]: 4 : tmp = scalarVal->val.boolean ? 0x02 : 0x04;
1513 : :
1514 : 8 : break;
1515 : 0 : default:
1516 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
1517 : : break;
1518 : : }
1519 : :
1520 : 144 : *hash = ROTATE_HIGH_AND_LOW_32BITS(*hash);
1521 : 144 : *hash ^= tmp;
1522 : 144 : }
1523 : :
1524 : : /*
1525 : : * Are two scalar JsonbValues of the same type a and b equal?
1526 : : */
1527 : : static bool
1528 : 2559 : equalsJsonbScalarValue(JsonbValue *a, JsonbValue *b)
1529 : : {
1530 [ + - ]: 2559 : if (a->type == b->type)
1531 : : {
1532 [ + + + + : 2559 : switch (a->type)
- ]
1533 : : {
1534 : 32 : case jbvNull:
1535 : 32 : return true;
1536 : 2080 : case jbvString:
1537 : 2080 : return lengthCompareJsonbStringValue(a, b) == 0;
1538 : 411 : case jbvNumeric:
1539 : 411 : return DatumGetBool(DirectFunctionCall2(numeric_eq,
1540 : : PointerGetDatum(a->val.numeric),
1541 : : PointerGetDatum(b->val.numeric)));
1542 : 36 : case jbvBool:
1543 : 36 : return a->val.boolean == b->val.boolean;
1544 : :
1545 : 0 : default:
1546 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
1547 : : }
1548 : : }
1549 [ # # ]: 0 : elog(ERROR, "jsonb scalar type mismatch");
1550 : : return false;
1551 : : }
1552 : :
1553 : : /*
1554 : : * Compare two scalar JsonbValues, returning -1, 0, or 1.
1555 : : *
1556 : : * Strings are compared using the default collation. Used by B-tree
1557 : : * operators, where a lexical sort order is generally expected.
1558 : : */
1559 : : static int
1560 : 313144 : compareJsonbScalarValue(JsonbValue *a, JsonbValue *b)
1561 : : {
1562 [ + - ]: 313144 : if (a->type == b->type)
1563 : : {
1564 [ + + + + : 313144 : switch (a->type)
- ]
1565 : : {
1566 : 15 : case jbvNull:
1567 : 15 : return 0;
1568 : 213197 : case jbvString:
1569 : 213197 : return varstr_cmp(a->val.string.val,
1570 : : a->val.string.len,
1571 : 213197 : b->val.string.val,
1572 : : b->val.string.len,
1573 : : DEFAULT_COLLATION_OID);
1574 : 74080 : case jbvNumeric:
1575 : 74080 : return DatumGetInt32(DirectFunctionCall2(numeric_cmp,
1576 : : PointerGetDatum(a->val.numeric),
1577 : : PointerGetDatum(b->val.numeric)));
1578 : 25852 : case jbvBool:
1579 [ + + ]: 25852 : if (a->val.boolean == b->val.boolean)
1580 : 22479 : return 0;
1581 [ + + ]: 3373 : else if (a->val.boolean > b->val.boolean)
1582 : 1777 : return 1;
1583 : : else
1584 : 1596 : return -1;
1585 : 0 : default:
1586 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
1587 : : }
1588 : : }
1589 [ # # ]: 0 : elog(ERROR, "jsonb scalar type mismatch");
1590 : : return -1;
1591 : : }
1592 : :
1593 : :
1594 : : /*
1595 : : * Functions for manipulating the resizable buffer used by convertJsonb and
1596 : : * its subroutines.
1597 : : */
1598 : :
1599 : : /*
1600 : : * Reserve 'len' bytes, at the end of the buffer, enlarging it if necessary.
1601 : : * Returns the offset to the reserved area. The caller is expected to fill
1602 : : * the reserved area later with copyToBuffer().
1603 : : */
1604 : : static int
1605 : 461834 : reserveFromBuffer(StringInfo buffer, int len)
1606 : : {
1607 : : int offset;
1608 : :
1609 : : /* Make more room if needed */
1610 : 461834 : enlargeStringInfo(buffer, len);
1611 : :
1612 : : /* remember current offset */
1613 : 461834 : offset = buffer->len;
1614 : :
1615 : : /* reserve the space */
1616 : 461834 : buffer->len += len;
1617 : :
1618 : : /*
1619 : : * Keep a trailing null in place, even though it's not useful for us; it
1620 : : * seems best to preserve the invariants of StringInfos.
1621 : : */
1622 : 461834 : buffer->data[buffer->len] = '\0';
1623 : :
1624 : 461834 : return offset;
1625 : : }
1626 : :
1627 : : /*
1628 : : * Copy 'len' bytes to a previously reserved area in buffer.
1629 : : */
1630 : : static void
1631 : 362276 : copyToBuffer(StringInfo buffer, int offset, const void *data, int len)
1632 : : {
1633 : 362276 : memcpy(buffer->data + offset, data, len);
1634 : 362276 : }
1635 : :
1636 : : /*
1637 : : * A shorthand for reserveFromBuffer + copyToBuffer.
1638 : : */
1639 : : static void
1640 : 204121 : appendToBuffer(StringInfo buffer, const void *data, int len)
1641 : : {
1642 : : int offset;
1643 : :
1644 : 204121 : offset = reserveFromBuffer(buffer, len);
1645 : 204121 : copyToBuffer(buffer, offset, data, len);
1646 : 204121 : }
1647 : :
1648 : :
1649 : : /*
1650 : : * Append padding, so that the length of the StringInfo is int-aligned.
1651 : : * Returns the number of padding bytes appended.
1652 : : */
1653 : : static short
1654 : 116106 : padBufferToInt(StringInfo buffer)
1655 : : {
1656 : : int padlen,
1657 : : p,
1658 : : offset;
1659 : :
1660 : 116106 : padlen = INTALIGN(buffer->len) - buffer->len;
1661 : :
1662 : 116106 : offset = reserveFromBuffer(buffer, padlen);
1663 : :
1664 : : /* padlen must be small, so this is probably faster than a memset */
1665 [ + + ]: 151168 : for (p = 0; p < padlen; p++)
1666 : 35062 : buffer->data[offset + p] = '\0';
1667 : :
1668 : 116106 : return padlen;
1669 : : }
1670 : :
1671 : : /*
1672 : : * Given a JsonbValue, convert to Jsonb. The result is palloc'd.
1673 : : */
1674 : : static Jsonb *
1675 : 65881 : convertToJsonb(JsonbValue *val)
1676 : : {
1677 : : StringInfoData buffer;
1678 : : JEntry jentry;
1679 : : Jsonb *res;
1680 : :
1681 : : /* Should not already have binary representation */
1682 : : Assert(val->type != jbvBinary);
1683 : :
1684 : : /* Allocate an output buffer. It will be enlarged as needed */
1685 : 65881 : initStringInfo(&buffer);
1686 : :
1687 : : /* Make room for the varlena header */
1688 : 65881 : reserveFromBuffer(&buffer, VARHDRSZ);
1689 : :
1690 : 65881 : convertJsonbValue(&buffer, &jentry, val, 0);
1691 : :
1692 : : /*
1693 : : * Note: the JEntry of the root is discarded. Therefore the root
1694 : : * JsonbContainer struct must contain enough information to tell what kind
1695 : : * of value it is.
1696 : : */
1697 : :
1698 : 65881 : res = (Jsonb *) buffer.data;
1699 : :
1700 : 65881 : SET_VARSIZE(res, buffer.len);
1701 : :
1702 : 65881 : return res;
1703 : : }
1704 : :
1705 : : /*
1706 : : * Subroutine of convertJsonb: serialize a single JsonbValue into buffer.
1707 : : *
1708 : : * The JEntry header for this node is returned in *header. It is filled in
1709 : : * with the length of this value and appropriate type bits. If we wish to
1710 : : * store an end offset rather than a length, it is the caller's responsibility
1711 : : * to adjust for that.
1712 : : *
1713 : : * If the value is an array or an object, this recurses. 'level' is only used
1714 : : * for debugging purposes.
1715 : : */
1716 : : static void
1717 : 180821 : convertJsonbValue(StringInfo buffer, JEntry *header, JsonbValue *val, int level)
1718 : : {
1719 : 180821 : check_stack_depth();
1720 : :
1721 [ - + ]: 180821 : if (!val)
1722 : 0 : return;
1723 : :
1724 : : /*
1725 : : * A JsonbValue passed as val should never have a type of jbvBinary, and
1726 : : * neither should any of its sub-components. Those values will be produced
1727 : : * by convertJsonbArray and convertJsonbObject, the results of which will
1728 : : * not be passed back to this function as an argument.
1729 : : */
1730 : :
1731 [ + + + + ]: 180821 : if (IsAJsonbScalar(val))
1732 : 105095 : convertJsonbScalar(buffer, header, val);
1733 [ + + ]: 75726 : else if (val->type == jbvArray)
1734 : 60397 : convertJsonbArray(buffer, header, val, level);
1735 [ + - ]: 15329 : else if (val->type == jbvObject)
1736 : 15329 : convertJsonbObject(buffer, header, val, level);
1737 : : else
1738 [ # # ]: 0 : elog(ERROR, "unknown type of jsonb container to convert");
1739 : : }
1740 : :
1741 : : static void
1742 : 60397 : convertJsonbArray(StringInfo buffer, JEntry *header, JsonbValue *val, int level)
1743 : : {
1744 : : int base_offset;
1745 : : int jentry_offset;
1746 : : int i;
1747 : : int totallen;
1748 : : uint32 containerhead;
1749 : 60397 : int nElems = val->val.array.nElems;
1750 : :
1751 : : /* Remember where in the buffer this array starts. */
1752 : 60397 : base_offset = buffer->len;
1753 : :
1754 : : /* Align to 4-byte boundary (any padding counts as part of my data) */
1755 : 60397 : padBufferToInt(buffer);
1756 : :
1757 : : /*
1758 : : * Construct the header Jentry and store it in the beginning of the
1759 : : * variable-length payload.
1760 : : */
1761 : 60397 : containerhead = nElems | JB_FARRAY;
1762 [ + + ]: 60397 : if (val->val.array.rawScalar)
1763 : : {
1764 : : Assert(nElems == 1);
1765 : : Assert(level == 0);
1766 : 51128 : containerhead |= JB_FSCALAR;
1767 : : }
1768 : :
1769 : 60397 : appendToBuffer(buffer, &containerhead, sizeof(uint32));
1770 : :
1771 : : /* Reserve space for the JEntries of the elements. */
1772 : 60397 : jentry_offset = reserveFromBuffer(buffer, sizeof(JEntry) * nElems);
1773 : :
1774 : 60397 : totallen = 0;
1775 [ + + ]: 132122 : for (i = 0; i < nElems; i++)
1776 : : {
1777 : 71725 : JsonbValue *elem = &val->val.array.elems[i];
1778 : : int len;
1779 : : JEntry meta;
1780 : :
1781 : : /*
1782 : : * Convert element, producing a JEntry and appending its
1783 : : * variable-length data to buffer
1784 : : */
1785 : 71725 : convertJsonbValue(buffer, &meta, elem, level + 1);
1786 : :
1787 : 71725 : len = JBE_OFFLENFLD(meta);
1788 : 71725 : totallen += len;
1789 : :
1790 : : /*
1791 : : * Bail out if total variable-length data exceeds what will fit in a
1792 : : * JEntry length field. We check this in each iteration, not just
1793 : : * once at the end, to forestall possible integer overflow.
1794 : : */
1795 [ - + ]: 71725 : if (totallen > JENTRY_OFFLENMASK)
1796 [ # # ]: 0 : ereport(ERROR,
1797 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
1798 : : errmsg("total size of jsonb array elements exceeds the maximum of %d bytes",
1799 : : JENTRY_OFFLENMASK)));
1800 : :
1801 : : /*
1802 : : * Convert each JB_OFFSET_STRIDE'th length to an offset.
1803 : : */
1804 [ + + ]: 71725 : if ((i % JB_OFFSET_STRIDE) == 0)
1805 : 59037 : meta = (meta & JENTRY_TYPEMASK) | totallen | JENTRY_HAS_OFF;
1806 : :
1807 : 71725 : copyToBuffer(buffer, jentry_offset, &meta, sizeof(JEntry));
1808 : 71725 : jentry_offset += sizeof(JEntry);
1809 : : }
1810 : :
1811 : : /* Total data size is everything we've appended to buffer */
1812 : 60397 : totallen = buffer->len - base_offset;
1813 : :
1814 : : /* Check length again, since we didn't include the metadata above */
1815 [ - + ]: 60397 : if (totallen > JENTRY_OFFLENMASK)
1816 [ # # ]: 0 : ereport(ERROR,
1817 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
1818 : : errmsg("total size of jsonb array elements exceeds the maximum of %d bytes",
1819 : : JENTRY_OFFLENMASK)));
1820 : :
1821 : : /* Initialize the header of this node in the container's JEntry array */
1822 : 60397 : *header = JENTRY_ISCONTAINER | totallen;
1823 : 60397 : }
1824 : :
1825 : : static void
1826 : 15329 : convertJsonbObject(StringInfo buffer, JEntry *header, JsonbValue *val, int level)
1827 : : {
1828 : : int base_offset;
1829 : : int jentry_offset;
1830 : : int i;
1831 : : int totallen;
1832 : : uint32 containerheader;
1833 : 15329 : int nPairs = val->val.object.nPairs;
1834 : :
1835 : : /* Remember where in the buffer this object starts. */
1836 : 15329 : base_offset = buffer->len;
1837 : :
1838 : : /* Align to 4-byte boundary (any padding counts as part of my data) */
1839 : 15329 : padBufferToInt(buffer);
1840 : :
1841 : : /*
1842 : : * Construct the header Jentry and store it in the beginning of the
1843 : : * variable-length payload.
1844 : : */
1845 : 15329 : containerheader = nPairs | JB_FOBJECT;
1846 : 15329 : appendToBuffer(buffer, &containerheader, sizeof(uint32));
1847 : :
1848 : : /* Reserve space for the JEntries of the keys and values. */
1849 : 15329 : jentry_offset = reserveFromBuffer(buffer, sizeof(JEntry) * nPairs * 2);
1850 : :
1851 : : /*
1852 : : * Iterate over the keys, then over the values, since that is the ordering
1853 : : * we want in the on-disk representation.
1854 : : */
1855 : 15329 : totallen = 0;
1856 [ + + ]: 58544 : for (i = 0; i < nPairs; i++)
1857 : : {
1858 : 43215 : JsonbPair *pair = &val->val.object.pairs[i];
1859 : : int len;
1860 : : JEntry meta;
1861 : :
1862 : : /*
1863 : : * Convert key, producing a JEntry and appending its variable-length
1864 : : * data to buffer
1865 : : */
1866 : 43215 : convertJsonbScalar(buffer, &meta, &pair->key);
1867 : :
1868 : 43215 : len = JBE_OFFLENFLD(meta);
1869 : 43215 : totallen += len;
1870 : :
1871 : : /*
1872 : : * Bail out if total variable-length data exceeds what will fit in a
1873 : : * JEntry length field. We check this in each iteration, not just
1874 : : * once at the end, to forestall possible integer overflow.
1875 : : */
1876 [ - + ]: 43215 : if (totallen > JENTRY_OFFLENMASK)
1877 [ # # ]: 0 : ereport(ERROR,
1878 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
1879 : : errmsg("total size of jsonb object elements exceeds the maximum of %d bytes",
1880 : : JENTRY_OFFLENMASK)));
1881 : :
1882 : : /*
1883 : : * Convert each JB_OFFSET_STRIDE'th length to an offset.
1884 : : */
1885 [ + + ]: 43215 : if ((i % JB_OFFSET_STRIDE) == 0)
1886 : 13525 : meta = (meta & JENTRY_TYPEMASK) | totallen | JENTRY_HAS_OFF;
1887 : :
1888 : 43215 : copyToBuffer(buffer, jentry_offset, &meta, sizeof(JEntry));
1889 : 43215 : jentry_offset += sizeof(JEntry);
1890 : : }
1891 [ + + ]: 58544 : for (i = 0; i < nPairs; i++)
1892 : : {
1893 : 43215 : JsonbPair *pair = &val->val.object.pairs[i];
1894 : : int len;
1895 : : JEntry meta;
1896 : :
1897 : : /*
1898 : : * Convert value, producing a JEntry and appending its variable-length
1899 : : * data to buffer
1900 : : */
1901 : 43215 : convertJsonbValue(buffer, &meta, &pair->value, level + 1);
1902 : :
1903 : 43215 : len = JBE_OFFLENFLD(meta);
1904 : 43215 : totallen += len;
1905 : :
1906 : : /*
1907 : : * Bail out if total variable-length data exceeds what will fit in a
1908 : : * JEntry length field. We check this in each iteration, not just
1909 : : * once at the end, to forestall possible integer overflow.
1910 : : */
1911 [ - + ]: 43215 : if (totallen > JENTRY_OFFLENMASK)
1912 [ # # ]: 0 : ereport(ERROR,
1913 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
1914 : : errmsg("total size of jsonb object elements exceeds the maximum of %d bytes",
1915 : : JENTRY_OFFLENMASK)));
1916 : :
1917 : : /*
1918 : : * Convert each JB_OFFSET_STRIDE'th length to an offset.
1919 : : */
1920 [ + + ]: 43215 : if (((i + nPairs) % JB_OFFSET_STRIDE) == 0)
1921 : 92 : meta = (meta & JENTRY_TYPEMASK) | totallen | JENTRY_HAS_OFF;
1922 : :
1923 : 43215 : copyToBuffer(buffer, jentry_offset, &meta, sizeof(JEntry));
1924 : 43215 : jentry_offset += sizeof(JEntry);
1925 : : }
1926 : :
1927 : : /* Total data size is everything we've appended to buffer */
1928 : 15329 : totallen = buffer->len - base_offset;
1929 : :
1930 : : /* Check length again, since we didn't include the metadata above */
1931 [ - + ]: 15329 : if (totallen > JENTRY_OFFLENMASK)
1932 [ # # ]: 0 : ereport(ERROR,
1933 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
1934 : : errmsg("total size of jsonb object elements exceeds the maximum of %d bytes",
1935 : : JENTRY_OFFLENMASK)));
1936 : :
1937 : : /* Initialize the header of this node in the container's JEntry array */
1938 : 15329 : *header = JENTRY_ISCONTAINER | totallen;
1939 : 15329 : }
1940 : :
1941 : : static void
1942 : 148310 : convertJsonbScalar(StringInfo buffer, JEntry *header, JsonbValue *scalarVal)
1943 : : {
1944 : : int numlen;
1945 : : short padlen;
1946 : :
1947 [ + + + + : 148310 : switch (scalarVal->type)
+ - ]
1948 : : {
1949 : 3339 : case jbvNull:
1950 : 3339 : *header = JENTRY_ISNULL;
1951 : 3339 : break;
1952 : :
1953 : 86991 : case jbvString:
1954 : 86991 : appendToBuffer(buffer, scalarVal->val.string.val, scalarVal->val.string.len);
1955 : :
1956 : 86991 : *header = scalarVal->val.string.len;
1957 : 86991 : break;
1958 : :
1959 : 40380 : case jbvNumeric:
1960 : 40380 : numlen = VARSIZE_ANY(scalarVal->val.numeric);
1961 : 40380 : padlen = padBufferToInt(buffer);
1962 : :
1963 : 40380 : appendToBuffer(buffer, scalarVal->val.numeric, numlen);
1964 : :
1965 : 40380 : *header = JENTRY_ISNUMERIC | (padlen + numlen);
1966 : 40380 : break;
1967 : :
1968 : 16576 : case jbvBool:
1969 : 33152 : *header = (scalarVal->val.boolean) ?
1970 [ + + ]: 16576 : JENTRY_ISBOOL_TRUE : JENTRY_ISBOOL_FALSE;
1971 : 16576 : break;
1972 : :
1973 : 1024 : case jbvDatetime:
1974 : : {
1975 : : char buf[MAXDATELEN + 1];
1976 : : size_t len;
1977 : :
1978 : 1024 : JsonEncodeDateTime(buf,
1979 : : scalarVal->val.datetime.value,
1980 : : scalarVal->val.datetime.typid,
1981 : 1024 : &scalarVal->val.datetime.tz);
1982 : 1024 : len = strlen(buf);
1983 : 1024 : appendToBuffer(buffer, buf, len);
1984 : :
1985 : 1024 : *header = len;
1986 : : }
1987 : 1024 : break;
1988 : :
1989 : 0 : default:
1990 [ # # ]: 0 : elog(ERROR, "invalid jsonb scalar type");
1991 : : }
1992 : 148310 : }
1993 : :
1994 : : /*
1995 : : * Compare two jbvString JsonbValue values, a and b.
1996 : : *
1997 : : * This is a special qsort() comparator used to sort strings in certain
1998 : : * internal contexts where it is sufficient to have a well-defined sort order.
1999 : : * In particular, object pair keys are sorted according to this criteria to
2000 : : * facilitate cheap binary searches where we don't care about lexical sort
2001 : : * order.
2002 : : *
2003 : : * a and b are first sorted based on their length. If a tie-breaker is
2004 : : * required, only then do we consider string binary equality.
2005 : : */
2006 : : static int
2007 : 60626 : lengthCompareJsonbStringValue(const void *a, const void *b)
2008 : : {
2009 : 60626 : const JsonbValue *va = (const JsonbValue *) a;
2010 : 60626 : const JsonbValue *vb = (const JsonbValue *) b;
2011 : :
2012 : : Assert(va->type == jbvString);
2013 : : Assert(vb->type == jbvString);
2014 : :
2015 : 121252 : return lengthCompareJsonbString(va->val.string.val, va->val.string.len,
2016 : 60626 : vb->val.string.val, vb->val.string.len);
2017 : : }
2018 : :
2019 : : /*
2020 : : * Subroutine for lengthCompareJsonbStringValue
2021 : : *
2022 : : * This is also useful separately to implement binary search on
2023 : : * JsonbContainers.
2024 : : */
2025 : : static int
2026 : 470486 : lengthCompareJsonbString(const char *val1, int len1, const char *val2, int len2)
2027 : : {
2028 [ + + ]: 470486 : if (len1 == len2)
2029 : 148425 : return memcmp(val1, val2, len1);
2030 : : else
2031 [ + + ]: 322061 : return len1 > len2 ? 1 : -1;
2032 : : }
2033 : :
2034 : : /*
2035 : : * qsort_arg() comparator to compare JsonbPair values.
2036 : : *
2037 : : * Third argument 'binequal' may point to a bool. If it's set, *binequal is set
2038 : : * to true iff a and b have full binary equality, since some callers have an
2039 : : * interest in whether the two values are equal or merely equivalent.
2040 : : *
2041 : : * N.B: String comparisons here are "length-wise"
2042 : : *
2043 : : * Pairs with equals keys are ordered such that the order field is respected.
2044 : : */
2045 : : static int
2046 : 58329 : lengthCompareJsonbPair(const void *a, const void *b, void *binequal)
2047 : : {
2048 : 58329 : const JsonbPair *pa = (const JsonbPair *) a;
2049 : 58329 : const JsonbPair *pb = (const JsonbPair *) b;
2050 : : int res;
2051 : :
2052 : 58329 : res = lengthCompareJsonbStringValue(&pa->key, &pb->key);
2053 [ + + + - ]: 58329 : if (res == 0 && binequal)
2054 : 124 : *((bool *) binequal) = true;
2055 : :
2056 : : /*
2057 : : * Guarantee keeping order of equal pair. Unique algorithm will prefer
2058 : : * first element as value.
2059 : : */
2060 [ + + ]: 58329 : if (res == 0)
2061 [ - + ]: 124 : res = (pa->order > pb->order) ? -1 : 1;
2062 : :
2063 : 58329 : return res;
2064 : : }
2065 : :
2066 : : /*
2067 : : * Sort and unique-ify pairs in JsonbValue object
2068 : : */
2069 : : static void
2070 : 15353 : uniqueifyJsonbObject(JsonbValue *object, bool unique_keys, bool skip_nulls)
2071 : : {
2072 : 15353 : JsonbPair *pairs = object->val.object.pairs;
2073 : 15353 : int nPairs = object->val.object.nPairs;
2074 : 15353 : bool hasNonUniq = false;
2075 : :
2076 : : Assert(object->type == jbvObject);
2077 : :
2078 [ + + ]: 15353 : if (nPairs > 1)
2079 : 8270 : qsort_arg(pairs, nPairs, sizeof(JsonbPair),
2080 : : lengthCompareJsonbPair, &hasNonUniq);
2081 : :
2082 [ + + + + ]: 15353 : if (hasNonUniq && unique_keys)
2083 [ + - ]: 20 : ereport(ERROR,
2084 : : errcode(ERRCODE_DUPLICATE_JSON_OBJECT_KEY_VALUE),
2085 : : errmsg("duplicate JSON object key value"));
2086 : :
2087 [ + + + + ]: 15333 : if (hasNonUniq || skip_nulls)
2088 : : {
2089 : 161 : int nNewPairs = 0;
2090 : :
2091 [ + + ]: 543 : for (int i = 0; i < nPairs; i++)
2092 : : {
2093 : 382 : JsonbPair *ptr = pairs + i;
2094 : :
2095 : : /* Skip duplicate keys */
2096 [ + + + + ]: 599 : if (nNewPairs > 0 &&
2097 : 217 : lengthCompareJsonbStringValue(&pairs[nNewPairs - 1].key,
2098 : 217 : &ptr->key) == 0)
2099 : 104 : continue;
2100 : : /* Skip null values, if told to */
2101 [ + + + + ]: 278 : if (skip_nulls && ptr->value.type == jbvNull)
2102 : 64 : continue;
2103 : : /* Emit this pair, but avoid no-op copy */
2104 [ + + ]: 214 : if (i > nNewPairs)
2105 : 84 : pairs[nNewPairs] = *ptr;
2106 : 214 : nNewPairs++;
2107 : : }
2108 : 161 : object->val.object.nPairs = nNewPairs;
2109 : : }
2110 : 15333 : }
|
