Branch data Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * ginbulk.c
4 : : * routines for fast build of inverted index
5 : : *
6 : : *
7 : : * Portions Copyright (c) 1996-2026, PostgreSQL Global Development Group
8 : : * Portions Copyright (c) 1994, Regents of the University of California
9 : : *
10 : : * IDENTIFICATION
11 : : * src/backend/access/gin/ginbulk.c
12 : : *-------------------------------------------------------------------------
13 : : */
14 : :
15 : : #include "postgres.h"
16 : :
17 : : #include <limits.h>
18 : :
19 : : #include "access/gin_private.h"
20 : : #include "utils/datum.h"
21 : : #include "utils/memutils.h"
22 : :
23 : :
24 : : #define DEF_NENTRY 2048 /* GinEntryAccumulator allocation quantum */
25 : : #define DEF_NPTR 5 /* ItemPointer initial allocation quantum */
26 : :
27 : :
28 : : /* Combiner function for rbtree.c */
29 : : static void
30 : 1430213 : ginCombineData(RBTNode *existing, const RBTNode *newdata, void *arg)
31 : : {
32 : 1430213 : GinEntryAccumulator *eo = (GinEntryAccumulator *) existing;
33 : 1430213 : const GinEntryAccumulator *en = (const GinEntryAccumulator *) newdata;
34 : 1430213 : BuildAccumulator *accum = (BuildAccumulator *) arg;
35 : :
36 : : /*
37 : : * Note this code assumes that newdata contains only one itempointer.
38 : : */
39 [ + + ]: 1430213 : if (eo->count >= eo->maxcount)
40 : : {
41 [ - + ]: 58557 : if (eo->maxcount > INT_MAX)
42 [ # # ]: 0 : ereport(ERROR,
43 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
44 : : errmsg("posting list is too long"),
45 : : errhint("Reduce \"maintenance_work_mem\".")));
46 : :
47 : 58557 : accum->allocatedMemory -= GetMemoryChunkSpace(eo->list);
48 : 58557 : eo->maxcount *= 2;
49 : 58557 : eo->list = (ItemPointerData *)
50 : 58557 : repalloc_huge(eo->list, sizeof(ItemPointerData) * eo->maxcount);
51 : 58557 : accum->allocatedMemory += GetMemoryChunkSpace(eo->list);
52 : : }
53 : :
54 : : /* If item pointers are not ordered, they will need to be sorted later */
55 [ + - ]: 1430213 : if (eo->shouldSort == false)
56 : : {
57 : : int res;
58 : :
59 : 1430213 : res = ginCompareItemPointers(eo->list + eo->count - 1, en->list);
60 : : Assert(res != 0);
61 : :
62 [ - + ]: 1430213 : if (res > 0)
63 : 0 : eo->shouldSort = true;
64 : : }
65 : :
66 : 1430213 : eo->list[eo->count] = en->list[0];
67 : 1430213 : eo->count++;
68 : 1430213 : }
69 : :
70 : : /* Comparator function for rbtree.c */
71 : : static int
72 : 18194317 : cmpEntryAccumulator(const RBTNode *a, const RBTNode *b, void *arg)
73 : : {
74 : 18194317 : const GinEntryAccumulator *ea = (const GinEntryAccumulator *) a;
75 : 18194317 : const GinEntryAccumulator *eb = (const GinEntryAccumulator *) b;
76 : 18194317 : BuildAccumulator *accum = (BuildAccumulator *) arg;
77 : :
78 : 36388634 : return ginCompareAttEntries(accum->ginstate,
79 : 18194317 : ea->attnum, ea->key, ea->category,
80 : 18194317 : eb->attnum, eb->key, eb->category);
81 : : }
82 : :
83 : : /* Allocator function for rbtree.c */
84 : : static RBTNode *
85 : 343263 : ginAllocEntryAccumulator(void *arg)
86 : : {
87 : 343263 : BuildAccumulator *accum = (BuildAccumulator *) arg;
88 : : GinEntryAccumulator *ea;
89 : :
90 : : /*
91 : : * Allocate memory by rather big chunks to decrease overhead. We have no
92 : : * need to reclaim RBTNodes individually, so this costs nothing.
93 : : */
94 [ + + + + ]: 343263 : if (accum->entryallocator == NULL || accum->eas_used >= DEF_NENTRY)
95 : : {
96 : 364 : accum->entryallocator = palloc_array(GinEntryAccumulator, DEF_NENTRY);
97 : 364 : accum->allocatedMemory += GetMemoryChunkSpace(accum->entryallocator);
98 : 364 : accum->eas_used = 0;
99 : : }
100 : :
101 : : /* Allocate new RBTNode from current chunk */
102 : 343263 : ea = accum->entryallocator + accum->eas_used;
103 : 343263 : accum->eas_used++;
104 : :
105 : 343263 : return (RBTNode *) ea;
106 : : }
107 : :
108 : : void
109 : 338 : ginInitBA(BuildAccumulator *accum)
110 : : {
111 : : /* accum->ginstate is intentionally not set here */
112 : 338 : accum->allocatedMemory = 0;
113 : 338 : accum->entryallocator = NULL;
114 : 338 : accum->eas_used = 0;
115 : 338 : accum->tree = rbt_create(sizeof(GinEntryAccumulator),
116 : : cmpEntryAccumulator,
117 : : ginCombineData,
118 : : ginAllocEntryAccumulator,
119 : : NULL, /* no freefunc needed */
120 : : accum);
121 : 338 : }
122 : :
123 : : /*
124 : : * This is basically the same as datumCopy(), but extended to count
125 : : * palloc'd space in accum->allocatedMemory.
126 : : */
127 : : static Datum
128 : 343161 : getDatumCopy(BuildAccumulator *accum, OffsetNumber attnum, Datum value)
129 : : {
130 : : CompactAttribute *att;
131 : : Datum res;
132 : :
133 : 343161 : att = TupleDescCompactAttr(accum->ginstate->origTupdesc, attnum - 1);
134 [ + + ]: 343161 : if (att->attbyval)
135 : 322818 : res = value;
136 : : else
137 : : {
138 : 20343 : res = datumCopy(value, false, att->attlen);
139 : 20343 : accum->allocatedMemory += GetMemoryChunkSpace(DatumGetPointer(res));
140 : : }
141 : 343161 : return res;
142 : : }
143 : :
144 : : /*
145 : : * Find/store one entry from indexed value.
146 : : */
147 : : static void
148 : 1773476 : ginInsertBAEntry(BuildAccumulator *accum,
149 : : ItemPointer heapptr, OffsetNumber attnum,
150 : : Datum key, GinNullCategory category)
151 : : {
152 : : GinEntryAccumulator eatmp;
153 : : GinEntryAccumulator *ea;
154 : : bool isNew;
155 : :
156 : : /*
157 : : * For the moment, fill only the fields of eatmp that will be looked at by
158 : : * cmpEntryAccumulator or ginCombineData.
159 : : */
160 : 1773476 : eatmp.attnum = attnum;
161 : 1773476 : eatmp.key = key;
162 : 1773476 : eatmp.category = category;
163 : : /* temporarily set up single-entry itempointer list */
164 : 1773476 : eatmp.list = heapptr;
165 : :
166 : 1773476 : ea = (GinEntryAccumulator *) rbt_insert(accum->tree, (RBTNode *) &eatmp,
167 : : &isNew);
168 : :
169 [ + + ]: 1773476 : if (isNew)
170 : : {
171 : : /*
172 : : * Finish initializing new tree entry, including making permanent
173 : : * copies of the datum (if it's not null) and itempointer.
174 : : */
175 [ + + ]: 343263 : if (category == GIN_CAT_NORM_KEY)
176 : 343161 : ea->key = getDatumCopy(accum, attnum, key);
177 : 343263 : ea->maxcount = DEF_NPTR;
178 : 343263 : ea->count = 1;
179 : 343263 : ea->shouldSort = false;
180 : 343263 : ea->list = palloc_array(ItemPointerData, DEF_NPTR);
181 : 343263 : ea->list[0] = *heapptr;
182 : 343263 : accum->allocatedMemory += GetMemoryChunkSpace(ea->list);
183 : : }
184 : : else
185 : : {
186 : : /*
187 : : * ginCombineData did everything needed.
188 : : */
189 : : }
190 : 1773476 : }
191 : :
192 : : /*
193 : : * Insert the entries for one heap pointer.
194 : : *
195 : : * Since the entries are being inserted into a balanced binary tree, you
196 : : * might think that the order of insertion wouldn't be critical, but it turns
197 : : * out that inserting the entries in sorted order results in a lot of
198 : : * rebalancing operations and is slow. To prevent this, we attempt to insert
199 : : * the nodes in an order that will produce a nearly-balanced tree if the input
200 : : * is in fact sorted.
201 : : *
202 : : * We do this as follows. First, we imagine that we have an array whose size
203 : : * is the smallest power of two greater than or equal to the actual array
204 : : * size. Second, we insert the middle entry of our virtual array into the
205 : : * tree; then, we insert the middles of each half of our virtual array, then
206 : : * middles of quarters, etc.
207 : : */
208 : : void
209 : 742674 : ginInsertBAEntries(BuildAccumulator *accum,
210 : : ItemPointer heapptr, OffsetNumber attnum,
211 : : Datum *entries, GinNullCategory *categories,
212 : : int32 nentries)
213 : : {
214 : 742674 : uint32 step = nentries;
215 : :
216 [ - + ]: 742674 : if (nentries <= 0)
217 : 0 : return;
218 : :
219 : : Assert(ItemPointerIsValid(heapptr) && attnum >= FirstOffsetNumber);
220 : :
221 : : /*
222 : : * step will contain largest power of 2 and <= nentries
223 : : */
224 : 742674 : step |= (step >> 1);
225 : 742674 : step |= (step >> 2);
226 : 742674 : step |= (step >> 4);
227 : 742674 : step |= (step >> 8);
228 : 742674 : step |= (step >> 16);
229 : 742674 : step >>= 1;
230 : 742674 : step++;
231 : :
232 [ + + ]: 1907209 : while (step > 0)
233 : : {
234 : : int i;
235 : :
236 [ + + + - ]: 2938011 : for (i = step - 1; i < nentries && i >= 0; i += step << 1 /* *2 */ )
237 : 1773476 : ginInsertBAEntry(accum, heapptr, attnum,
238 : 1773476 : entries[i], categories[i]);
239 : :
240 : 1164535 : step >>= 1; /* /2 */
241 : : }
242 : : }
243 : :
244 : : static int
245 : 0 : qsortCompareItemPointers(const void *a, const void *b)
246 : : {
247 : 0 : int res = ginCompareItemPointers((const ItemPointerData *) a, (const ItemPointerData *) b);
248 : :
249 : : /* Assert that there are no equal item pointers being sorted */
250 : : Assert(res != 0);
251 : 0 : return res;
252 : : }
253 : :
254 : : /* Prepare to read out the rbtree contents using ginGetBAEntry */
255 : : void
256 : 287 : ginBeginBAScan(BuildAccumulator *accum)
257 : : {
258 : 287 : rbt_begin_iterate(accum->tree, LeftRightWalk, &accum->tree_walk);
259 : 287 : }
260 : :
261 : : /*
262 : : * Get the next entry in sequence from the BuildAccumulator's rbtree.
263 : : * This consists of a single key datum and a list (array) of one or more
264 : : * heap TIDs in which that key is found. The list is guaranteed sorted.
265 : : */
266 : : ItemPointerData *
267 : 343550 : ginGetBAEntry(BuildAccumulator *accum,
268 : : OffsetNumber *attnum, Datum *key, GinNullCategory *category,
269 : : uint32 *n)
270 : : {
271 : : GinEntryAccumulator *entry;
272 : : ItemPointerData *list;
273 : :
274 : 343550 : entry = (GinEntryAccumulator *) rbt_iterate(&accum->tree_walk);
275 : :
276 [ + + ]: 343550 : if (entry == NULL)
277 : 287 : return NULL; /* no more entries */
278 : :
279 : 343263 : *attnum = entry->attnum;
280 : 343263 : *key = entry->key;
281 : 343263 : *category = entry->category;
282 : 343263 : list = entry->list;
283 : 343263 : *n = entry->count;
284 : :
285 : : Assert(list != NULL && entry->count > 0);
286 : :
287 [ - + - - ]: 343263 : if (entry->shouldSort && entry->count > 1)
288 : 0 : qsort(list, entry->count, sizeof(ItemPointerData),
289 : : qsortCompareItemPointers);
290 : :
291 : 343263 : return list;
292 : : }
|
