https://www.opennet.dev/openforum/vsluhforumID13/681.html Всем привет.<br><br>Такой вопрос:<br><br>Как можно ускорить операции LIMIT, OFFSET и ORDER BY для огромных (порядка 1-10 GB) таблиц при обычных SELECT'ах?<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#7 Sat, 07 Aug 2010 02:10:17 GMT Теоретически можно и не удалять строки сразу, а только помечать как удаленные.<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#6 Mon, 02 Aug 2010 03:33:21 GMT Спасибо.<br>Я понял.<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#5 Mon, 02 Aug 2010 00:40:43 GMT сходу креативится одно более менее решение, но оно зависит от частоты и объемов удаляемых строк. до определенных цифр( можете посчетать сами )) ) будет работать быстрее оффсета и лимита.<br><br>- сделать проинтексированный столбец-нумератор как описано выше.<br>- создать таблицу, в которую будут сохранятся удаляемые идентификаторы.<br>- написать хранимку, выполняющую следующее:<br><br>...<br>select count(*) into i_count from saved_deleted where some_id&lt;=[offset]; -- счетаем сколько было удалено в оффсете.<br>select ... where ( row_id &gt;= [offset] - i_count )and( row_id &lt; [offset+limit] - i_count ); -- селектим учитывая поправку на удаленные.<br>...<br><br>периодически можно уплотнять счетчик по крону - черевато блокировкой таблицы на время.<br>если есть возможность - повторно использовать удаленные идентификаторы.<br><br>всегда можно улучшить. все зависит от... )<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#4 Sun, 01 Aug 2010 16:23:39 GMT &gt;в зависимости от требований. к примеру вполне нормальная картина работы форума( на <br>&gt;страницу к примеру 20 тем ): <br>&gt;<br>&gt; - модераторы удаляют тему с идентификатором 105. получается, что для 6-ой <br>&gt;странице( 100-119 ) списка тем у нас не хватает 105 чтобы <br>&gt;ровно вывести 20. <br>&gt; - однако лимит с офсетом выведут 100-120 без 105. <br>&gt; - черевато только тем, что и на 7ой странице продублируется топик <br>&gt;с номером 120. <br>&gt; - что не есть страшно. зато скорость. <br><br>Ага, я понял.<br>Но в данном случаи как раз критично чтобы на странице было именно 20 тем (к примеру).<br><br>Я думал о том, что нужно на удаление записи вешать триггер, что будет изменять это поле, чтобы было по-порядку, начиная с удаляемой записи и до конца. Остаётся только попробовать насколько это будет быстро для таблиц подобного размера.<br><br>Или может есть более лучшее решение?<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#3 Sun, 01 Aug 2010 13:03:15 GMT в зависимости от требований. к примеру вполне нормальная картина работы форума( на страницу к примеру 20 тем ):<br><br> - модераторы удаляют тему с идентификатором 105. получается, что для 6-ой странице( 100-119 ) списка тем у нас не хватает 105 чтобы ровно вывести 20.<br> - однако лимит с офсетом выведут 100-120 без 105.<br> - черевато только тем, что и на 7ой странице продублируется топик с номером 120.<br> - что не есть страшно. зато скорость.<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#2 Sun, 01 Aug 2010 04:01:23 GMT &gt;ввести столбец с идентификатором записи, проиндексировать по нему и выгребать: <br>&gt;select ... where ( row_id &gt;= [offset] )and( row_id &lt; [offset+limit] )<br>&gt;<br>&gt;пс. 10гб - это очень мало. огромным тут и не пахнет, тем <br>&gt;более для постгри. ) <br><br>Получается, что это будет что-то типа обычного идентификатора (ID), но его нужно будет держать жестко по-порядку без прерываний. Верно?<br> https://www.opennet.dev/openforum/vsluhforumID13/681.html#1 Sat, 31 Jul 2010 21:52:10 GMT ввести столбец с идентификатором записи, проиндексировать по нему и выгребать:<br>select ... where ( row_id &gt;= [offset] )and( row_id &lt; [offset+limit] )<br><br>пс. 10гб - это очень мало. огромным тут и не пахнет, тем более для постгри. )<br>