https://www.opennet.ru/openforum/vsluhforumID9/10106.html Всем читающим это сообщение доброго времени суток.<br><br>Возник вопрос с производительностью сервера Postgres 9.5 при работе через libpq из приложения, написанного на С.<br><br>Тестировался вызов (10000 раз) хранимой ф-ции из скрипта PGSQL и из приложения. Результаты:<br><br>[b]Скрипт:[/b] 503 msec. (19880.71570 операций вставки в секунду)<br>[b]Приложение:[/b] 71.241997 sec. (140.36664 операций вставки в секунду)<br><br>Разница в [b]141.63418[/b] раз!!!111<br><br> [b]В чём может быть проблема такой деградации?[/b]<br><br>[b]Описание системы:[/b]<br>[code]$ uname -a<br>Linux localhost.dev.resolute.ru 3.9.4 #3 SMP Tue May 28 14:26:24 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux<br><br>$ /usr/web/bin/pg_ctl --version<br>pg_ctl (PostgreSQL) 9.5.3<br>[/code]<br><br>[b]Вызываемая процедура:[/b]<br>[code]create or replace function test_job(<br>inv_i_idint8,<br>outv_o_idint8<br>)<br>as<br>$$<br>begin<br>select n into v_o_id from test_t where n = 100;<br>insert into test_t(n) values (v_i_id);<br>end;<br>$$ language plpgsql<br>[/code]<br><br>[b]Тестовый скрипт:[/b]<br>[code]do<br>$ https://www.opennet.ru/openforum/vsluhforumID9/10106.html#9 Wed, 08 Jun 2016 18:29:37 GMT &gt; Замерил использование диска iostat'ом - запись 183464 блока (~90МБ), чтение 200 блоков <br>&gt; (100кБ). Возникло два вопроса: <br>&gt; 1. Это нормально, если при фиксации транзакции в 8 байт сохраняется более <br>&gt; килобайта информации?<br><br>1) Диски это блочные устройства. Они технически не пишут байты, а пишут блоки 512 байт / 4096 байт. Аналогично - файловые системы пишут блоки/страницы, а не байты.<br><br>2) БД это не просто файлы. <br><br>&gt; 2. При скорости 2.2Гб в сек на запись 90Мб не могут писаться <br>&gt; 70сек. <br><br>"Могут - не могут". Устроили тут... <br><br>Еще раз:<br><br>Вы не понимаете, как работают жесткие диски и меряете их производительность не в тех единицах.<br><br>Линейная запись != случайная запись. В первом случае вы можете писать 2.2Гб/сек (при этом будет сколько-то-там операций в сек), во втором - будете ограничены ~200 операций в секунду, что даст на порядки меньшую скорость записи в байтах/сек.<br>Всё это будет 100% загрузки жесткого диска.<br><br>&gt;Не знаете ли вы, где могут возникать блокировки, в какую сторону копать?<br><br>Вро https://www.opennet.ru/openforum/vsluhforumID9/10106.html#8 Wed, 08 Jun 2016 18:11:53 GMT &gt;&gt; Такое ощущение, что в каждой транзакции вставляется <br>&gt;&gt; не 8 байтов, а десятки мегабайтов. На сервере стоят быстрые винты, <br>&gt;&gt; тест производительности показывает 2.2 GB/s.<br>&gt; = <br>&gt;&gt; Время: 73 сек, процессор всё время ожидает операции ввода/вывода. На сохранение 80000 <br>&gt;&gt; байт на диск не похоже.<br>&gt; Вы не понимаете, как работают жесткие диски и меряете их производительность не <br>&gt; в тех единицах, а также смешиваете в одну кучу синхронные транзакции <br>&gt; с гарантированной записью на диск и асинхронные транзакции с негарантированным сохранением. <br>&gt; Определитесь с вашими потребностями, и дальше разбирайтесь например с этим: https://www.postgresql.org/docs/8.3/static/wal-async-commit.html <br><br>Спасибо за совет, посмотрю асинхронные транзакции, завтра отпишусь.<br>Замерил использование диска iostat'ом - запись 183464 блока (~90МБ), чтение 200 блоков (100кБ). Возникло два вопроса:<br>1. Это нормально, если при фиксации транзакции в 8 байт сохраняется более килобайта информации?<br>2. При скорости 2.2Гб в сек на запись https://www.opennet.ru/openforum/vsluhforumID9/10106.html#7 Wed, 08 Jun 2016 17:41:56 GMT &gt; Такое ощущение, что в каждой транзакции вставляется <br>&gt; не 8 байтов, а десятки мегабайтов. На сервере стоят быстрые винты, <br>&gt; тест производительности показывает 2.2 GB/s.<br><br>=<br>&gt; Время: 73 сек, процессор всё время ожидает операции ввода/вывода. На сохранение 80000 <br>&gt; байт на диск не похоже.<br><br>Вы не понимаете, как работают жесткие диски и меряете их производительность не в тех единицах, а также смешиваете в одну кучу синхронные транзакции с гарантированной записью на диск и асинхронные транзакции с негарантированным сохранением. Определитесь с вашими потребностями, и дальше разбирайтесь например с этим: https://www.postgresql.org/docs/8.3/static/wal-async-commit.html<br><br><br> https://www.opennet.ru/openforum/vsluhforumID9/10106.html#6 Wed, 08 Jun 2016 17:27:50 GMT &gt;&gt;&gt; разберись, сколько у тебя транзакций в первом и во втором случаях.<br>&gt;&gt; А как это сделать?<br>&gt;&gt; Насколько я понимаю, в случае скрипта - 1 транзакция, а в случае <br>&gt;&gt; libpq - 10000.<br>&gt;&gt; Но даже в этом случае, деградация в 141 раз - это за <br>&gt;&gt; гранью добра и зла.<br>&gt; Т.е то, что в 10 000 раз большее число транзакций выполняется всего <br>&gt; в 141 раз медленнее - это уже плохо? Отличная логика, правда <br>&gt; несколько странная :-) <br><br>140 операций записи 8ми байт + служебной информации в секунду. Т.е. 1120 байт полезной информации можно сохранить за секунду.... маловато...<br><br><br>&gt;&gt; Всего 140 операций вставки в секунду (в таблицу с одним столбцом int8) <br>&gt;&gt; - это что-то странное. Т.к. Постгрес используется на нагруженных проектах, то <br>&gt;&gt; значит что-то я делаю не правильно.<br>&gt; Посмотри, какую нагрузку на диски дает твой тест.<br>&gt; 140 операций в секунду, это примерно и есть средняя производительность жесткого диска <br>&gt; на случайных операциях. Или ты считаешь, что транзакция завершается "в воздух", <br>&gt; а не записью на жес https://www.opennet.ru/openforum/vsluhforumID9/10106.html#5 Wed, 08 Jun 2016 16:26:16 GMT &gt;&gt; разберись, сколько у тебя транзакций в первом и во втором случаях.<br>&gt; А как это сделать?<br>&gt; Насколько я понимаю, в случае скрипта - 1 транзакция, а в случае <br>&gt; libpq - 10000.<br>&gt; Но даже в этом случае, деградация в 141 раз - это за <br>&gt; гранью добра и зла.<br><br>Т.е то, что в 10 000 раз большее число транзакций выполняется всего в 141 раз медленнее - это уже плохо? Отличная логика, правда несколько странная :-)<br><br>&gt; Всего 140 операций вставки в секунду (в таблицу с одним столбцом int8) <br>&gt; - это что-то странное. Т.к. Постгрес используется на нагруженных проектах, то <br>&gt; значит что-то я делаю не правильно.<br><br>Посмотри, какую нагрузку на диски дает твой тест.<br>140 операций в секунду, это примерно и есть средняя производительность жесткого диска на случайных операциях. Или ты считаешь, что транзакция завершается "в воздух", а не записью на жесткий диск? Если транзакция не завершилась записью на диск - значит это не транзакция, а только её подобие.<br><br>&gt; Через libpq после каждой операции должен выполняться автокоммит https://www.opennet.ru/openforum/vsluhforumID9/10106.html#4 Wed, 08 Jun 2016 14:35:09 GMT &gt; разберись, сколько у тебя транзакций в первом и во втором случаях.<br><br>А как это сделать?<br><br>Насколько я понимаю, в случае скрипта - 1 транзакция, а в случае libpq - 10000.<br>Но даже в этом случае, деградация в 141 раз - это за гранью добра и зла.<br>Всего 140 операций вставки в секунду (в таблицу с одним столбцом int8) - это что-то странное. Т.к. Постгрес используется на нагруженных проектах, то значит что-то я делаю не правильно.<br><br>Через libpq после каждой операции должен выполняться автокоммит, он и выполняется. Не выполнять его нельзя, т.к. запросы приходят от обработчиков сетевых соединений - каждый запрос - атомарная транзакция, которая добавляет/изменяет данные в БД.<br> https://www.opennet.ru/openforum/vsluhforumID9/10106.html#3 Wed, 08 Jun 2016 14:27:36 GMT &gt; .. а также замени PQexecParams на PQprepare + PQexecPrepared <br><br>Заменил. Полегчало, но не сильно, стало на 1 секунду хуже... Таперь код такой:<br>[code]const char* stmtName = "TEST_JOB";<br>Oid oidTypes[1] = {20};// int8 OID=20, int8[] OID=1016<br>res = PQprepare(conn, stmtName, "select test_job($1::int8)", 1, oidTypes);<br><br>for(i=0; i&lt;10000; i++) {<br>long long id = htonll(i);<br>paramValues[0] = (char*)&id;<br>paramLengths[0] = 8;<br>paramBinary[0] = 1;<br><br>res = PQexecPrepared(conn, stmtName, 1,<br>paramValues,<br>paramLengths,<br>paramBinary,<br>0<br>);<br><br>status = PQresultStatus(res);<br>if((status != PGRES_COMMAND_OK)&&(status != PGRES_TUPLES_OK)) {<br>printf("ERROR: %s\n", PQresultErrorMessage(res));<br>PQclear(res);<br>return 0;<br>}<br>}<br>[/code]<br><br>[b]Время выполнения 72.068604 sec[/b]<br> https://www.opennet.ru/openforum/vsluhforumID9/10106.html#2 Wed, 08 Jun 2016 13:28:20 GMT разберись, сколько у тебя транзакций в первом и во втором случаях.<br> https://www.opennet.ru/openforum/vsluhforumID9/10106.html#1 Wed, 08 Jun 2016 13:25:56 GMT .. а также замени PQexecParams на PQprepare + PQexecPrepared <br>