Запуск программы и добавление актера

[maxez]

По результатам довольно интенсивной эксплуатации было замечено 2 момента, связанных с быстродействием программы:

1. Добавление актера сопровождается очень длительной работой с базой (до минуты на особо заслуженных личностях с большой фильмографией). Как я понимаю, выполняются запросы по всем фильмам, в которых данный персонаж был задействован. Для повседневного использования это не критично, но при считывании информации из online-баз винт горит, не угасая

2. С увеличением размера базы (>200 фильмов в коллекции, >40000 фильмов в базе, размер базы ~50MB, >7000 файлов в папке Covers) первый запуск программы стал неприемлемо длительным. При этом последующие запуски выполняются значительно быстрее,что наводит на такую мысль:
может, при запуске программы выполнять простое одноразовое зачитывание всего файла базы в память (это займет от силы секунд 10) для того, чтобы он максимально разместился в системном кэше, и уже после этого работать с ним через движок SQLite?

Пока что для заполнения базы использую ramdrive (работает молниеносно, что еще раз наводит на мысли о кэшировании), но для повседневной эксплуатации этот метод не подходит, т.к. запуск ramdrive на 500MB сам по себе занимает секунд 40.

[maniac]

По результатам довольно интенсивной эксплуатации было замечено 2 момента, связанных с быстродействием программы:

1. Добавление актера сопровождается очень длительной работой с базой (до минуты на особо заслуженных личностях с большой фильмографией). Как я понимаю, выполняются запросы по всем фильмам, в которых данный персонаж был задействован. Для повседневного использования это не критично, но при считывании информации из online-баз винт горит, не угасая

2. С увеличением размера базы (>200 фильмов в коллекции, >40000 фильмов в базе, размер базы ~50MB, >7000 файлов в папке Covers) первый запуск программы стал неприемлемо длительным. При этом последующие запуски выполняются значительно быстрее,что наводит на такую мысль:
может, при запуске программы выполнять простое одноразовое зачитывание всего файла базы в память (это займет от силы секунд 10) для того, чтобы он максимально разместился в системном кэше, и уже после этого работать с ним через движок SQLite?

Пока что для заполнения базы использую ramdrive (работает молниеносно, что еще раз наводит на мысли о кэшировании), но для повседневной эксплуатации этот метод не подходит, т.к. запуск ramdrive на 500MB сам по себе занимает секунд 40.

С людьми сейчас на вставку каждого фильма вызывается 1 SQL-запрос, а с фильмами нормально - для вставки людей общий 1 длинный запрос. Это поправимо.

С картинками тоже собираемся ввести подкаталоги, а то большое кол-во файлов тормозит работу

Что касается работы с базой, то тут сложно. Юзается старая версия SQLite, там вроде такого нельзя делать. А возможности новой все некогда изучить...

[maxez]

С картинками тоже собираемся ввести подкаталоги, а то большое кол-во файлов тормозит работу

Да, разбить хотя бы по буквам уже было бы неплохо.

А ваиант складывания картинок в один большой файл на основе zip-библиотеки не рассматривался?

Что касается работы с базой, то тут сложно. Юзается старая версия SQLite, там вроде такого нельзя делать. А возможности новой все некогда изучить...

Ну, если бы движок базы мог принимать в качестве источника HANDLE файла, то это вообще было бы идеально - сделать через memory file.
Но я имел в виду другое: при запуске программы выполнить последовательность OpenFile -> ReadFile -> CloseHandle, чтобы файл базы хотя бы частично разместился в кэше.
Сгодня проделаю эксперимент - скажу, какой выигрыш даст такой метод.

[maxez]

Но я имел в виду другое: при запуске программы выполнить последовательность OpenFile -> ReadFile -> CloseHandle, чтобы файл базы хотя бы частично разместился в кэше.
Сгодня проделаю эксперимент - скажу, какой выигрыш даст такой метод.

Имеем:
База 36MB, 140 фильмов в коллекции, 37000 фильмов в базе.

Результаты эксперимента:
1. Загрузились, запустили Movienizer = 23 секунды.
2. Загрузились, открыли файл dmo в текстовом редакторе FAR (редактор зачитывает файл полностью в память и он, соответственно, ложится в файловый кэш), закрыли FAR, запустили Movienizer = 4 секунды.

ОДНАКО

[maniac]

2. Загрузились, открыли файл dmo в текстовом редакторе FAR (редактор зачитывает файл полностью в память и он, соответственно, ложится в файловый кэш), закрыли FAR, запустили Movienizer = 4 секунды.

Хм, по идее при втором запуске можно было обойтись и без ФАРа.
А винт случайно не ноутбука? У них время доступа обычно хуже, чем и десктопных вариантов.

[maniac]

А ваиант складывания картинок в один большой файл на основе zip-библиотеки не рассматривался?

Долго будет работать, как мне кажется.

[maxez]

2. Загрузились, открыли файл dmo в текстовом редакторе FAR (редактор зачитывает файл полностью в память и он, соответственно, ложится в файловый кэш), закрыли FAR, запустили Movienizer = 4 секунды.

Хм, по идее при втором запуске можно было обойтись и без ФАРа.

Невнимательно читаем
Каждый раз для чистоты эксперимента операционная система перезагружалась и никаких лишних действий не выполнялось.
Так что тут все честно, без "хвостов".

А винт случайно не ноутбука? У них время доступа обычно хуже, чем и десктопных вариантов.

Обычный десктопный винт на 7200.
Да и тут важны не абослютные цифры, а относительные. Прирост от предварительного прочитывания есть, и весьма значительный.
Может в следующий билд вставите опциональный ключик командной строки "--preread"?
Там кода на 7 строчек
GlobalAlloc, GlobalLock, OpenFile, ReadFile, CloseHandle, ClobalUnlock, ClobalFree

[maniac]

Может в следующий билд вставите опциональный ключик командной строки "--preread"?
Там кода на 7 строчек
GlobalAlloc, GlobalLock, OpenFile, ReadFile, CloseHandle, ClobalUnlock, ClobalFree

Я обещаю изучить этот вопрос
Как освободится программер, попрошу его подумать как грузить SQLite целиком в память.

[maxez]

Я обещаю изучить этот вопрос

Уже изучил
Написал программку MovienizerLoader размером 40KB, которая реализует на практике описанную мной идею.
Результат таков:
---
на базе размером 36MB
---
первый старт Movienizer сразу после загрузки системы занимает 23 секунды.
первый старт Movienizer через MovienizerLoader сразу после загрузки системы занимает 5 секунд.

"Ай да я, суперсверх я!" (c)

Если нужно, могу выдать с исходником - включите в билд для особо хитрых юзеров.

[maniac]

Если нужно, могу выдать с исходником - включите в билд для особо хитрых юзеров.

Конечно, давайте
Мыло начинается на саппорт и заканчивается названием домена