Удаление лишних записей из базы

Дополнительные плагины к программе
Post Reply
User avatar
ilychuk
Star
Posts: 375
Joined: Mon Oct 22, 2012 1:58 pm
Location: Minsk, Belarus
Contact:

Удаление лишних записей из базы

Post by ilychuk » Mon Jan 21, 2013 10:10 am

Данный программный продукт позволит произвести операции по очистке базы Movienizer от различного мусора.

Функционал программы разрабатывался в зависимости от моей необходимости, а также с учетом пожеланий, высказанных на форуме. А в остальном программа находится в постоянном обновлении и улучшении.

Ссылка на программу: http://ubuntuone.com/1LFgLjxzaA1EfbOFRJhucJ (версия от 11.03.2014)
Last edited by ilychuk on Wed Mar 12, 2014 9:53 am, edited 5 times in total.

User avatar
rust
Extra
Posts: 46
Joined: Wed Feb 27, 2008 9:00 pm
Location: Запорожье
Contact:

Re: Удаление лишних записей из базы

Post by rust » Mon Jan 21, 2013 1:07 pm

ilychuk wrote:
TerribleFloater wrote: В случае с картинками есть вроде где-то на форуме плугин, который просматривает и базу, и папку Covers. И убирает лишнее и оттуда, и отсюда.
Вероятнее всего этот плагин писал я, но линки на обновленные версии не кидал: до сих пор не ясно вообще нужен ли он кому :) В принципе если снова станет интересна мысль очистки базы и обложек - можно будет оживить его :)
Да нужен конечно! Я на прошлой неделе очень им заинтересовался, два раза пытался скачать, но с депозитом ерунда получается, требует номер мобильного для какого-то там пробного периода... Нафиг депозит! :evil: (Итоговый результат нескачивания вашего плагина выше, в одном из моих постов :lol: )
Если есть возможность, залейте на какой-нибудь нормальный (бесплатный) файлообменник. Думаю люди вам будут благодарны. :)

TerribleFloater
Superstar
Posts: 1889
Joined: Thu Feb 28, 2008 4:20 pm

Re: Удаление лишних записей из базы

Post by TerribleFloater » Mon Jan 21, 2013 2:13 pm

ilychuk wrote:Вероятнее всего этот плагин писал я, но линки на обновленные версии не кидал: до сих пор не ясно вообще нужен ли он кому :) В принципе если снова станет интересна мысль очистки базы и обложек - можно будет оживить его :)
Конечно, нужен! Создавайте тему в подфоруме "Плугины", подробно его описывайте и прикрепляйте версии одну за одной :-)
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

User avatar
ilychuk
Star
Posts: 375
Joined: Mon Oct 22, 2012 1:58 pm
Location: Minsk, Belarus
Contact:

Re: Удаление лишних записей из базы

Post by ilychuk » Tue Jan 22, 2013 5:19 am

Тогда за пару дней приведу плагин в божеский вид и выложу. Просто реально не думал что кто-то еще заинтересуется.

TerribleFloater
Superstar
Posts: 1889
Joined: Thu Feb 28, 2008 4:20 pm

Re: Удаление лишних записей из базы

Post by TerribleFloater » Tue Jan 22, 2013 6:11 am

Пока люди пользуются удалением ненужных людей в его нынешнем состоянии -- нужда в подобном плугине уж точно есть.
В интерфейсе Джефа я лично обойдусь без такого плугина (удалить ненужных людей, удалить записи о фото отсутствующих людей, удалить ненужные файлы), но этим интерфейсом пользуются далеко не все...
А с добавлением скачивания семейного положения я бы предложил добавить в плугин очистку и брачных записей :-)
Понятно, что Ваш плугин (как и мои джефовские запросы) -- не панацея. Он хорошо и полноценно сработает только тогда, когда между удалением ненужных людей и его запуском не производилась закачка новой информации о фильмах и людях. Вот на это обстоятельство, я полагаю, нужно обратить особое внимание в его описании.
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

User avatar
ilychuk
Star
Posts: 375
Joined: Mon Oct 22, 2012 1:58 pm
Location: Minsk, Belarus
Contact:

Re: Удаление лишних записей из базы

Post by ilychuk » Tue Jan 22, 2013 8:26 am

TerribleFloater wrote:Пока люди пользуются удалением ненужных людей в его нынешнем состоянии -- нужда в подобном плугине уж точно есть.
В интерфейсе Джефа я лично обойдусь без такого плугина (удалить ненужных людей, удалить записи о фото отсутствующих людей, удалить ненужные файлы), но этим интерфейсом пользуются далеко не все...
Смотрел плагин Jef'a - не нашел где в нм реализованы эти функции...
TerribleFloater wrote:А с добавлением скачивания семейного положения я бы предложил добавить в плугин очистку и брачных записей :-)
Пока не искал где это.
TerribleFloater wrote:Понятно, что Ваш плугин (как и мои джефовские запросы) -- не панацея. Он хорошо и полноценно сработает только тогда, когда между удалением ненужных людей и его запуском не производилась закачка новой информации о фильмах и людях. Вот на это обстоятельство, я полагаю, нужно обратить особое внимание в его описании.
Не понял к чему работа плагина и закачка информации... В процессе работы плгин просто сверяет записи согласно критериям - ему все равно когда в последний раз запускалась закачка... А плагин работает хорошо тогда, когда понятно что от него хотят... Поэтому предлагаю пожелания и наработки в данном направлении присылать на мой ящик <b>ilychuk@tut.by</b> а я постараюсь это реализовать под одной крышей... Пока меня смущает скорость работы моего плагина. И, поскольку он проверялся только на моей базе - не уверен до конца в правильности его работы...

TerribleFloater
Superstar
Posts: 1889
Joined: Thu Feb 28, 2008 4:20 pm

Re: Удаление лишних записей из базы

Post by TerribleFloater » Tue Jan 22, 2013 4:49 pm

ilychuk wrote:
TerribleFloater wrote:В интерфейсе Джефа я лично обойдусь без такого плугина (удалить ненужных людей, удалить записи о фото отсутствующих людей, удалить ненужные файлы), но этим интерфейсом пользуются далеко не все...
Смотрел плагин Jef'a - не нашел где в нм реализованы эти функции...
В нём реализованы любые возможные функции с базой, нужные пользователю :-) Добавите в него что-нибудь вот такое:

Code: Select all

Z0077=delete FROM images WHERE NOT person IN ( SELECT DISTINCT code FROM persons )
Z0077D=Удалить фото отсутствующих людей
-- будет реализована и эта.
ilychuk wrote:
TerribleFloater wrote:А с добавлением скачивания семейного положения я бы предложил добавить в плугин очистку и брачных записей :-)
Пока не искал где это.
Там две таблицы:
Image
Image
Соответственно сперва из первой таблицы надо убрать записи, в которых люди person_primary или person_secondary отсутствуют в таблице persons. Затем уже из второй таблицы -- удалить записи, в которых значение code отсутствует в первой таблице (поле person_spouses_code).
ilychuk wrote:
TerribleFloater wrote:Понятно, что Ваш плугин (как и мои джефовские запросы) -- не панацея. Он хорошо и полноценно сработает только тогда, когда между удалением ненужных людей и его запуском не производилась закачка новой информации о фильмах и людях. Вот на это обстоятельство, я полагаю, нужно обратить особое внимание в его описании.
Не понял к чему работа плагина и закачка информации... В процессе работы плгин просто сверяет записи согласно критериям - ему все равно когда в последний раз запускалась закачка...
Рассмотрим такую ситуацию. Пустая новенькая база. Загружаем фильм с сотней актёров. 95 из них убираем из списка. Они становятся "ненужными" и спокойно удаляются из базы "удалением ненужных людей". У последнего из оставшихся людей код в таблице persons равен 9 (соответственно, первый вновь загруженный человек получит код 10 и так далее). Всё бы хорошо, но в таблицах картинок (а также браков и кодов -- последнее я только что проверил) остались записи, ссылающиеся на персону с кодом 18, например. Если в этот момент запустить Ваш плугин (или мой запрос для Джефа, неважно), он найдёт и удалит эти записи, так? Критерий исполнен: запись есть, человека нет. Если же после удаления ненужных людей скачать инфу о новом фильме, то в таблицу persons придёт новый человек с кодом 18! Всё, плугину делать нечего: база непротиворечива, критерий отсутствует :-(
Детально, с картинками, подобная ситуация вот тут:
http://www.movienizer.com/forum/viewtop ... B9+#p18558
Вот после этого и убрали из меню "Файл" пункты про удаление ;-)
Так что всё это я писал не про недостаток плугина :-) А про необходимость организованности и дисциплины пользователя при расчистке базы.
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

User avatar
ilychuk
Star
Posts: 375
Joined: Mon Oct 22, 2012 1:58 pm
Location: Minsk, Belarus
Contact:

Re: Удаление лишних записей из базы

Post by ilychuk » Tue Jan 22, 2013 7:07 pm

Про записи и браки информацию уже посмотрел и в ближайшее время организую нормальную чистку... Что касается удаления информации и закачки онной, то можно делать проверку не только по кодам, но и по имени актера или названию фильма: имена файлов сохраняются под именами а не номерами... В любом случае надо делать отдельную ветку и там все обсуждать из разряда что хотим и как реализовать.... Вот только сам создавать ветки форума не умею

TerribleFloater
Superstar
Posts: 1889
Joined: Thu Feb 28, 2008 4:20 pm

Re: Удаление лишних записей из базы

Post by TerribleFloater » Wed Jan 23, 2013 6:24 am

ilychuk wrote:Что касается удаления информации и закачки онной, то можно делать проверку не только по кодам, но и по имени актера или названию фильма: имена файлов сохраняются под именами а не номерами...
Строго говоря, не всегда. Инфу по "Матрицам" я скачивал пять лет назад, когда с людьми фотографии не приходили. А по "Облачному атласу" -- сейчас. В результате у человека "Ларри Вачовски" файл фотографии называется "Лана Вачовски" :-) И вообще: люди меняют имена сами по себе; имена исправляют на сайтах; на отечественных сайтах постепенно переводят иностранные имена на русский; в общем, причин для несоответствий имён человека и файла фотографии много. Лучше уж приведение их в соответствие друг другу делать интерактивно, с тремя вариантами действий пользователя: переименовать фото; удалить фото; ничего не делать (последнее по умолчанию, наверное).
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

User avatar
ilychuk
Star
Posts: 375
Joined: Mon Oct 22, 2012 1:58 pm
Location: Minsk, Belarus
Contact:

Re: Удаление лишних записей из базы

Post by ilychuk » Wed Jan 23, 2013 10:53 am

Пока в необходимости чистки базы от фильмов и актеров пока не вижу смысла: размер базы сильно не уменьшится... Да и пока не понятно по какому признаку их оставлять (думаю по признаку "В коллекции"). Поэтому пока начну очередное переписывание (и окультуривание) плагина с "работы с картинками". Сперва наделаю всяких удалений и переименований с перемещениями, ну а там и за записи базы возьмусь... Заодно мот кто поделится своей немолодой базой - моей меньше полугода, поэтому, вероятно,не все нюансы будут учтены

Post Reply