Я обычно начинаю любую обработку с большого запроса, в него загоняю все все данные которые нужны мне, все это я делаю в консоле, затем уже берусь за реализацию обработки...
Требовать и эффективности, и гибкости от одной и той же программы — все равно, что искать очаровательную и скромную жену... по-видимому, нам следует остановиться на чем-то одном из двух. Фредерик Брукс-младший