1)
Нужно както сделать что бы вообще убрать с модели факт существования булевых вычитаний
Ответ:
Архикад при экспорте в 3ds запишет мэш в любом случае не зависимо от того булевы операнды это или морф
2)
Потом как "оптимизировать"
Это можно сделать и до, и после эскпорта.
До - это оптимизация объектов настройками ArchiCAD (уже упомянули про сегментацию), у навесных стен есть упрощенное отображение, у окон/дверей - тоже.
После - это оптимизация средствами 3dsmax, встроенным модификатором ProOptimizer, требуются некоторые начальные навыки.
Также потребуются навыки в анализе сложности сетки, в ArchiCAD за это отвечает адд-он "Подсчет многоугольников", в 3dsmax - обычная общая статистика + объектная.
---
3) Еще вопросы технического характера: оперативной слишком мало для подобных проектов, система то еще небось 32-битная? Тогда совсем край.