Попробуй установить 3ds Max заново, установи для него последний сервис пак (скачать с сайта Autodesk), заново поставить VRay. Предыдущая версия 3dsmax к 2009 отношения не имеет, они никак не пересекаются. Все должно работать нормально, если, конечно, проблема не системная. В подписи указана XP, для Висты однозначно надо выключать UAC (спасибо Int подсказал).