ограничения действительно распространяются на размер почтового ящика, т.е. на все папки, однако документы хранятся в библиотеке постофиса, а в ящике присутствуют только ссылки на него.
попробуйте создать библиотеку не в постофисе, а на диске и ограничить дисковыми квотами. сам не пробовал, но вроде должно сработать.....