کاروانسرای خواجه نظر در شهرستان جلفا و در مجاورت رودخانه‌ی ارس و پل ضیاء‌الملک واقع شده است. چنین به نظر می‌رسد که همراستا با اقدامات شاه عباس اول در راستای احداث و تعمیر 999 کاروانسرا در مرزهای ایران، این بنا توسط خواجه نظر احداث شده است.

تاورنیه درباره‌ی این بنا می‌نویسد: « خواجه نظر از ارمنیان معتبری بود که از جلفا خارج شدند، چون در تجارت ترقی کرد و نزد شاه عباس و جانشین او شاه صفی اعتبارات حاصل نمود او را کلانتر ملت ارامنه کردند. به افتخار وطن اصلی خود جلفا، ۲ کاروانسرای بزرگ در آن‌جا بنا کرد که هنوز در طرفین رودخانه باقی هستند و بیشتر از ۱۰۰۰۰۰ اکو در آنجا خرج کرد».

بر خلاف سایر کاروانسراهای دوره‌ی صفوی در ایران که دارای پلان معماری مشخصی با نقشه‌ی هندسی مربع و یا مستطیل می‌باشند، ساختار این کاروانسرا هیچ همانندی در ایران نداشته و  جزء کاروانسراهای با پلان متفرقه طبقه بندی می‌شود.