ويرجع تاريخ القصر لكارول فيللهم فون جرير وهو مصمم على الطراز الفلورنسى تم تشييده عام 1925 وهو تاجر أخشاب من الأثرياء الذين عاشوا فى منطقة المنشية لسنوات طويلة.
وعمل “جرير” فى تجارة الأخشاب بمصر وأصبح من أهم تجارها عن طريق الاستيراد وكان يمتلك مصنعا لثقاب الكبريت بمنطقة المكس وعمل قنصلا عاما للسويد فى الفترة من 1925 حتى 1952 وظل محتفظا بلقب القنصل حتى بعد تقاعده، وقبل وفاته تبرع بجزء من قصره ليكون جنسية للبحارة السويديين وخصص جزءا من القصر أيضا لمدرسة للصم والبكم.
وعلى الرغم من شهرة التاجر السويدى الذى شغل منصب القنصل لسنوات إلا أن وفاته كان فيها لغزا كبيرا وتم العثور عليه متوفيا فى حمام منزله فجأة، وأشيعت عدد من الأخبار بأنه تم قتله، وظل أهالى منطقة بحرى والمنشية يشاهدونه فى شرفة القصر لسنوات طويلة وهى رواية يحكيها عدد من أهالى المنطقة، وأن روحه تعلقت بالقصر لسنوات طويلة على الرغم من إغلاق القصر تماما بعد وفاته وهى كانت من أشهر القصص داخل محافظة الإسكندرية ظلت يداولونها لسنوات طويلة.
وبعد سنوات طويلة من الواقعة افتتح القصر وأصبح معهدا تابعا للخارجية السويدية واستمر لأكثر من 18 عاماً وشهد العديد من اللقاءات وحضره العديد من المشاهير والسياسيين إلى أن جاء قرار الإغلاق من الخارجية السويدية فى نهاية عام 2018 ليستعد المعهد للإغلاق تماماً فى بداية عام 2019.
وفى نهاية 2018 أعلن المعهد السويدى بالإسكندرية عن اكتشاف عدد من القطع الأثرية يرجع تاريخه إلى العصر الرومانى والهلينستى وهى متوقع أن تكون ضمن مقتنيات مؤسس المعهد السويدى الذى عاش فترات طويلة داخل مقر المعهد بمنطقة بحرى على كورنيش الإسكندرية.
المقتنيات عبارة عن قطع أثرية تعود إلى عصور زمنية متباعدة وهى عبارة عن عملات معدنية وبقايا قطع خزفية، ومسارج وهى أداه كانت تستخدم قديماً فى الإضاءة، بالإضافة إلى مقتنيات مؤسس المعهد مثل نياشين تعود إلى عصر محمد على باشا وعدد من الميداليات والأوسمة وجواز سفر ووسام بطريكية اليونانية، ودبوس نادر يرجع إلى الملك فاروق وهى إحدى الهدايا التى كانت يتم إهداؤها فى حفلات الزفاف وهى كانت تخص حفل زفاف الملك فاروق على الملكة فريدة، مؤكداً أنه تم تسليمها بالكامل للسلطات المصرية ووزارة الآثار وتم إخطار الجهات المعنية بوجود عدد من القطع الأثرية داخل المعهد وتم تسليمها للآثا