Земельні ділянки на Галицькому передмісті далеко поза міськими мурами належали колись доньці львівського бургомістра, історика та поета Ю.- Б. Зіморовича. У 1640 р. видатний польський фортифікатор Павел Гродзіцький коштом Міколая Сенявського збудував арсенал. Від первісної будівлі залишився тільки перший ярус з рустикованого каменя. У XVIII ст. споруда належала графам Чарторийським – в листопаді 1792 р. тут перебував Тадеуш Костюшко. 1833 р. будівлю придбала родина Баворовських. Припускають, що давній арсенал перебудував архітектор Ігнаци (Іняс) Шамбре (Хамбрез). У 1857 р. граф Віктор Баворовський, бібліофіл, перекладач на польську творів Расіна, Шіллера, Гете, Байрона, Гюго, вирішив розташувати тут свою багату бібліотеку та цінну збірку творів живопису і графіки. Баворовський заповів свою збірку місту, після його смерті керівником бібліотеки було призначено відомого вченого Юзефа Коженьовського (1897). Під час ІІ-ї світової війни збірка була приєднана до Оссолінеуму. Вже багато років у давній бібліотеці Баворовських на вул. Бібліотечній, 2 діє відділ мистецтв Бібліотеки ім. В. Стефаника НАН України, тепер Палац мистецтв ім. Антоновичів.