Como buen albergue de leyenda que es, nadie sabe la fecha exacta en que fue construida esta casa. Los arquitectos que la restauraron establecieron, por las huellas técnicas que el tiempo dejó en sus muros, que fue levantada en la época de la colonia, aproximadamente hacia 1715.

En sus salones centenarios tuvieron sede la asociación de farmaceutas, cuando las droguerías se llamaban boticas, y las de meseros y camareros. Hubo también aquí un almacén de calzado fino. Fue también pensión e inquilinato. Pero ha sido la poesía la principal habitante de esta casa. En ella vivió sus últimos años José Asunción Silva y murió, a los 31 años de edad de un tiro en el corazón, en el cuarto que está al fondo del corredor de la entrada.

La casa marcada con el número 13 en la época de Silva, era el escenario de tertulia, una de las escasas formas de difusión de la producción literaria, en momentos en que el periodismo parecía más un bando de las campañas políticas justificatorias de las guerras civiles y el libro de autor nacional carecía de circulación.

Uno de los contertulios, Emilio Cuervo Márquez, relató detalladamente la atmósfera del sitio y de la ocasión, en palabras que parecen reanimar a los fantasmas de esta casa: "Aún veo el amplio cuarto de estudio. Discreta luz, anaqueles con libros. Al frente una reproducción de arte de "La Primavera" de Boticelli. En el centro, el amplio escritorio, sobre el cual se veían algunos bronces, el bade de tafilete rojo con el monograma en oro del poeta, revistas extranjeras. Diseminados aquí y allá, sillones en cuero, y gueridones con imponente cantidad de ceniceros, pues quienes allí nos reuníamos, a comenzar por el dueño de la casa, éramos fumadores empedernidos. Después de media hora de charla Silva daba comienzo a la lectura.

Previamente se había graduado la luz de la lámpara y se había puesto a nuestro alcance un velador en el cual invariablemente se veían una caja de cigarrillos egipcios, algunas fuentes con sandwiches, un ventrudo frasco con vino de oporto y tres copas: Silva no bebía nunca vino ni licor; en cambio, fumaba de manera aterradora".

Unas cuantas décadas después de la muerte de Silva, esta casa sirvió de entorno para la creación de otro poeta, Aurelio Arturo, nariñense, quien buscó albergue como estudiante de derecho, cuando era pensión para provincianos pobres. Se cree que fue entre 1930 y 1938. De la Costa Atlántica, en 1939 otro poeta vino a vivir en esta casa: Gregorio Castañeda Aragón.

Durante la primera mitad del siglo XX la casa atravesó por un largo periodo de anonimato y olvido, hasta que en 1943, un amigo de Silva y poeta también, Ismael López, conocido más como Cornelio Hispano, descubrió una placa en la fachada de la casa -la misma que hoy permanece- y Baldomero Sanín Cano, también amigo y contertulio del poeta, pronunció un discurso conmemorativo. Cornelio Hispano tenía, en ese momento, en su poder la mascarilla que se le hizo a Silva en su lecho de muerte.

En 1983 la Corporación La Candelaria adquirió la casa por iniciativa de su gerente de entonces, Genoveva de Samper. Los trabajos de restauración duraron nueve meses. Esta se efectuó teniendo en cuenta no solo la estructura colonial y adusta de la casa del siglo XVIII, sino respetando la reforma que se le hizo en una anterior restauración en 1880, de corte republicano, llena de adornos y de yesería de influencia francesa. El restaurador mexicano Rodolfo Vallín se encargó de la yesería de los cielos rasos y de las crestas de las puertas. Raspando con una paciencia infinita se encontró la laminilla de oro original y el color genuino del yeso, que estaban recubiertos por capas de pintura. Aparecieron en su esplendor los mascarones y viñas, los diablos sonrientes en los rincones de la sala, las crestas suntuosas que coronan las puertas y los rosetones del patio que entrelazan conchas de nácar con delfines y tridentes de tritones.

En las habitaciones principales y en los corredores se colocaron lámparas antiguas y arañas decimonónicas. Las puertas y las ventanas con sus respectivos herrajes y cerraduras son los originales, con excepción de algunas chapas y pomas que tuvieron que ser remplazadas y buscadas en anticuarios. Los bastidores conservan la apariencia de la época republicana con los vidrios de colores hechos artesanalmente. Donde antes existían los tres cuartos de habitación en el costado oriental del primer patio fue acondicionado un gran salón, suprimiendo las paredes divisorias para habilitar allí la biblioteca.

El segundo patio se reconstruyó con una mayor libertad imaginativa, y al extremo sur se construyó el espacio para la librería, que intencionalmente no tiene nada que ver con el estilo del resto de la casa. El reluciente rojo zapote de las paredes, la calidad y terminado de la madera, el cielo raso en artesa con las vigas a la vista y el mismo mobiliario indica que esta parte de la casa es territorio de la contemporaneidad dentro de la casona dos veces y media secular. Frente a la librería reposan los equipos de sonido y los archivos de cintas de la fonoteca, con las voces de los poetas contemporáneos, organizada con la colaboración de la emisora HJCK.

En los patios volvieron a colgarse vasijas de azaleas, sostenidas por percheros. La fachada conserva el número 13 de identificación y la placa conmemorativa. En las paredes pueden verse numerosas fotos ampliadas de los grandes poetas colombianos y de sus manuscritos.

Quienes la rebautizaron no la llamaron casa "de la" poesía, como hubiera podido ser. Sino casa "de" poesía. Es decir que así como existen casas hechas de ladrillo y son casas de ladrillo, y hay también casas construidas con madera y son casas de madera, esta casa está hecha de poesía y por eso merece el de "Casa de Poesía"