Su origen se remonta al año 1932, cuando la señorita Nellie Kufal empezó a dar clases a los hijos de familias británicas residentes en el Perú. El prestigio que fue adquiriendo creció rápidamente y en 1938 su colegio fue reconocido oficialmente por el Ministerio de Educación.

Ese mismo año el colegio fue aceptado por el Sindicato de Exámenes de la Universidad de Cambridge y en 1939, tres alumnas obtuvieron los primeros Certificados Escolares de la Universidad de Cambridge en el Perú. Miss Kufal falleció en 1944 y el colegio siguió funcionando bajo la dirección de un dedicado grupo de profesoras.

En 1946 llegó una nueva "Headmistress" de Inglaterra, Miss Evans, quien reorganizó el colegio radicalmente. Lo convirtió en una institución solo para mujeres y sentó las bases de nuestro colegio actual. Dos años más tarde, fue introducido el sistema de "Houses", bajo los nombres de Kufal, Hope, Commonwealth y Cambridge y se nombró a una "Head Girl", Capitanas de House y "Prefects", brindando la oportunidad a esas alumnas a ejercer liderazgo y asumir responsabilidades y, al mismo tiempo, enseñarles el valor de trabajar en equipo. En 1950 apareció la primera Revista del Colegio cuya redacción estaba a cargo de un grupo de alumnas, Magazine Editors.

Cuando Miss Evans se jubiló en 1968, se cambió el nombre de Cambridge House a Evans House en honor a una gran Directora y excelente persona. El colegio ha tenido varias "Headmistress" desde Miss Evans; sin embargo, el vínculo permanente entre el espíritu de San Silvestre y el sistema peruano fue la Directora, Dra. Sofía Conroy, quien entregó su vida a San Silvestre a través de muchos años de arduo trabajo y dedicación. Como reconocimiento a su labor, se cambio de nombre a Commonwealth House por Conroy House.

Aunque el colegio ha crecido desde la época de Miss Evans, su meta no ha cambiado: brindar una educación integral basada en los mejores aspectos de los sistemas educacionales de Gran Bretaña y Perú dándole a las alumnas una sólida base en ambos idiomas. Esto es posible gracias a una fuerte tradición que data de hace más de 60 años.

La directora actual es la señora Rina Bayly, graduada y con título de post-grado de la Universidad de Londres.

En 1995, el colegio fue aceptado por la reconocida Asociación de Colegios Británicos para niñas (Girls´ Schools´ Association) y goza de un gran prestigio como el colegio de niñas que mejor las prepara para enfrentar las exigencias del siglo XXI.