Según el Movimiento Vecinal por el Resurgimiento de la boca del Riachuelo, en 1812 el marino irlandés Guillermo Brown compró un extenso terreno en el Sur de la Ciudad de Buenos Aires, y se instaló con su familia a partir de 1813 en una Casona construida especialmente con ese fin. La misma se ubicaba en lo que actualmente sería hoy la Avda. Martín García entre Ruy Díaz de Guzmán y Azara. La zona estaba casi deshabitada, y comenzó a conocerse como “Casa Amarilla” por el color de la residencia del Almirante Brown. Muchos años después, una réplica de la casa del Almirante Brown se construyó en terrenos aledaños al lugar originario. Se inauguró el 22 de junio de 1983, en ocasión del 206 aniversario del nacimiento del héroe patrio.
La zona conocida como Casa Amarilla abarcaba 22 hectáreas aproximadamente, ubicada entre la Avda. Martín García, Alte. Brown, Villafañe, e Irala.
En 1826 el ingeniero inglés Bevans propuso al gobernador de la Provincia de Buenos Aires Manuel Dorrego, una serie de iniciativas, entre ellas la construcción de un ferrocarril entre la Boca y Ensenada. Esta idea un tanto prematura para el país encontró su concreción después de transcurrido medio siglo.
En 1857 el Congreso de la Provincia de Buenos Aires aprobó la Ley N ° 147 que autorizaba al Poder Ejecutivo a otorgar la concesión de un ferrocarril desde la Ciudad de Buenos Aires hasta la Ensenada de Barragán.
El 1860, el Gobierno de la Provincia de Buenos Aires otorgó la concesión a Alfonso Lelievre, quien la traspasó en 1862 a James C. Simpson, el que a su vez la trasmitió a William Wheelright en 1863.
El Ferrocarril Boca, Barracas y Ensenada era una compañía de capitales británicos que construyó y operó una red de ferrocarriles de trocha ancha ( 1,676 m ), que inicialmente se conoció como Ferrocarril de La Boca , y unía la Ciudad de Buenos Aires y Ensenada en la margen derecha del Río de la Plata.
Los trabajos en la línea comenzaron en 1863 y el Ferrocarril inauguró sus servicios el 1 de septiembre de 1865, con una extensión de 5 Km . Con el tiempo llegó a contar con las siguientes estaciones: Estación Venezuela (provisoria cabecera del servicio): en Paseo Colón y Venezuela; Estación Casa Amarilla: en la Av. Paseo Colon y Garay; Estación La Boca (luego llamada Alte. Brown): en Garibaldi entre Olavarría y Brandsen (donde además estaba el depósito de locomotoras, coches y vagones); Estación Barraca Peña: en Pedro de Mendoza e Irala (parada eventual); Estación Tres Esquinas: en Montes de Oca y Osvaldo Cruz; Estación Muelle de La Boca : que se unía con la Estación Alte. Brown mediante un empalme que siguiendo la actual calle Caminito, llegaba a la Vuelta de Rocha.
En 1897 con motivo del incendio de la estación Central de Ferrocarriles (Alem y B. Mitre), el gobierno municipal ordenó el levantamiento de las vías desde Retiro a Casa Amarilla.
En 1910 se clausuran las estaciones Casa Amarilla, Brown, Barraca Peña, Tres Esquinas y Barracas Iglesia sobre la traza del ex Ferrocarril Buenos Aires a Ensenada, y sus pasajeros viajaban ahora hacia y desde la Ciudad de Buenos aires por Plaza Constitución.
No obstante haberse cerrado las estaciones de pasajeros, el predio ferroviario de Casa Amarilla continuó operando como playa de carga y descarga de transporte de mercaderías.
En 1923 la petrolera SHELL inauguró en Casa Amarilla un depósito de combustible que recibía vagones tanque desde Dock Sud.
También funcionó en ese predio el Mercado de Papas y Cebollas de Casa Amarilla, que fue cerrado hacia fines de la década del setenta del siglo pasado.
En el año 1981 la Comisión Municipal de la Vivienda de la entonces Municipalidad de la Ciudad de Buenos Aires, compró al Estado Nacional las tierras denominadas “Casa Amarilla”.
La fracción mayor estaba ubicada al este de las vías del ferrocarril y totalizaba una superficie bruta de 120.945 m² , es decir 12,09 hectáreas .
Luego, en 1990 el Concejo Deliberante sancionó la Ordenanza Municipal Nº 44.520 que posibilitó la urbanización de los terrenos, la apertura de calles y estableció el porcentaje de la superficie donde podrían construirse viviendas. Por otra parte quedó determinado que la zonificación que corresponde es Residencial de Alta Densidad.