En StarSkirmish Hillclimb los modelos de IA no compiten jugando directamente a StarCraft: Brood War, sino que desarrollan un bot y pueden hacer partidas de prueba, analizarlas y modificar su código antes de competir. Tanto Astra como Opus tenían su propio entorno de desarrollo y la misión de superar cinco niveles de dificultad contra oponentes Protoss, que es la facción más representada entre los mejores bots de código abierto. Los últimos rivales fueron Stardust y PurpleWave, los dos mejores bots de StarCraft: Brood War escritos por humanos. En esta competición no hay límite de tiempo y el criterio para ganar es superar un umbral de victorias.
Los bots rivales de GPT-6 y Claude Opus.Los bots creados por Astra y Opus superaron con rapidez a los bots de nivel más bajo usando una estrategia que es buena en prácticamente todos los escenarios y que funcionó hasta que llegaron a Locutus y BananaBrain, dos bots Tier A. En este momento, Astra empezó a tener problemas, pero siguió iterando su bot hasta que decidió copiar el código de Stardust, el mejor bot de StarCraft: Brood War, para sustituirlo por el suyo. El intento de trampa quedó abortado cuando el organizador hizo un rollback para que Astra continuase sin Stardust. Por su parte, el bot de Opus se quedó atascado contra Locutus y BananaBrain, a los que no superó.
Finalmente, Astra cambió de planteamiento para ganar a Locutus y BananaBrain, un salto conceptual que Opus no consiguió dar. El modelo de Anthropic no avanzó y se quedó bloqueado optimizando una estrategia que no funcionaba. Astra no solo alcanzó un nivel superior mucho más rápido, logrando en 6 horas lo mismo que Opus en 24 horas, sino que su capacidad para cambiar de enfoque le permitió modificar el bot para ganar a Locutus y BananaBrain.
Cuando Astra se enfrentó a Stardust y PurpleWave, volvió a cambiar de estrategia para superarlos y además aprovechó una debilidad que comparten ambos bots (por razones distintas). Astra no programó a su bot para ser el mejor jugador de StarCraft: Brood War, sino que intentaba diseñar situaciones en las que tuviera que tomar el menor número de decisiones difíciles. No fue una estrategia sencilla para Astra, que tardó cerca de 50 horas en convertir este enfoque en un planteamiento ganador.
Tras superar a los mejores bots de StarCraft: Brood War escritos por humanos, Astra se enfrentó a Pluto, una red neuronal entrenada mediante partidas contra sí misma que estaba fuera de su alcance. Astra perdió las 1000 partidas que jugó contra Pluto. Lo interesante de este enfrentamiento es que Astra cometió varios errores en prácticamente todas las partidas y Pluto simplemente se dedicó a castigar los puntos débiles de su bot. Como agente, Astra ha demostrado ser muy bueno reformulando una estrategia, pero cuando se quedó atrapado en un bucle no consiguió identificar qué estaba pasando y siguió repitiendo los mismos errores.