Tres repos públicos, un pipeline: qué salió (y qué no)

Corremos NP Auditor sobre aws-cli (AWS), Django (DSF) y Metaflow (Netflix): clones shallow, scans acotados, sin ejecutar el target y sin tocar el banco de firmas. Aquí va el resultado con números reales — para mortales y para quien quiera el detalle técnico.

Método: qué es Fase E

Fase E es el experimento de Capa2 sobre código real (no solo fixtures). El pipeline va en tres capas de lectura:

Reglas del run (sin atajos)

• No exec del código del target — solo lectura AST / firmas.
• No escribir BANCO_FIRMAS — el LLM / pipeline no inventa firmas nuevas en el banco.
• R1: en staging, cwe_non_null = 0 (sin CWE inventado en cuarentena).
• Oráculo solo fixtures: en código real, oraculo_pass = 0 es esperado — el oráculo no “aprueba” repos ajenos.
• Shallow clone (--depth 1), scans por subdir (no monorepo completo).

Runner: run_capa2_fase_e_v2.py · ts 2026-08-01T21:48:39Z · cerebro aislado en repos_reales/ para no pisar fixtures.

Números agregados

Top objetivos globales (match): obj_sqli_concat 192 · obj_rce_eval 188 · obj_mass_assignment 158 · obj_cmd_injection 91 · obj_ssti 29. Una parte de eso es ruido de familia (ver más abajo).

aws-cli — Amazon Web Services

Auditoría completa de aws-cli →

Detalle técnico — ejemplos del scan

# piping to a pager to work, we need to use shell=True.
kwargs['shell'] = True
return Popen(*args, **kwargs)

with closing(zipfile.ZipFile(fileobj)) as f:
    f.infolist()

Django — Django Software Foundation

Auditoría completa de Django →

Detalle técnico — ejemplos del scan

if not self._is_expired(f):
    return pickle.loads(zlib.decompress(f.read()))

with connection.cursor() as cursor:
    cursor.execute(
        "SELECT %s …"   # placeholders — no concat de user input crudo

"git log --pretty=format:%ct --quiet -1 HEAD",
    capture_output=True,
    shell=True,

Metaflow — Netflix

Auditoría completa de Metaflow →

Detalle técnico — ejemplos del scan

if subprocess.call(cmdline, shell=True):
    raise ExternalCommandFailed(
        "Command '%s' returned a non-zero exit code." % cmdline)

Ruido, oráculo y límites

Ruido que vimos en vivo

• obj_sqli_concat sobre cursor.execute parametrizado (Django cache DB).
• setattr → obj_mass_assignment en argparse / color / winconsole.
• compiler.compile (SQL) → obj_rce_eval por homonimia.
• re.compile → a veces cae en familias eval/redos sin ser RCE.
• CWE-79 en packaging vendorizado (Metaflow) — firma HTML dudosa en ese contexto.

Limitaciones del experimento

• Scans acotados: no es el monorepo completo (aws-cli sin foco total en tests; Django sin contrib/tests).
• Shallow clone: un commit, sin historia.
• No se encadenó promoción a BANCO_FIRMAS ni staging_firmas.
• Verificación R1 OK: staging sin CWE inventado; sin exec del target.

Conclusión (honesta)

El pipeline sí produce señal en código real grande: pickle en cache Django, shell=True / Popen en aws-cli y Metaflow, ZipFile en caminos de empaquetado, paths y logs en Capa1. Eso es exactamente lo que quieres de un SAST + cuarentena: superficie visible, con archivo y línea.

Y también produce ruido heurístico: familias que se pasan de lanza, vendors, nombres de método engañosos. Por eso Fase E deja los matches en cuarentena y no escribe el banco — Store → analyze; humano (o fixtures) decide.

Si te llevas una frase: corrimos el motor sobre tres repos que la gente sí usa, en ~45 segundos, sin ejecutar su código, y salió un mapa útil de sinks — no un trophy wall de “hackeamos AWS”.

Desglose por repo: aws-cli · Django · Metaflow. Cómo Claude revisa esos packs en el IDE: caso Claude + Fase E. ¿Quieres el producto, no solo el caso? Vuelve al home o lee cómo jala NP Auditor.