Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
18 changes: 18 additions & 0 deletions CHANGELOG.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,23 @@
# Changelog

## 0.11.0 — 2026-10-15

Estrai senza partenze a sorpresa e molto più veloce, una cosa alla volta in VRAM, i token al secondo, i megapixel ovunque.

- **Estrai parte solo quando premi**: mettendo una foto non succede niente; premi **Trova persone e oggetti** (o riquadri a mano trascinando).
- **Il rilevatore piccolo**: persone e oggetti li trova ora **Florence-2** (0,23 miliardi di parametri, ~460 MB, si scarica da solo al
primo uso) invece del Qwen3-VL da 8 miliardi: meno di un secondo invece di mezzo minuto. In Opzioni puoi tornare al Qwen3-VL; se il
rilevatore non risponde, l'app ripiega da sola sul Qwen3-VL (con meno oggetti e etichette più corte, quindi più veloce di prima).
Per questo il **motore passa alla versione 6**: al primo avvio dopo l'aggiornamento l'app aggiorna il motore da sola.
- **Una cosa alla volta in VRAM** (Opzioni → Prestazioni, acceso di serie): quando passi dal modello immagine all'LLM (migliora prompt,
descrivi foto, Idee, Esempio, Estrai…) o viceversa, l'app **scarica quello che non serve** e aspetta che la VRAM sia davvero libera
prima di far partire il lavoro dopo. Nella barra in basso si legge «Scarico il modello immagine» / «Scarico l'LLM».
- **Token al secondo**: mentre scrive l'LLM, nella barra in basso compare **N tok/s** (e i token fatti); a lavoro finito resta nella riga dell'ultimo risultato.
- **Megapixel ovunque**: il selettore (0,25 / 0,5 / 1 / 2 / **4 MP**, con la misura in pixel sotto ogni voce) c'è in Modifica (anche con «Originale» o
«Misura mia»: lavora a 4 MP e poi porta alla misura), Fusion, Esempio, Espandi, Laboratorio, Estrai e **Crea** («Oppure scegli per megapixel»).
- **Crea: i LoRA attivi si vedono sempre**, in tutte le categorie: una riga di chip sotto il prompt (con la forza, la ✕ li spegne) e il
numero sulla testata della sezione LoRA anche quando è chiusa.

## 0.10.0 — 2026-10-15

Estrai persone **e oggetti**, una casella di testo come si deve, la testa dell'omino e le risoluzioni sempre in vista.
Expand Down
7 changes: 6 additions & 1 deletion CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -95,6 +95,9 @@ interfaccia**, installato e guidato dall'app.
qualunque pagina la mandi (il `conParoleLora` del renderer fa la stessa cosa, non raddoppia). **Esempio** (`fusion.ts`): `pianificaEsempio` fa un foglio con l'esempio (image 1) e i riferimenti numerati e lo dà al Qwen3-VL (`descrivi`, `SISTEMA_PIANO`), che scrive l'istruzione di modifica decidendo da solo cosa sostituire con cosa (niente regole per persone o altro); il piano sta in `pianoEsempio` (con `chiaveEsempio`: foto + nota), si corregge nell'interfaccia, e `richiestaEsempio` lo manda come prompt con l'esempio come `image_1`. **Galleria**: tasto destro
(`MenuContestuale`), `galleria:elimina` con `definitivo`, `galleria:copia` con più id = file negli appunti con PowerShell `Set-Clipboard`. **Laboratorio**:
un `Ingresso` di tipo `camera` mostra il comando Camera (valore JSON, `leggiCamera`) e le ricette aggiungono il passo `VISTA_TUA`.
- **Una cosa alla volta in VRAM** (`lavori.ts`, `fattiSpazio` + `cliente.scaricaModelli`, `impostazioni.unaCosaAllaVolta`): ogni lavoro è `immagine`, `testo` (LLM e rilevatore) o `cpu` (traduttore); quando cambia
si manda `/free` e si aspetta che `torch_vram_total` scenda (il motore scarica a coda ferma: senza l'attesa lo farebbe dopo il lavoro successivo). **Token/s**: il TextGenerate manda un `progress` per token,
`lavori.ts` ne ricava `Lavoro.tokSec` (media dal primo messaggio) e `BarraStato` lo mostra.
- **Casella** (`componenti/Casella.tsx`): la textarea dei prompt (cresce col testo, cestino); il tasto destro nei campi di testo è nel main (`index.ts`, evento `context-menu`).
**Risoluzioni**: `Misura.tsx` ha `dimMp()` (le stesse misure del motore), `ScegliMp` (megapixel con i pixel sotto) e `Uscita` (la riga «La foto esce a…»).
- **Omino** (`omino.ts` puro + `componenti/Omino.tsx`, `ominoImmagine.ts`): scheletro di 15 giunti in un riquadro 280×300 (`Dx`/`Sx` sono della persona: la destra sta a sinistra dello schermo);
Expand Down Expand Up @@ -131,7 +134,9 @@ interfaccia**, installato e guidato dall'app.
un modello fra i primi senza ripetere; `disegna.ts` disegna su canvas (schermo e stampa: cornice, ombra, z, elementi); `esporta.ts` JPEG/PDF
(`pdf.ts`, senza librerie). Le foto grandi non restano in cache.
- **Estrai** (modo di Modifica, `componenti/Estrai.tsx` + `estrai.ts` + `riquadri.ts`): a foto caricata `trovaElementi` chiede al Qwen3-VL (`descrivi` con la foto intera)
un JSON `{bbox_2d 0–1000, label, kind: person|object}` (`leggiElementi`, tollera fence e JSON troncato, toglie i riquadri doppi); si sceglie con un clic (più clic = il riquadro più grande
un JSON `{bbox_2d 0–1000, label, kind: person|object}` (`leggiElementi`, tollera fence e JSON troncato, toglie i riquadri doppi). La ricerca parte **solo col pulsante**. Di serie la fa il
**rilevatore piccolo** (`modalita: 'trova'` → nodo `DaProdTrova` in `engine/custom_nodes/DaProd-Nodi/trova.py`: Florence-2 base `<OD>`, legge i gettoni `<loc_N>` a mano, poi esce dalla VRAM; modello `trova-florence`
in `models/detect/florence-2-base-ft`, scaricato al primo uso da `lavori.ts`), con `impostazioni.trova` = `'llm'` o se il rilevatore fallisce si ripiega sul Qwen3-VL (`descrivi`, `SISTEMA_ELEMENTI`). Si sceglie con un clic (più clic = il riquadro più grande
che contiene il punto) o riquadrando a mano; il tipo (persona/oggetto) si corregge. `richiestaEstrai` ritaglia la cosa (+12%) in un temp e fa una **Crea** con quella come `<image1>`:
**persona** = inquadratura (intera/vita/volto) + posa (T/A/in piedi/come/omino: manichino `<image1>`, ritaglio `<image2>`); **oggetto** = vista (come/davanti/¾/alto/lato), completa le parti coperte.
Proporzioni (`proporzioniEstrai`, auto = dal riquadro per gli oggetti) e `dimensioniEstrai` sono le stesse cifre che l'interfaccia mostra. I risultati stanno in `usaEstrai` (non nelle versioni).
Expand Down
5 changes: 4 additions & 1 deletion engine/custom_nodes/DaProd-Nodi/__init__.py
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
# I nodi di DaProd Image: la modifica di una zona (solo torch) e la traduzione del prompt (transformers, già con ComfyUI).
# I nodi di DaProd Image: la modifica di una zona (solo torch), la traduzione del prompt e il rilevatore di persone e oggetti (transformers, già con ComfyUI).
#
# - DaProdRiempiZona: riempie la zona con i colori che ha attorno (push-pull: medie a scale sempre
# più piccole e poi si risale). Serve per "rimuovi": se il modello vede ancora l'oggetto nella foto
Expand All @@ -10,6 +10,7 @@
import torch.nn.functional as F

from .traduzione import DaProdTraduci
from .trova import DaProdTrova


def _maschera_come(maschera, h, w):
Expand Down Expand Up @@ -115,9 +116,11 @@ def esegui(self, image, reference, mask, strength):
"DaProdRiempiZona": DaProdRiempiZona,
"DaProdAccordaColori": DaProdAccordaColori,
"DaProdTraduci": DaProdTraduci,
"DaProdTrova": DaProdTrova,
}
NODE_DISPLAY_NAME_MAPPINGS = {
"DaProdRiempiZona": "DaProd · Riempi la zona",
"DaProdAccordaColori": "DaProd · Accorda i colori",
"DaProdTraduci": "DaProd · Traduci il prompt",
"DaProdTrova": "DaProd · Trova persone e oggetti",
}
82 changes: 82 additions & 0 deletions engine/custom_nodes/DaProd-Nodi/trova.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,82 @@
# DaProdTrova: trova persone e oggetti in una foto con un modello piccolo (Florence-2 base, ~0,23 miliardi di parametri, MIT) invece del
# Qwen3-VL da 8 miliardi: un secondo invece di mezzo minuto. Risponde con lo stesso JSON che si chiederebbe all'LLM:
# [{"bbox_2d":[x1,y1,x2,y2],"label":"...","kind":"person"|"object"}] (coordinate 0–1000 sull'intera foto)
# Il modello scrive il compito <OD> come testo con i riquadri in gettoni <loc_N> (N = 0–999, già in millesimi della foto): si leggono
# direttamente, così non dipende da come cambia post_process_generation fra una versione di transformers e l'altra.
# Finito, il modello esce dalla memoria (una cosa alla volta in VRAM).
import gc
import json
import os
import re

PERSONA = re.compile(r"\b(person|people|man|men|woman|women|boy|girl|child|children|kid|baby|toddler|guy|lady|human|player|dancer|bride|groom)\b", re.I)
RIQUADRO = re.compile(r"([^<>]*?)((?:<loc_\d+>){4})")


def leggi_riquadri(testo):
"""il testo generato da Florence-2 per <OD>: 'etichetta<loc_a><loc_b><loc_c><loc_d>etichetta<loc_…>…' → elenco nel formato dell'app"""
testo = re.sub(r"</?s>|<pad>", "", testo)
fuori = []
for m in RIQUADRO.finditer(testo):
etichetta = m.group(1).strip()
n = [int(x) for x in re.findall(r"<loc_(\d+)>", m.group(2))]
x1, y1, x2, y2 = n
if x2 <= x1 or y2 <= y1:
continue
fuori.append(
{
"bbox_2d": [x1, y1, x2, y2],
"label": etichetta or "object",
"kind": "person" if PERSONA.search(etichetta) else "object",
}
)
return fuori


_cache = {}


class DaProdTrova:
@classmethod
def INPUT_TYPES(s):
return {"required": {"image": ("IMAGE",), "modello": ("STRING", {"default": "florence-2-base-ft"})}}

RETURN_TYPES = ("STRING",)
FUNCTION = "trova"
OUTPUT_NODE = True
CATEGORY = "DaProd"

def trova(self, image, modello):
import folder_paths
import torch
from PIL import Image
from transformers import AutoProcessor, Florence2ForConditionalGeneration # nativo da transformers 4.56

cartella = os.path.join(folder_paths.models_dir, "detect", modello)
if not os.path.isdir(cartella):
raise RuntimeError("manca il rilevatore in " + cartella)

a = (image[0].clamp(0, 1) * 255).byte().cpu().numpy()
img = Image.fromarray(a).convert("RGB")

cuda = torch.cuda.is_available()
dtype = torch.float16 if cuda else torch.float32
proc = AutoProcessor.from_pretrained(cartella)
mod = Florence2ForConditionalGeneration.from_pretrained(cartella, torch_dtype=dtype).eval()
try:
if cuda:
mod = mod.to("cuda")
dati = proc(text="<OD>", images=img, return_tensors="pt")
dati = {k: (v.to(mod.device, dtype) if v.is_floating_point() else v.to(mod.device)) for k, v in dati.items()}
with torch.inference_mode():
ids = mod.generate(**dati, max_new_tokens=1024, num_beams=3, do_sample=False)
testo = proc.batch_decode(ids, skip_special_tokens=False)[0]
finally:
del mod
gc.collect()
if cuda:
torch.cuda.empty_cache()

elenco = leggi_riquadri(testo)
t = json.dumps(elenco, ensure_ascii=False)
return {"ui": {"text": [t]}, "result": (t,)}
2 changes: 1 addition & 1 deletion engine/versioni.json
Original file line number Diff line number Diff line change
@@ -1,5 +1,5 @@
{
"motore": 5,
"motore": 6,
"python": "3.13",
"comfyui": {
"commit": "b26625f23a888367b92153b28d93e159e83e677b",
Expand Down
4 changes: 2 additions & 2 deletions package-lock.json

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

2 changes: 1 addition & 1 deletion package.json
Original file line number Diff line number Diff line change
@@ -1,7 +1,7 @@
{
"name": "daprod-image",
"productName": "DaProd Image",
"version": "0.10.0",
"version": "0.11.0",
"description": "DaProd Image: crea e modifica foto con Qwen-Image-2.1 sul tuo PC (CUDA, da 6 GB di VRAM). Turbo a 8 passi, preset per poster e infografiche, zone con anteprima dal vivo, LoRA con un clic, galleria.",
"author": "DaProd",
"license": "MIT",
Expand Down
4 changes: 3 additions & 1 deletion src/main/impostazioni.ts
Original file line number Diff line number Diff line change
Expand Up @@ -33,7 +33,9 @@ const PREDEFINITE: Impostazioni = {
vramMB: 0,
veloce: false,
traduci: true,
traduttore: 'dedicato'
traduttore: 'dedicato',
unaCosaAllaVolta: true,
trova: 'veloce'
}

let attuali: Impostazioni | null = null
Expand Down
8 changes: 8 additions & 0 deletions src/main/installa/catalogo.ts
Original file line number Diff line number Diff line change
Expand Up @@ -76,6 +76,14 @@ export const CATALOGO: VoceCatalogo[] = [
repo: 'Helsinki-NLP/opus-mt-it-en', cerca: ['^model\\.safetensors$', '^pytorch_model\\.bin$'],
accanto: ['^config\\.json$', '^generation_config\\.json$', '^tokenizer_config\\.json$', '^source\\.spm$', '^target\\.spm$', '^vocab\\.json$']
},
// --- rilevatore: un modello piccolo (Florence-2, 0,23 miliardi di parametri, MIT) che trova persone e oggetti in un secondo, al posto dell'LLM ---
{
id: 'trova-florence', tipo: 'rilevatore', nome: 'Rilevatore persone e oggetti (Florence-2 base)',
descrizione: 'Un modello piccolo che trova persone e oggetti in una foto in un attimo (Estrai). Prima lo faceva il Qwen3-VL, molto più lento. Si scarica da solo al primo uso.',
file: '', cartella: 'detect/florence-2-base-ft', url: '', byte: 460_000_000, circa: true, consigliato: true,
repo: 'florence-community/Florence-2-base-ft', cerca: ['^model\\.safetensors$', '^pytorch_model\\.bin$'],
accanto: ['^config\\.json$', '^generation_config\\.json$', '^preprocessor_config\\.json$', '^processor_config\\.json$', '^tokenizer_config\\.json$', '^tokenizer\\.json$', '^vocab\\.json$', '^merges\\.txt$', '^special_tokens_map\\.json$', '^added_tokens\\.json$', '^chat_template\\.json$']
},
// --- VAE ---
{
id: 'vae-fix', tipo: 'vae', nome: 'Texture-Fix VAE (madebyollin)',
Expand Down
2 changes: 1 addition & 1 deletion src/main/installa/risolvi.ts
Original file line number Diff line number Diff line change
Expand Up @@ -83,7 +83,7 @@ export async function risolviVoce(v: VoceCatalogo): Promise<Risolto> {
if (!v.repo || !v.cerca) throw new Error(`${v.nome}: non è una voce da cercare`)
const files = await elenco(v.repo)
// i pesi sono un .gguf (denoiser, encoder) o, per il traduttore, un .safetensors / .bin
const pesi = v.tipo === 'traduttore' ? /\.(safetensors|bin)$/i : /\.gguf$/i
const pesi = v.tipo === 'traduttore' || v.tipo === 'rilevatore' ? /\.(safetensors|bin)$/i : /\.gguf$/i
const principale = scegli(files, v.cerca, true, pesi)
if (!principale) throw new Error(`Nel repo ${v.repo} non trovo il file ${v.quant || ''} (${v.cerca.join(' / ')})`)
const nome = tronco(principale.path)
Expand Down
28 changes: 28 additions & 0 deletions src/main/motore/cliente.ts
Original file line number Diff line number Diff line change
Expand Up @@ -154,6 +154,34 @@ export async function liberaMemoria(): Promise<void> {
}).catch(() => undefined)
}

/** i byte che PyTorch tiene riservati sulla scheda adesso (null se il motore non lo dice) */
async function vramRiservata(): Promise<number | null> {
try {
const j = (await (await fetch(`http://${indirizzo()}/system_stats`)).json()) as { devices?: { type?: string; torch_vram_total?: number; torch_vram_free?: number }[] }
const d = j.devices?.find((x) => x.type === 'cuda') || j.devices?.[0]
return d && d.torch_vram_total !== undefined ? d.torch_vram_total : null
} catch {
return null
}
}

/** scarica i modelli e aspetta che la VRAM si sia davvero liberata: il motore lo fa quando è fermo, e se il lavoro dopo parte subito
* lo fa DOPO averlo eseguito (e non serve a niente). Quindi si manda /free, si aspetta un attimo, e si guarda la memoria finché non scende */
export async function scaricaModelli(): Promise<void> {
const prima = await vramRiservata()
await liberaMemoria()
await new Promise((r) => setTimeout(r, 700))
let ultima = prima
for (let i = 0; i < 12; i++) {
const ora = await vramRiservata()
if (ora === null || prima === null) return
// scesa a poco, o ferma da due letture: fatto
if (ora < 1.2e9 || (ultima !== null && Math.abs(ora - ultima) < 5e7 && i > 0)) return
ultima = ora
await new Promise((r) => setTimeout(r, 500))
}
}

let nodiCache: Record<string, unknown> | null = null
export async function nodiDisponibili(): Promise<Record<string, unknown>> {
if (nodiCache) return nodiCache
Expand Down
7 changes: 7 additions & 0 deletions src/main/motore/grafi.ts
Original file line number Diff line number Diff line change
Expand Up @@ -226,6 +226,13 @@ export function costruisci(q: Richiesta, imp: Impostazioni, ing: Ingressi, prefi
return { prompt: g.nodi, uscita, fasi: g.fasi, megapixel: 0, passi: 1 }
}

// il rilevatore piccolo (Florence-2): riquadri di persone e oggetti in un attimo, senza Qwen
if (q.modalita === 'trova') {
const img = r(g.add('LoadImage', { image: ing.immagini[0].nome }, 'Guardo la foto'))
const uscita = g.add('DaProdTrova', { image: img, modello: 'florence-2-base-ft' }, 'Cerco persone e oggetti')
return { prompt: g.nodi, uscita, fasi: g.fasi, megapixel: 0, passi: 1 }
}

if (q.modalita === 'descrivi') {
const clip = caricaClip(g, imp)
const inputs: Record<string, unknown> = {
Expand Down
Loading
Loading