From 1f27cabd3356b2ebdcf23734bd3b859b53f93fa1 Mon Sep 17 00:00:00 2001 From: Claude Date: Thu, 15 Oct 2026 15:44:44 +0000 Subject: [PATCH] 0.11.0: Estrai parte col pulsante e col rilevatore piccolo, una cosa alla volta in VRAM, token al secondo, megapixel ovunque, LoRA attivi in Crea Co-Authored-By: Claude Sonnet 5.5 Claude-Session: https://claude.ai/code/session_01K9poJitXQ1x3ZDHxioN2Cf --- CHANGELOG.md | 18 +++++ CLAUDE.md | 7 +- engine/custom_nodes/DaProd-Nodi/__init__.py | 5 +- engine/custom_nodes/DaProd-Nodi/trova.py | 82 +++++++++++++++++++++ engine/versioni.json | 2 +- package-lock.json | 4 +- package.json | 2 +- src/main/impostazioni.ts | 4 +- src/main/installa/catalogo.ts | 8 ++ src/main/installa/risolvi.ts | 2 +- src/main/motore/cliente.ts | 28 +++++++ src/main/motore/grafi.ts | 7 ++ src/main/motore/lavori.ts | 68 +++++++++++++++-- src/renderer/src/componenti/BarraStato.tsx | 5 +- src/renderer/src/componenti/Estrai.tsx | 16 ++-- src/renderer/src/componenti/Misura.tsx | 10 ++- src/renderer/src/componenti/SceltaLora.tsx | 21 ++++++ src/renderer/src/estrai.ts | 23 ++++-- src/renderer/src/pagine/Crea.tsx | 19 ++++- src/renderer/src/pagine/Impostazioni.tsx | 13 +++- src/renderer/src/pagine/Laboratorio.tsx | 2 +- src/renderer/src/pagine/Modifica.tsx | 18 ++--- src/renderer/src/stile.css | 5 ++ src/shared/tipi.ts | 9 ++- test/finto.js | 2 +- test/interfaccia.mjs | 9 ++- 26 files changed, 333 insertions(+), 56 deletions(-) create mode 100644 engine/custom_nodes/DaProd-Nodi/trova.py diff --git a/CHANGELOG.md b/CHANGELOG.md index a897de8..fc08c64 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,23 @@ # Changelog +## 0.11.0 — 2026-10-15 + +Estrai senza partenze a sorpresa e molto più veloce, una cosa alla volta in VRAM, i token al secondo, i megapixel ovunque. + +- **Estrai parte solo quando premi**: mettendo una foto non succede niente; premi **Trova persone e oggetti** (o riquadri a mano trascinando). +- **Il rilevatore piccolo**: persone e oggetti li trova ora **Florence-2** (0,23 miliardi di parametri, ~460 MB, si scarica da solo al + primo uso) invece del Qwen3-VL da 8 miliardi: meno di un secondo invece di mezzo minuto. In Opzioni puoi tornare al Qwen3-VL; se il + rilevatore non risponde, l'app ripiega da sola sul Qwen3-VL (con meno oggetti e etichette più corte, quindi più veloce di prima). + Per questo il **motore passa alla versione 6**: al primo avvio dopo l'aggiornamento l'app aggiorna il motore da sola. +- **Una cosa alla volta in VRAM** (Opzioni → Prestazioni, acceso di serie): quando passi dal modello immagine all'LLM (migliora prompt, + descrivi foto, Idee, Esempio, Estrai…) o viceversa, l'app **scarica quello che non serve** e aspetta che la VRAM sia davvero libera + prima di far partire il lavoro dopo. Nella barra in basso si legge «Scarico il modello immagine» / «Scarico l'LLM». +- **Token al secondo**: mentre scrive l'LLM, nella barra in basso compare **N tok/s** (e i token fatti); a lavoro finito resta nella riga dell'ultimo risultato. +- **Megapixel ovunque**: il selettore (0,25 / 0,5 / 1 / 2 / **4 MP**, con la misura in pixel sotto ogni voce) c'è in Modifica (anche con «Originale» o + «Misura mia»: lavora a 4 MP e poi porta alla misura), Fusion, Esempio, Espandi, Laboratorio, Estrai e **Crea** («Oppure scegli per megapixel»). +- **Crea: i LoRA attivi si vedono sempre**, in tutte le categorie: una riga di chip sotto il prompt (con la forza, la ✕ li spegne) e il + numero sulla testata della sezione LoRA anche quando è chiusa. + ## 0.10.0 — 2026-10-15 Estrai persone **e oggetti**, una casella di testo come si deve, la testa dell'omino e le risoluzioni sempre in vista. diff --git a/CLAUDE.md b/CLAUDE.md index d18265f..4543392 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -95,6 +95,9 @@ interfaccia**, installato e guidato dall'app. qualunque pagina la mandi (il `conParoleLora` del renderer fa la stessa cosa, non raddoppia). **Esempio** (`fusion.ts`): `pianificaEsempio` fa un foglio con l'esempio (image 1) e i riferimenti numerati e lo dà al Qwen3-VL (`descrivi`, `SISTEMA_PIANO`), che scrive l'istruzione di modifica decidendo da solo cosa sostituire con cosa (niente regole per persone o altro); il piano sta in `pianoEsempio` (con `chiaveEsempio`: foto + nota), si corregge nell'interfaccia, e `richiestaEsempio` lo manda come prompt con l'esempio come `image_1`. **Galleria**: tasto destro (`MenuContestuale`), `galleria:elimina` con `definitivo`, `galleria:copia` con più id = file negli appunti con PowerShell `Set-Clipboard`. **Laboratorio**: un `Ingresso` di tipo `camera` mostra il comando Camera (valore JSON, `leggiCamera`) e le ricette aggiungono il passo `VISTA_TUA`. +- **Una cosa alla volta in VRAM** (`lavori.ts`, `fattiSpazio` + `cliente.scaricaModelli`, `impostazioni.unaCosaAllaVolta`): ogni lavoro è `immagine`, `testo` (LLM e rilevatore) o `cpu` (traduttore); quando cambia + si manda `/free` e si aspetta che `torch_vram_total` scenda (il motore scarica a coda ferma: senza l'attesa lo farebbe dopo il lavoro successivo). **Token/s**: il TextGenerate manda un `progress` per token, + `lavori.ts` ne ricava `Lavoro.tokSec` (media dal primo messaggio) e `BarraStato` lo mostra. - **Casella** (`componenti/Casella.tsx`): la textarea dei prompt (cresce col testo, cestino); il tasto destro nei campi di testo è nel main (`index.ts`, evento `context-menu`). **Risoluzioni**: `Misura.tsx` ha `dimMp()` (le stesse misure del motore), `ScegliMp` (megapixel con i pixel sotto) e `Uscita` (la riga «La foto esce a…»). - **Omino** (`omino.ts` puro + `componenti/Omino.tsx`, `ominoImmagine.ts`): scheletro di 15 giunti in un riquadro 280×300 (`Dx`/`Sx` sono della persona: la destra sta a sinistra dello schermo); @@ -131,7 +134,9 @@ interfaccia**, installato e guidato dall'app. un modello fra i primi senza ripetere; `disegna.ts` disegna su canvas (schermo e stampa: cornice, ombra, z, elementi); `esporta.ts` JPEG/PDF (`pdf.ts`, senza librerie). Le foto grandi non restano in cache. - **Estrai** (modo di Modifica, `componenti/Estrai.tsx` + `estrai.ts` + `riquadri.ts`): a foto caricata `trovaElementi` chiede al Qwen3-VL (`descrivi` con la foto intera) - un JSON `{bbox_2d 0–1000, label, kind: person|object}` (`leggiElementi`, tollera fence e JSON troncato, toglie i riquadri doppi); si sceglie con un clic (più clic = il riquadro più grande + un JSON `{bbox_2d 0–1000, label, kind: person|object}` (`leggiElementi`, tollera fence e JSON troncato, toglie i riquadri doppi). La ricerca parte **solo col pulsante**. Di serie la fa il + **rilevatore piccolo** (`modalita: 'trova'` → nodo `DaProdTrova` in `engine/custom_nodes/DaProd-Nodi/trova.py`: Florence-2 base ``, legge i gettoni `` a mano, poi esce dalla VRAM; modello `trova-florence` + in `models/detect/florence-2-base-ft`, scaricato al primo uso da `lavori.ts`), con `impostazioni.trova` = `'llm'` o se il rilevatore fallisce si ripiega sul Qwen3-VL (`descrivi`, `SISTEMA_ELEMENTI`). Si sceglie con un clic (più clic = il riquadro più grande che contiene il punto) o riquadrando a mano; il tipo (persona/oggetto) si corregge. `richiestaEstrai` ritaglia la cosa (+12%) in un temp e fa una **Crea** con quella come ``: **persona** = inquadratura (intera/vita/volto) + posa (T/A/in piedi/come/omino: manichino ``, ritaglio ``); **oggetto** = vista (come/davanti/¾/alto/lato), completa le parti coperte. Proporzioni (`proporzioniEstrai`, auto = dal riquadro per gli oggetti) e `dimensioniEstrai` sono le stesse cifre che l'interfaccia mostra. I risultati stanno in `usaEstrai` (non nelle versioni). diff --git a/engine/custom_nodes/DaProd-Nodi/__init__.py b/engine/custom_nodes/DaProd-Nodi/__init__.py index 54eaf27..8296685 100644 --- a/engine/custom_nodes/DaProd-Nodi/__init__.py +++ b/engine/custom_nodes/DaProd-Nodi/__init__.py @@ -1,4 +1,4 @@ -# I nodi di DaProd Image: la modifica di una zona (solo torch) e la traduzione del prompt (transformers, già con ComfyUI). +# I nodi di DaProd Image: la modifica di una zona (solo torch), la traduzione del prompt e il rilevatore di persone e oggetti (transformers, già con ComfyUI). # # - DaProdRiempiZona: riempie la zona con i colori che ha attorno (push-pull: medie a scale sempre # più piccole e poi si risale). Serve per "rimuovi": se il modello vede ancora l'oggetto nella foto @@ -10,6 +10,7 @@ import torch.nn.functional as F from .traduzione import DaProdTraduci +from .trova import DaProdTrova def _maschera_come(maschera, h, w): @@ -115,9 +116,11 @@ def esegui(self, image, reference, mask, strength): "DaProdRiempiZona": DaProdRiempiZona, "DaProdAccordaColori": DaProdAccordaColori, "DaProdTraduci": DaProdTraduci, + "DaProdTrova": DaProdTrova, } NODE_DISPLAY_NAME_MAPPINGS = { "DaProdRiempiZona": "DaProd · Riempi la zona", "DaProdAccordaColori": "DaProd · Accorda i colori", "DaProdTraduci": "DaProd · Traduci il prompt", + "DaProdTrova": "DaProd · Trova persone e oggetti", } diff --git a/engine/custom_nodes/DaProd-Nodi/trova.py b/engine/custom_nodes/DaProd-Nodi/trova.py new file mode 100644 index 0000000..40e5461 --- /dev/null +++ b/engine/custom_nodes/DaProd-Nodi/trova.py @@ -0,0 +1,82 @@ +# DaProdTrova: trova persone e oggetti in una foto con un modello piccolo (Florence-2 base, ~0,23 miliardi di parametri, MIT) invece del +# Qwen3-VL da 8 miliardi: un secondo invece di mezzo minuto. Risponde con lo stesso JSON che si chiederebbe all'LLM: +# [{"bbox_2d":[x1,y1,x2,y2],"label":"...","kind":"person"|"object"}] (coordinate 0–1000 sull'intera foto) +# Il modello scrive il compito come testo con i riquadri in gettoni (N = 0–999, già in millesimi della foto): si leggono +# direttamente, così non dipende da come cambia post_process_generation fra una versione di transformers e l'altra. +# Finito, il modello esce dalla memoria (una cosa alla volta in VRAM). +import gc +import json +import os +import re + +PERSONA = re.compile(r"\b(person|people|man|men|woman|women|boy|girl|child|children|kid|baby|toddler|guy|lady|human|player|dancer|bride|groom)\b", re.I) +RIQUADRO = re.compile(r"([^<>]*?)((?:){4})") + + +def leggi_riquadri(testo): + """il testo generato da Florence-2 per : 'etichettaetichetta…' → elenco nel formato dell'app""" + testo = re.sub(r"|", "", testo) + fuori = [] + for m in RIQUADRO.finditer(testo): + etichetta = m.group(1).strip() + n = [int(x) for x in re.findall(r"", m.group(2))] + x1, y1, x2, y2 = n + if x2 <= x1 or y2 <= y1: + continue + fuori.append( + { + "bbox_2d": [x1, y1, x2, y2], + "label": etichetta or "object", + "kind": "person" if PERSONA.search(etichetta) else "object", + } + ) + return fuori + + +_cache = {} + + +class DaProdTrova: + @classmethod + def INPUT_TYPES(s): + return {"required": {"image": ("IMAGE",), "modello": ("STRING", {"default": "florence-2-base-ft"})}} + + RETURN_TYPES = ("STRING",) + FUNCTION = "trova" + OUTPUT_NODE = True + CATEGORY = "DaProd" + + def trova(self, image, modello): + import folder_paths + import torch + from PIL import Image + from transformers import AutoProcessor, Florence2ForConditionalGeneration # nativo da transformers 4.56 + + cartella = os.path.join(folder_paths.models_dir, "detect", modello) + if not os.path.isdir(cartella): + raise RuntimeError("manca il rilevatore in " + cartella) + + a = (image[0].clamp(0, 1) * 255).byte().cpu().numpy() + img = Image.fromarray(a).convert("RGB") + + cuda = torch.cuda.is_available() + dtype = torch.float16 if cuda else torch.float32 + proc = AutoProcessor.from_pretrained(cartella) + mod = Florence2ForConditionalGeneration.from_pretrained(cartella, torch_dtype=dtype).eval() + try: + if cuda: + mod = mod.to("cuda") + dati = proc(text="", images=img, return_tensors="pt") + dati = {k: (v.to(mod.device, dtype) if v.is_floating_point() else v.to(mod.device)) for k, v in dati.items()} + with torch.inference_mode(): + ids = mod.generate(**dati, max_new_tokens=1024, num_beams=3, do_sample=False) + testo = proc.batch_decode(ids, skip_special_tokens=False)[0] + finally: + del mod + gc.collect() + if cuda: + torch.cuda.empty_cache() + + elenco = leggi_riquadri(testo) + t = json.dumps(elenco, ensure_ascii=False) + return {"ui": {"text": [t]}, "result": (t,)} diff --git a/engine/versioni.json b/engine/versioni.json index 7aa2d63..73f0c96 100644 --- a/engine/versioni.json +++ b/engine/versioni.json @@ -1,5 +1,5 @@ { - "motore": 5, + "motore": 6, "python": "3.13", "comfyui": { "commit": "b26625f23a888367b92153b28d93e159e83e677b", diff --git a/package-lock.json b/package-lock.json index a3b7bf0..db2f3d4 100644 --- a/package-lock.json +++ b/package-lock.json @@ -1,12 +1,12 @@ { "name": "daprod-image", - "version": "0.10.0", + "version": "0.11.0", "lockfileVersion": 3, "requires": true, "packages": { "": { "name": "daprod-image", - "version": "0.10.0", + "version": "0.11.0", "license": "MIT", "dependencies": { "electron-updater": "^6.8.9" diff --git a/package.json b/package.json index da90022..ec11748 100644 --- a/package.json +++ b/package.json @@ -1,7 +1,7 @@ { "name": "daprod-image", "productName": "DaProd Image", - "version": "0.10.0", + "version": "0.11.0", "description": "DaProd Image: crea e modifica foto con Qwen-Image-2.1 sul tuo PC (CUDA, da 6 GB di VRAM). Turbo a 8 passi, preset per poster e infografiche, zone con anteprima dal vivo, LoRA con un clic, galleria.", "author": "DaProd", "license": "MIT", diff --git a/src/main/impostazioni.ts b/src/main/impostazioni.ts index f8cf508..71f9145 100644 --- a/src/main/impostazioni.ts +++ b/src/main/impostazioni.ts @@ -33,7 +33,9 @@ const PREDEFINITE: Impostazioni = { vramMB: 0, veloce: false, traduci: true, - traduttore: 'dedicato' + traduttore: 'dedicato', + unaCosaAllaVolta: true, + trova: 'veloce' } let attuali: Impostazioni | null = null diff --git a/src/main/installa/catalogo.ts b/src/main/installa/catalogo.ts index 47770da..f02f788 100644 --- a/src/main/installa/catalogo.ts +++ b/src/main/installa/catalogo.ts @@ -76,6 +76,14 @@ export const CATALOGO: VoceCatalogo[] = [ repo: 'Helsinki-NLP/opus-mt-it-en', cerca: ['^model\\.safetensors$', '^pytorch_model\\.bin$'], accanto: ['^config\\.json$', '^generation_config\\.json$', '^tokenizer_config\\.json$', '^source\\.spm$', '^target\\.spm$', '^vocab\\.json$'] }, + // --- rilevatore: un modello piccolo (Florence-2, 0,23 miliardi di parametri, MIT) che trova persone e oggetti in un secondo, al posto dell'LLM --- + { + id: 'trova-florence', tipo: 'rilevatore', nome: 'Rilevatore persone e oggetti (Florence-2 base)', + descrizione: 'Un modello piccolo che trova persone e oggetti in una foto in un attimo (Estrai). Prima lo faceva il Qwen3-VL, molto più lento. Si scarica da solo al primo uso.', + file: '', cartella: 'detect/florence-2-base-ft', url: '', byte: 460_000_000, circa: true, consigliato: true, + repo: 'florence-community/Florence-2-base-ft', cerca: ['^model\\.safetensors$', '^pytorch_model\\.bin$'], + accanto: ['^config\\.json$', '^generation_config\\.json$', '^preprocessor_config\\.json$', '^processor_config\\.json$', '^tokenizer_config\\.json$', '^tokenizer\\.json$', '^vocab\\.json$', '^merges\\.txt$', '^special_tokens_map\\.json$', '^added_tokens\\.json$', '^chat_template\\.json$'] + }, // --- VAE --- { id: 'vae-fix', tipo: 'vae', nome: 'Texture-Fix VAE (madebyollin)', diff --git a/src/main/installa/risolvi.ts b/src/main/installa/risolvi.ts index 517e19a..d4ee4ba 100644 --- a/src/main/installa/risolvi.ts +++ b/src/main/installa/risolvi.ts @@ -83,7 +83,7 @@ export async function risolviVoce(v: VoceCatalogo): Promise { if (!v.repo || !v.cerca) throw new Error(`${v.nome}: non è una voce da cercare`) const files = await elenco(v.repo) // i pesi sono un .gguf (denoiser, encoder) o, per il traduttore, un .safetensors / .bin - const pesi = v.tipo === 'traduttore' ? /\.(safetensors|bin)$/i : /\.gguf$/i + const pesi = v.tipo === 'traduttore' || v.tipo === 'rilevatore' ? /\.(safetensors|bin)$/i : /\.gguf$/i const principale = scegli(files, v.cerca, true, pesi) if (!principale) throw new Error(`Nel repo ${v.repo} non trovo il file ${v.quant || ''} (${v.cerca.join(' / ')})`) const nome = tronco(principale.path) diff --git a/src/main/motore/cliente.ts b/src/main/motore/cliente.ts index a56f539..53d129b 100644 --- a/src/main/motore/cliente.ts +++ b/src/main/motore/cliente.ts @@ -154,6 +154,34 @@ export async function liberaMemoria(): Promise { }).catch(() => undefined) } +/** i byte che PyTorch tiene riservati sulla scheda adesso (null se il motore non lo dice) */ +async function vramRiservata(): Promise { + try { + const j = (await (await fetch(`http://${indirizzo()}/system_stats`)).json()) as { devices?: { type?: string; torch_vram_total?: number; torch_vram_free?: number }[] } + const d = j.devices?.find((x) => x.type === 'cuda') || j.devices?.[0] + return d && d.torch_vram_total !== undefined ? d.torch_vram_total : null + } catch { + return null + } +} + +/** scarica i modelli e aspetta che la VRAM si sia davvero liberata: il motore lo fa quando è fermo, e se il lavoro dopo parte subito + * lo fa DOPO averlo eseguito (e non serve a niente). Quindi si manda /free, si aspetta un attimo, e si guarda la memoria finché non scende */ +export async function scaricaModelli(): Promise { + const prima = await vramRiservata() + await liberaMemoria() + await new Promise((r) => setTimeout(r, 700)) + let ultima = prima + for (let i = 0; i < 12; i++) { + const ora = await vramRiservata() + if (ora === null || prima === null) return + // scesa a poco, o ferma da due letture: fatto + if (ora < 1.2e9 || (ultima !== null && Math.abs(ora - ultima) < 5e7 && i > 0)) return + ultima = ora + await new Promise((r) => setTimeout(r, 500)) + } +} + let nodiCache: Record | null = null export async function nodiDisponibili(): Promise> { if (nodiCache) return nodiCache diff --git a/src/main/motore/grafi.ts b/src/main/motore/grafi.ts index 2726b5e..8973caf 100644 --- a/src/main/motore/grafi.ts +++ b/src/main/motore/grafi.ts @@ -226,6 +226,13 @@ export function costruisci(q: Richiesta, imp: Impostazioni, ing: Ingressi, prefi return { prompt: g.nodi, uscita, fasi: g.fasi, megapixel: 0, passi: 1 } } + // il rilevatore piccolo (Florence-2): riquadri di persone e oggetti in un attimo, senza Qwen + if (q.modalita === 'trova') { + const img = r(g.add('LoadImage', { image: ing.immagini[0].nome }, 'Guardo la foto')) + const uscita = g.add('DaProdTrova', { image: img, modello: 'florence-2-base-ft' }, 'Cerco persone e oggetti') + return { prompt: g.nodi, uscita, fasi: g.fasi, megapixel: 0, passi: 1 } + } + if (q.modalita === 'descrivi') { const clip = caricaClip(g, imp) const inputs: Record = { diff --git a/src/main/motore/lavori.ts b/src/main/motore/lavori.ts index 557c18d..e870d87 100644 --- a/src/main/motore/lavori.ts +++ b/src/main/motore/lavori.ts @@ -9,7 +9,7 @@ import { USCITA } from '../percorsi' import { impostazioni, profiloMemoria, registraTempo, stimaPasso } from '../impostazioni' import { costruisci, type GrafoPronto, type Ingressi } from './grafi' import { SISTEMA_TRADUCI, daTradurre, pulisciTraduzione, tokenPer } from './traduci' -import { accoda, caricaImmagine, chiaviRtx, collegato, connetti, interrompi, suAnteprima, suMessaggio, usciteDa, type MessaggioComfy } from './cliente' +import { accoda, caricaImmagine, chiaviRtx, collegato, connetti, interrompi, scaricaModelli, suAnteprima, suMessaggio, usciteDa, type MessaggioComfy } from './cliente' import { avviaMotore, infoMotore, aggiornaVram } from './processo' import { aggiungi } from '../galleria' import { elencoLora } from '../lora' @@ -114,6 +114,10 @@ let uscitaAttesa: { nodo: string; immagini: { filename: string; subfolder: strin let fasiCorrenti: Record = {} let tempiPasso: number[] = [] let ultimoPasso = 0 +// i token al secondo quando scrive l'LLM: il motore manda un 'progress' per ogni token generato +let misuraToken = false +let tokT0 = 0 +let tokV0 = 0 suMessaggio((m) => { const l = corrente @@ -142,6 +146,13 @@ suMessaggio((m) => { l.secondiPasso = Math.round((t.reduce((a, b) => a + b, 0) / t.length) * 100) / 100 } } + if (misuraToken) { + // il primo messaggio segna l'inizio (prima c'è la lettura del prompt e della foto, che non conta) + if (!tokT0 || v < tokV0) { + tokT0 = ora + tokV0 = v + } else if (v > tokV0 && ora - tokT0 > 400) l.tokSec = Math.round(((v - tokV0) / ((ora - tokT0) / 1000)) * 10) / 10 + } l.passo = v l.passiTotali = max avvisa(l, v === max) @@ -198,8 +209,32 @@ async function prepara(q: Richiesta): Promise { type Uscita = { nodo: string; immagini: { filename: string; subfolder: string; type: string }[]; testo?: string } +/** che cosa occupa la scheda: il modello immagine, l'LLM (e il rilevatore), o niente di importante (il traduttore sta sul processore) */ +type Occupa = 'immagine' | 'testo' | 'cpu' +let ultimoOccupa: Occupa | null = null + +/** una cosa alla volta in VRAM: passando dal modello immagine all'LLM (o viceversa) si scarica quello che non serve più */ +async function fattiSpazio(occupa: Occupa, l: Lavoro | null): Promise { + if (occupa === 'cpu') return + const cambia = ultimoOccupa !== null && ultimoOccupa !== occupa + ultimoOccupa = occupa + if (!cambia || !impostazioni().unaCosaAllaVolta) return + const fase = l?.fase + if (l) { + l.fase = occupa === 'testo' ? 'Scarico il modello immagine' : 'Scarico l\'LLM' + avvisa(l) + } + await scaricaModelli() + if (l && fase) l.fase = fase +} + /** manda un grafo al motore e aspetta che finisca (le fasi e l'avanzamento arrivano dai messaggi) */ -async function lancia(grafo: GrafoPronto): Promise { +async function lancia(grafo: GrafoPronto, occupa: Occupa = 'immagine', l: Lavoro | null = corrente, token = false): Promise { + await fattiSpazio(occupa, l) + misuraToken = token + tokT0 = 0 + tokV0 = 0 + if (l && !token) l.tokSec = undefined fasiCorrenti = grafo.fasi uscitaAttesa = { nodo: grafo.uscita, immagini: [] } const fine = new Promise((ok, ko) => { @@ -237,6 +272,23 @@ async function traduttorePronto(l: Lavoro): Promise { } } +/** il rilevatore (Florence-2) è sul disco? se manca lo scarica (una volta sola, ~460 MB); false se non ci riesce */ +async function rilevatorePronto(l: Lavoro): Promise { + const stato = () => statoModelli().find((v) => v.id === 'trova-florence')?.presente + if (stato()) return true + try { + l.fase = 'Scarico il rilevatore' + avvisa(l) + await scaricaVoce('trova-florence', (r, t) => { + l.fase = `Scarico il rilevatore${t ? ` · ${Math.round((r / t) * 100)}%` : ''}` + avvisa(l, false) + }) + return !!stato() + } catch { + return false + } +} + /** il prompt in inglese per il modello: se è in italiano lo traduce il traduttore dedicato (o, se manca, Qwen3-VL già caricato); se no resta com'è */ async function inInglese(l: Lavoro): Promise { const q = l.richiesta @@ -251,12 +303,12 @@ async function inInglese(l: Lavoro): Promise { let t: string if (dedicato) { const g = costruisci({ ...q, modalita: 'traduci', prompt: p, immagini: [] }, imp, { immagini: [] }, 'traduci') - const u = await lancia(g) + const u = await lancia(g, 'cpu', l) t = (u.testo || '').trim() || p } else { const g = costruisci({ ...q, modalita: 'descrivi', prompt: p, sistema: SISTEMA_TRADUCI, maxToken: tokenPer(p), temperatura: 0.2, seed: 0, immagini: [] }, imp, { immagini: [] }, 'traduci') g.fasi = Object.fromEntries(Object.keys(g.fasi).map((k) => [k, 'Traduco il prompt in inglese'])) - const u = await lancia(g) + const u = await lancia(g, 'testo', l, true) t = pulisciTraduzione(u.testo || '', p) } tradotti.set(p, t) @@ -298,6 +350,7 @@ async function esegui(l: Lavoro): Promise { await avviaMotore() } if (!collegato()) await connetti() + if (l.richiesta.modalita === 'trova' && !(await rilevatorePronto(l))) throw new Error('non riesco a scaricare il rilevatore: in Opzioni scegli «Qwen3-VL» per Estrai') const ing = await prepara(l.richiesta) const inglese = await inInglese(l) if (inglese !== l.richiesta.prompt) l.promptInglese = inglese @@ -310,8 +363,9 @@ async function esegui(l: Lavoro): Promise { l.megapixel = grafo.megapixel || undefined l.passiTotali = grafo.passi l.stima = grafo.megapixel ? Math.round(stimaPasso(grafo.megapixel) * grafo.passi + 6) : undefined - const uscita = await lancia(grafo) - if (l.richiesta.modalita === 'descrivi') { + const testo = l.richiesta.modalita === 'descrivi' || l.richiesta.modalita === 'trova' + const uscita = await lancia(grafo, testo ? 'testo' : 'immagine', l, l.richiesta.modalita === 'descrivi') + if (testo) { l.testo = (uscita?.testo || '').trim() } else { if (!uscita?.immagini.length) throw new Error('il motore non ha restituito immagini') @@ -372,7 +426,7 @@ async function esegui(l: Lavoro): Promise { /** esegue subito un lavoro di testo e aspetta il risultato (migliora prompt, descrivi foto) */ export async function scriviTesto(q: Richiesta): Promise { - const [l] = accodaRichiesta({ ...q, modalita: 'descrivi', quante: 1 }) + const [l] = accodaRichiesta({ ...q, modalita: q.modalita === 'trova' ? 'trova' : 'descrivi', quante: 1 }) return new Promise((ok, ko) => { const via = suCambioLavori(() => { if (l.stato === 'fatto') { diff --git a/src/renderer/src/componenti/BarraStato.tsx b/src/renderer/src/componenti/BarraStato.tsx index e677036..75ff1fb 100644 --- a/src/renderer/src/componenti/BarraStato.tsx +++ b/src/renderer/src/componenti/BarraStato.tsx @@ -25,7 +25,7 @@ export function BarraStato(): JSX.Element {
{corrente.fase} - {corrente.fase === 'Disegno' && corrente.passiTotali ? `passo ${corrente.passo}/${corrente.passiTotali}` : corrente.indice > 1 ? `immagine ${corrente.indice}` : 'in corso'} + {corrente.fase === 'Disegno' && corrente.passiTotali ? `passo ${corrente.passo}/${corrente.passiTotali}` : corrente.tokSec ? `${corrente.passo} token` : corrente.indice > 1 ? `immagine ${corrente.indice}` : 'in corso'}
@@ -39,6 +39,7 @@ export function BarraStato(): JSX.Element {
+ {corrente.tokSec ? {String(corrente.tokSec).replace('.', ',')} tok/s : null} {lenta && (
) : (
Qui sotto compare tutto quello che fa il motore: fasi, passi, tempo che manca e il prompt tradotto in inglese.
diff --git a/src/renderer/src/componenti/Estrai.tsx b/src/renderer/src/componenti/Estrai.tsx index ba9d8cf..38c250d 100644 --- a/src/renderer/src/componenti/Estrai.tsx +++ b/src/renderer/src/componenti/Estrai.tsx @@ -96,9 +96,9 @@ export function PalcoEstrai(p: { base: FotoBase | null; daGalleria: () => void; const [vedi, setVedi] = useState(null) const scelto = ris.find((r) => r.opera.id === vedi) || ris[0] const vivo = inCorso?.anteprima - // una foto nuova: il modello cerca da solo cosa c'è dentro + // una foto nuova: le cose trovate in quella di prima non valgono più (la ricerca parte solo quando premi il pulsante) useEffect(() => { - if (p.base && usaEstrai.getState().foto !== p.base.percorso) void trovaElementi(p.base) + if (p.base && usaEstrai.getState().foto !== p.base.percorso) impostaEstrai({ foto: p.base.percorso, elementi: [], scelto: null }) }, [p.base?.percorso]) if (!p.base) @@ -106,7 +106,7 @@ export function PalcoEstrai(p: { base: FotoBase | null; daGalleria: () => void;
ESTRAI DA UNA FOTO
-

Dai una foto: il modello trova le persone e gli oggetti, tu clicchi quello che vuoi e lo ottieni da solo, su sfondo pulito.

+

Dai una foto e premi Trova persone e oggetti: clicchi quello che vuoi e lo ottieni da solo, su sfondo pulito.

Una persona a figura intera (T-pose, A-pose, una posa disegnata), un busto o un volto; un oggetto intero, da davanti, di lato o dall'alto.

@@ -119,7 +119,7 @@ export function PalcoEstrai(p: { base: FotoBase | null; daGalleria: () => void; return (
-
LA FOTOclicca una persona o un oggetto · trascina per riquadrare a mano
+
LA FOTO{usaEstrai.getState().elementi.length ? 'clicca una persona o un oggetto · trascina per riquadrare a mano' : 'premi «Trova persone e oggetti», oppure trascina per riquadrare a mano'}
@@ -202,7 +202,7 @@ export function ControlliEstrai(p: { base: FotoBase | null }): JSX.Element {
) : ( -
{s.cercando ? 'Il modello sta guardando la foto…' : p.base ? 'Clicca sulla foto la persona o l\'oggetto che vuoi (cliccando ancora nello stesso punto passi a quello più grande che lo contiene).' : 'Prima scegli una foto.'}
+
{s.cercando ? 'Il modello sta guardando la foto…' : !p.base ? 'Prima scegli una foto.' : s.elementi.length ? 'Clicca sulla foto la persona o l\'oggetto che vuoi (cliccando ancora nello stesso punto passi a quello più grande che lo contiene).' : 'Premi il pulsante: il modello trova le persone e gli oggetti nella foto. Puoi anche riquadrare a mano trascinando.'}
)} {el && (
@@ -213,8 +213,8 @@ export function ControlliEstrai(p: { base: FotoBase | null }): JSX.Element {
)} -
@@ -267,7 +267,7 @@ export function ControlliEstrai(p: { base: FotoBase | null }): JSX.Element {
Grandezza della foto - setModifica({ mp })} ar={{ w: r[0], h: r[1] }} voci={[0.5, 1, 2, 4]} /> + setModifica({ mp })} ar={{ w: r[0], h: r[1] }} />
diff --git a/src/renderer/src/componenti/Misura.tsx b/src/renderer/src/componenti/Misura.tsx index d73e3fd..b11a876 100644 --- a/src/renderer/src/componenti/Misura.tsx +++ b/src/renderer/src/componenti/Misura.tsx @@ -133,10 +133,14 @@ export function SceltaMisura(p: { { id: 'custom' as const, nome: 'Misura mia', sotto: 'scelgo io' } ].filter((x) => (p.ammetti || ['auto', 'originale', 'custom']).includes(x.id))} /> - {v.tipo === 'auto' && p.cambiaMp && ( + {p.cambiaMp && (
- {p.senzaPx ? 'Grandezza a cui lavora il modello' : 'Grandezza della foto'} - + {v.tipo === 'auto' && !p.senzaPx ? 'Grandezza della foto' : 'Megapixel a cui lavora il modello (poi porta alla misura)'} +
)} {v.tipo === 'custom' && ( diff --git a/src/renderer/src/componenti/SceltaLora.tsx b/src/renderer/src/componenti/SceltaLora.tsx index a7c4791..19315a6 100644 --- a/src/renderer/src/componenti/SceltaLora.tsx +++ b/src/renderer/src/componenti/SceltaLora.tsx @@ -28,6 +28,27 @@ export function Copertina({ l, grande }: { l: InfoLora; grande?: boolean }): JSX ) } +/** i LoRA accesi, sempre in vista (una riga di chip con la forza): così non si dimentica cosa è attivo anche con la sezione LoRA chiusa */ +export function LoraAttivi(): JSX.Element | null { + const { lore, loraAttive, toggleLora, imp } = usaStato() + const attive = loraAttive.filter((a) => a.file !== imp?.loraTurbo) + if (!attive.length) return null + return ( +
+ LoRA attivi: + {attive.map((a) => { + const info = lore.find((l) => l.file === a.file) + return ( + + {info?.nome || a.file} · {a.forza.toFixed(2)} + + + ) + })} +
+ ) +} + export function SceltaLora(): JSX.Element { const { lore: tutte, loraAttive, setLoraAttive, toggleLora, vai, imp } = usaStato() // il Turbo si accende dalla Qualità, non da qui diff --git a/src/renderer/src/estrai.ts b/src/renderer/src/estrai.ts index 5ff5e89..740b425 100644 --- a/src/renderer/src/estrai.ts +++ b/src/renderer/src/estrai.ts @@ -91,16 +91,29 @@ export const impostaEstrai = (p: Partial): void => usaEstrai.setSta // --------------------------------------------------------------------------------------------------------------- const SISTEMA_ELEMENTI = 'You are an object detector. List every real person and every distinct, clearly visible object or item in the image that someone could want to cut out: people (full or partial, also small ones), animals, vehicles, furniture, products, bags, shoes, clothes or accessories that stand out, food, plants, toys, tools, devices, decorations. Do NOT list the background, the sky, the floor, walls, or people printed on posters or screens. ' + - 'Output ONLY a JSON array, at most 16 items, the most prominent first: [{"bbox_2d":[x1,y1,x2,y2],"label":"short English description with color and material","kind":"person" or "object"}]. ' + + 'Output ONLY a JSON array, at most 12 items, the most prominent first: [{"bbox_2d":[x1,y1,x2,y2],"label":"2-5 words: color and name","kind":"person" or "object"}]. ' + 'Coordinates are integers from 0 to 1000, relative to the image width and height (x1,y1 = top-left corner, x2,y2 = bottom-right corner). A person box contains the whole visible body; an object box is tight around the whole object. No other text.' +/** col rilevatore piccolo (Florence-2); con «Qwen3-VL» in Opzioni, o se il rilevatore non c'è, si chiede all'LLM (molto più lento) */ +async function chiediRiquadri(foto: FotoBase): Promise { + if (usaStato.getState().imp?.trova !== 'llm') { + try { + return await api.testo.scrivi({ ...richiestaBase(), modalita: 'trova', prompt: '', immagini: [foto.percorso], etichetta: 'Cerco persone e oggetti' }) + } catch (e) { + usaStato.getState().avvisa(`Il rilevatore non risponde (${(e as Error).message.split('\n')[0]}): uso il Qwen3-VL, più lento`, 'info') + } + } + return api.testo.scrivi({ + ...richiestaBase(), modalita: 'descrivi', prompt: 'Detect all the people and objects in this image.', immagini: [foto.percorso], + sistema: SISTEMA_ELEMENTI, maxToken: 900, temperatura: 0.1, seed: 7, etichetta: 'Cerco persone e oggetti' + }) +} + +/** cerca persone e oggetti nella foto (solo quando premi il pulsante) */ export async function trovaElementi(foto: FotoBase): Promise { impostaEstrai({ cercando: true, foto: foto.percorso, elementi: [], scelto: null }) try { - const t = await api.testo.scrivi({ - ...richiestaBase(), modalita: 'descrivi', prompt: 'Detect all the people and objects in this image.', immagini: [foto.percorso], - sistema: SISTEMA_ELEMENTI, maxToken: 1400, temperatura: 0.1, seed: 7, etichetta: 'Cerco persone e oggetti' - }) + const t = await chiediRiquadri(foto) const elementi = leggiElementi(t || '', foto.larghezza, foto.altezza) if (usaEstrai.getState().foto !== foto.percorso) return // se c'è una sola persona e nient'altro di grosso, è già scelta diff --git a/src/renderer/src/pagine/Crea.tsx b/src/renderer/src/pagine/Crea.tsx index fda3825..b4fd9e9 100644 --- a/src/renderer/src/pagine/Crea.tsx +++ b/src/renderer/src/pagine/Crea.tsx @@ -5,8 +5,8 @@ import { api, urlFile } from '../api' import { I } from '../componenti/Icone' import { AdattaFoto } from '../componenti/AdattaFoto' import { Contatore, Cursore, Interruttore, SezioneChiudibile, Segmenti } from '../componenti/Controlli' -import { SceltaMisura, MISURA0 } from '../componenti/Misura' -import { SceltaLora, conParoleLora } from '../componenti/SceltaLora' +import { SceltaMisura, ScegliMp, MISURA0 } from '../componenti/Misura' +import { SceltaLora, LoraAttivi, conParoleLora } from '../componenti/SceltaLora' import { percentuale } from '../componenti/Coda' import { BarraPreset, SchedaPreset } from '../componenti/Preset' import { VistaZoom } from '../componenti/VistaZoom' @@ -25,7 +25,7 @@ const ar = (f: string): string => { } export function Crea(): JSX.Element { - const { crea, setCrea, imp, lavori, avvisa } = usaStato() + const { crea, setCrea, imp, lavori, avvisa, loraAttive } = usaStato() const turbo = useTurbo() const [precedente, setPrecedente] = useState(null) const [scrivendo, setScrivendo] = useState(false) @@ -197,6 +197,7 @@ export function Crea(): JSX.Element { minimo={preset ? 110 : 150} disabled={scrivendo} /> +
))}
+ Oppure scegli per megapixel (anche 4 MP con la risoluzione bassa che vuoi, poi sotto la porti alla misura) + Math.abs(x - (dim.w * dim.h) / 1048576) / x < 0.09) ?? -1} + cambia={(mp) => { + const f = FORMATI.find((x) => x.id === crea.formato) || FORMATI[0] + const lungo = Math.max(f.w, f.h) / Math.min(f.w, f.h) + setCrea({ ris: Math.max(256, Math.round(Math.sqrt((mp * 1048576) / lungo) / 16) * 16) }) + }} + ar={{ w: dim.w, h: dim.h }} + />

Misura precisa {crea.misura?.tipo === 'custom' ? 'attiva' : 'no'}

setCrea({ misura })} base={null} mp={Math.round((dim.w * dim.h) / 1e5) / 10} ammetti={['auto', 'custom']} auto={{ w: dim.w, h: dim.h }} /> @@ -283,7 +294,7 @@ export function Crea(): JSX.Element {
- + a.file !== imp?.loraTurbo).length ? `${loraAttive.filter((a) => a.file !== imp?.loraTurbo).length} attivi` : undefined} aperta={false}> diff --git a/src/renderer/src/pagine/Impostazioni.tsx b/src/renderer/src/pagine/Impostazioni.tsx index a2ea40b..49ca99e 100644 --- a/src/renderer/src/pagine/Impostazioni.tsx +++ b/src/renderer/src/pagine/Impostazioni.tsx @@ -10,7 +10,7 @@ import type { Download, Impostazioni as Imp, StatoVoce } from '@shared/tipi' import type { FileInutile } from '../api' const GRUPPI_MODELLI: [StatoVoce['tipo'], string][] = [ - ['diffusione', 'Modello di diffusione (denoiser)'], ['encoder', 'Text encoder (l\'LLM)'], ['traduttore', 'Traduttore'], ['vae', 'VAE'], ['upscaler', 'Ingrandimento'], ['anteprima', 'Anteprime dal vivo'] + ['diffusione', 'Modello di diffusione (denoiser)'], ['encoder', 'Text encoder (l\'LLM)'], ['traduttore', 'Traduttore'], ['rilevatore', 'Rilevatore (Estrai)'], ['vae', 'VAE'], ['upscaler', 'Ingrandimento'], ['anteprima', 'Anteprime dal vivo'] ] export function Impostazioni(): JSX.Element { @@ -228,6 +228,17 @@ export function Impostazioni(): JSX.Element { salva({ traduttore })} voci={[{ id: 'dedicato', nome: 'Traduttore' }, { id: 'llm', nome: 'Qwen3-VL' }]} /> )} +
+
Una cosa alla volta in VRAMQuando passi dal modello immagine all'LLM (migliora prompt, descrivi foto, Idee, Esempio…) o viceversa, scarica quello che non serve: la scheda tiene un modello solo. Costa qualche secondo a ogni cambio, ma sulle schede da 6-8 GB evita di finire nella RAM
+ salva({ unaCosaAllaVolta })}>{imp.unaCosaAllaVolta ? 'Accesa' : 'Spenta'} +
+
+
+ Chi trova persone e oggetti (Estrai) + {imp.trova === 'veloce' ? 'Un modello piccolo fatto per riconoscere gli oggetti (Florence-2, ~460 MB): meno di un secondo. Si scarica da solo la prima volta' : 'Il Qwen3-VL: più preciso con le descrizioni, ma molto più lento'} +
+ salva({ trova })} voci={[{ id: 'veloce', nome: 'Rilevatore' }, { id: 'llm', nome: 'Qwen3-VL' }]} /> +
Accelerazione fp16--fast fp16_accumulation: qualche secondo in meno sulle RTX, qualità quasi uguale
salva({ veloce })}>{imp.veloce ? 'Accesa' : 'Spenta'} diff --git a/src/renderer/src/pagine/Laboratorio.tsx b/src/renderer/src/pagine/Laboratorio.tsx index cde4b13..ef9c48f 100644 --- a/src/renderer/src/pagine/Laboratorio.tsx +++ b/src/renderer/src/pagine/Laboratorio.tsx @@ -353,7 +353,7 @@ export function Laboratorio(): JSX.Element { {!passi.some((x) => !x.crea) && (
Grandezza della foto - +
)}
diff --git a/src/renderer/src/pagine/Modifica.tsx b/src/renderer/src/pagine/Modifica.tsx index a186e51..a83631d 100644 --- a/src/renderer/src/pagine/Modifica.tsx +++ b/src/renderer/src/pagine/Modifica.tsx @@ -38,7 +38,6 @@ export function Modifica(): JSX.Element { const [pennello, setPennello] = useState(60) const [haMaschera, setHaMaschera] = useState(false) const [confronto, setConfronto] = useState(false) - const [avanzate, setAvanzate] = useState(false) // le idee scelte (azioni rapide, si sommano) e la posizione della camera: insieme portano forza, trasparenza, riferimenti e i LoRA da accendere const [idee, setIdee] = useState([]) const [cameraRapida, setCameraRapida] = useState(null) @@ -785,12 +784,7 @@ export function Modifica(): JSX.Element { setModifica({ formatoFusion })} voci={FORMATI_FUSION.map((f) => ({ id: f.id, nome: f.nome }))} /> )} - {mis.tipo === 'custom' && ( -
- Il modello lavora a - setModifica({ mp })} ar={{ w: mis.w, h: mis.h }} voci={[0.5, 1, 2, 4]} /> -
- )} + ) })()} @@ -823,12 +817,10 @@ export function Modifica(): JSX.Element { setModifica({ quante })} /> {m.modo === 'espandi' && ( - <> -

setAvanzate(!avanzate)}> - {avanzate ? '▾' : '▸'} Grandezza {m.mp === 1 ? '' : `${String(m.mp).replace('.', ',')} MP`} -

- {avanzate && setModifica({ mp })} />} - +
+ Megapixel a cui lavora il modello + setModifica({ mp })} /> +
)} diff --git a/src/renderer/src/stile.css b/src/renderer/src/stile.css index 520557a..b07e32a 100644 --- a/src/renderer/src/stile.css +++ b/src/renderer/src/stile.css @@ -880,3 +880,8 @@ details.tipo-modelli > summary:hover { color: var(--oro); } .pers-box span { display: inline-flex; align-items: center; gap: 5px; white-space: nowrap; padding: 0 8px 0 6px; font-size: 12.5px; } .pers-box span svg { width: 14px; height: 14px; } .pers-box.oggetto span { background: #5ec8ff; color: #04202c; } +.lora-chip { display: inline-flex; align-items: center; gap: 6px; } +.lora-chip button { display: grid; place-items: center; border: 0; background: transparent; color: inherit; cursor: pointer; padding: 0; opacity: .7; } +.lora-chip button:hover { opacity: 1; } +.lora-chip button svg { width: 13px; height: 13px; } +.chip.tok { height: 26px; color: var(--oro); border-color: var(--oro); cursor: default; font-variant-numeric: tabular-nums; } diff --git a/src/shared/tipi.ts b/src/shared/tipi.ts index d5c8ec3..b48f80c 100644 --- a/src/shared/tipi.ts +++ b/src/shared/tipi.ts @@ -11,6 +11,7 @@ export type Modalita = | 'ingrandisci' // ingrandimento col modello di upscaling, senza ridisegnare | 'descrivi' // il modello di testo scrive (migliora prompt, descrive una foto, traduce) | 'traduci' // il prompt dall'italiano all'inglese con il traduttore dedicato (sul processore, senza Qwen) + | 'trova' // persone e oggetti di una foto (riquadri) col rilevatore piccolo (Florence-2), al posto del Qwen3-VL | 'importa' // (solo in galleria) una foto portata dentro da fuori export interface LoraAttiva { @@ -114,6 +115,8 @@ export interface Lavoro { secondiPasso?: number /** megapixel su cui lavora il campionatore */ megapixel?: number + /** quando scrive l'LLM: token al secondo (media mobile) */ + tokSec?: number risultati: string[] testo?: string errore?: string @@ -210,6 +213,10 @@ export interface Impostazioni { traduci: boolean /** chi traduce: 'dedicato' = un modello di sola traduzione (Opus-MT, sul processore); 'llm' = lo stesso Qwen3-VL */ traduttore: 'dedicato' | 'llm' + /** una cosa alla volta in VRAM: quando passa dal modello immagine all'LLM (o viceversa) scarica quello che non serve */ + unaCosaAllaVolta: boolean + /** chi trova persone e oggetti in Estrai: 'veloce' = il rilevatore piccolo (Florence-2); 'llm' = il Qwen3-VL */ + trova: 'veloce' | 'llm' } /** RAM, VRAM e GPU per la barra in alto (byte; uso e temperatura in % e °C) */ @@ -238,7 +245,7 @@ export interface InfoMotore { /** Un file di modello che si può scaricare. */ export interface VoceCatalogo { id: string - tipo: 'diffusione' | 'encoder' | 'vae' | 'lora' | 'upscaler' | 'anteprima' | 'traduttore' + tipo: 'diffusione' | 'encoder' | 'vae' | 'lora' | 'upscaler' | 'anteprima' | 'traduttore' | 'rilevatore' nome: string descrizione: string file: string diff --git a/test/finto.js b/test/finto.js index 772aae7..d6195a5 100644 --- a/test/finto.js +++ b/test/finto.js @@ -1,4 +1,4 @@ -// finto window.daprod per vedere l'interfaccia nel browser senza motore (lo carica test/interfaccia.mjs). testo.scrivi risponde con un elenco di riquadri +// finto window.daprod per vedere l'interfaccia nel browser senza motore (lo carica test/interfaccia.mjs). testo.scrivi risponde con un elenco di riquadri (e ricorda l'ultima richiesta in window.__testo) (() => { const mappa = (window.__mappa = {}) const disegna = (w, h, f) => { const c = document.createElement('canvas'); c.width = w; c.height = h; f(c.getContext('2d'), w, h); return c.toDataURL('image/png') } diff --git a/test/interfaccia.mjs b/test/interfaccia.mjs index 679a7cc..be6bf7a 100644 --- a/test/interfaccia.mjs +++ b/test/interfaccia.mjs @@ -1,5 +1,5 @@ // Prova dell'interfaccia SENZA Electron né motore: apre la build (out/renderer) in Chromium con un finto window.daprod (test/finto.js), -// apre Modifica → Estrai, sceglie un oggetto e una persona, e stampa i prompt e le dimensioni delle richieste. Foto in test/.out/. +// apre Modifica → Estrai (la ricerca parte solo col pulsante), sceglie un oggetto e una persona, e stampa i prompt e le dimensioni delle richieste. Foto in test/.out/. // npm run build && python3 -m http.server 8765 --directory out/renderer & poi: node test/interfaccia.mjs import { chromium } from 'playwright' import { readFileSync, mkdirSync } from 'node:fs' @@ -23,7 +23,12 @@ await pg.fill('.colonna.destra textarea', 'sostituisci il cielo con un tramonto await pg.screenshot({ path: `${out}/i1-casella-prompt.png` }) await pg.click('.segmenti button:has-text("Estrai")') -await pausa(1500) +await pausa(1000) +console.log('ricerca partita da sola?', await pg.evaluate(() => !!window.__testo), '(deve essere false)') +await pg.screenshot({ path: `${out}/i2a-estrai-prima.png` }) +await pg.click('button:has-text("Trova persone e oggetti")') +await pausa(1200) +console.log('ricerca col pulsante:', await pg.evaluate(() => window.__testo?.modalita), '(deve essere trova)') await pg.screenshot({ path: `${out}/i2-estrai-trovati.png` }) const f = await pg.locator('.pers-foto').boundingBox() await pg.mouse.click(f.x + f.width * 0.45, f.y + f.height * 0.7)