Skip to main content

benchmark-models

benchmark-models

Catalogue généré le 2026-05-11

En une phrase

Cross-modelCompare benchmarkplusieurs formodèles gstackd'IA skills.(Claude, GPT, Gemini) sur la même tâche pour voir lequel est le plus rapide, le moins cher et le plus performant, avec des chiffres au lieu d'impressions.

Quand l'utiliser

  • UseTu when:veux "benchmarksavoir models",quel "comparemodèle models",utiliser "whichpour modelun istype bestde fortâche X", "cross-model comparison", "model shootout".précis (gstack)Claude Voicevs triggersGPT (speech-to-textvs aliases):Gemini).
"compareTu models",suspectes "modelqu'un shootout",de "whichtes modelskills isgstack best".tournerait mieux avec un autre modèle. Tu veux mesurer l'impact d'une nouvelle version de modèle sur tes coûts et tes temps de réponse. Tu hésites entre plusieurs modèles pour une nouvelle automatisation et tu veux des données. Tu veux établir une référence pour détecter les régressions de qualité quand les modèles évoluent.

Comment l'invoquer

  • Slash command : /benchmark-models (si exposé dans ton CLI)
  • Voice triggers : « compare models » · « model shootout » · « which model is best »
  • Phrases déclencheurs (texte) : voir la description complète ci-dessous
Auto-invocation : sur demande explicite

Description complète

Cross-model benchmark for gstack skills. Runs the same prompt through Claude, GPT (via Codex CLI), and Gemini side-by-side — compares latency, tokens, cost, and optionally quality via LLM judge. Answers "which model is actually best for this skill?" with data instead of vibes. Separate from /benchmark, which measures web page performance. Use when: "benchmark models", "compare models", "which model is best for X", "cross-model comparison", "model shootout".

Auto-invocation : Sur demande explicite.

Description détaillée

Le skill benchmark-models est un comparatif côte à côte. Tu lui donnes un prompt (ou un skill gstack), Voiceil triggersl'envoie au même moment à Claude (speech-to-textvia aliases)Claude Code), GPT (via le CLI Codex d'OpenAI), et Gemini, puis te ressort un tableau comparatif : "comparetemps models",de "modelréponse, shootout",nombre "whichde modeltokens isconsommés, best"coût, et optionnellement une note de qualité décidée par un juge LLM (un autre modèle qui note les sorties sur 10).

Pour

À allerne pas confondre avec /benchmark qui mesure la performance d'une page web (Core Web Vitals). Celui-ci compare des modèles d'IA. Le workflow est interactif : Claude te demande d'abord quel prompt utiliser (un skill gstack, un prompt en ligne, ou un fichier sur disque), puis quels providers inclure. Une commande "dry-run" préalable te montre lesquels sont authentifiés sur ta machine — pas de surprise au moment de payer les appels API.

Le juge qualité ajoute environ 0,05 $ par run. Tu peux le désactiver si tu veux juste comparer vitesse et coût. À la fin du test, Claude résume : le plus loinrapide,

Preamblele moins cher, le plus qualitatif (runsi first)

le

Planjuge Modea Safe Operations

In plan mode, allowed because they inform the plan: $Btourné), $D,et codexte exec/codexpropose review,de writessauvegarder toles résultats en JSON dans ~/.gstack/, writes to the plan file, and openbenchmarks/ forpour generatedpouvoir artifacts.

comparer

Skillplus Invocationtard. DuringChaque Planligne Mode

de

Iftableau themontre userle invokescoût a skill in plan mode, the skill takes precedence over generic plan mode behavior. Treat the skill file as executable instructions, not reference. Follow it step by step starting from Step 0; the first AskUserQuestion is the workflow entering plan mode, not a violation of it. AskUserQuestion (any variantréel — mcp__*__AskUserQuestiontu orsais native;ce seeque "AskUserQuestiontu Formatdépenses → Tool resolution") satisfies plan mode's end-of-turn requirement. If no variant is callable, the skill is BLOCKED — stop and report BLOCKED — AskUserQuestion unavailable per the AskUserQuestion Format rule. At a STOP point, stop immediately. Do not continue the workflow or call ExitPlanMode there. Commands marked "PLAN MODE EXCEPTION — ALWAYS RUN" execute. Call ExitPlanMode only after the skill workflow completes, or if the user tells you to cancel the skill or leave plan mode.

(extrait — voiravant le SKILL.mdprochain complet pour la suite)run.

Source

  • Plugin : gstack
  • Nom interne : benchmark-models
  • Fichier : /home/thymon/.claude/skills/gstack/benchmark-models/SKILL.md
Back to top