by @drillan
MixSeekの評価設定ファイル(evaluator.toml、judgment.toml)を生成します。「評価設定を作成」「スコアリング設定」「判定設定を作って」「メトリクスを設定」といった依頼で使用してください。Submissionの評価基準と最終判定ロジックを定義します。
MixSeek-Coreの評価設定ファイル(evaluator.toml)と判定設定ファイル(judgment.toml)を生成します。TUMIXトーナメントにおけるSubmissionの評価基準、スコアリング方法、最終判定ロジックを定義します。
mixseek-workspace-init参照)MIXSEEK_WORKSPACE が設定されていること(推奨)| ファイル | 用途 | 配置場所 |
|---|---|---|
evaluator.toml | Submissionのスコアリング設定 | configs/evaluators/ |
judgment.toml | 最終判定の設定 | configs/judgment/ |
ユーザーに以下を確認してください:
標準メトリクスから選択:
| メトリクス | 説明 | 用途 |
|---|---|---|
ClarityCoherence | 明確性と一貫性 | 読みやすさ重視のタスク |
Coverage | カバレッジ | 網羅性重視のタスク |
LLMPlain | 汎用LLM評価 | カスタム評価基準が必要なタスク |
Relevance | 関連性 | 的確さ重視のタスク |
evaluator.toml:
default_model = "google-gla:gemini-2.5-pro"
temperature = 0.0
[[metrics]]
name = "ClarityCoherence"
weight = 0.34
[[metrics]]
name = "Coverage"
weight = 0.33
[[metrics]]
name = "Relevance"
weight = 0.33
judgment.toml:
model = "google-gla:gemini-2.5-pro"
temperature = 0.0
timeout_seconds = 60
$MIXSEEK_WORKSPACE/configs/evaluators/evaluator.toml
$MIXSEEK_WORKSPACE/configs/judgment/judgment.toml
重要: カスタムパス(configs/evaluators/やconfigs/judgment/)を使用する場合は、必ずorchestrator.tomlでパスを明示的に指定してください。指定しないとデフォルトパス(configs/evaluator.toml、configs/judgment.toml)が検索され、設定が反映されません。
# orchestrator.toml
[orchestrator]
evaluator_config = "configs/evaluators/evaluator.toml"
judgment_config = "configs/judgment/judgment.toml"
生成後は必ず検証を実行してください。
# Evaluator設定の検証
uv run python skills/mixseek-config-validate/scripts/validate-config.py \
$MIXSEEK_WORKSPACE/configs/evaluators/evaluator.toml --type evaluator
# Judgment設定の検証
uv run python skills/mixseek-config-validate/scripts/validate-...