MixSeek 評価設定生成

概要

MixSeek-Coreの評価設定ファイル（evaluator.toml）と判定設定ファイル（judgment.toml）を生成します。TUMIXトーナメントにおけるSubmissionの評価基準、スコアリング方法、最終判定ロジックを定義します。

前提条件

• ワークスペースが初期化されていること（mixseek-workspace-init参照）
• 環境変数 MIXSEEK_WORKSPACE が設定されていること（推奨）

生成ファイル

ファイル	用途	配置場所
evaluator.toml	Submissionのスコアリング設定	configs/evaluators/
judgment.toml	最終判定の設定	configs/judgment/

使用方法

Step 1: 要件のヒアリング

ユーザーに以下を確認してください:

1. 評価の重点: 何を重視して評価するか（明確性、カバレッジ、関連性など）
2. 重み付け: 各メトリクスの重要度（均等 or カスタム）
3. 判定スタイル: 決定論的（temperature=0）or 多様性重視

Step 2: メトリクス設定の提案

標準メトリクスから選択:

メトリクス	説明	用途
ClarityCoherence	明確性と一貫性	読みやすさ重視のタスク
Coverage	カバレッジ	網羅性重視のタスク
LLMPlain	汎用LLM評価	カスタム評価基準が必要なタスク
Relevance	関連性	的確さ重視のタスク

Step 3: 設定ファイルの生成

evaluator.toml:

default_model = "google-gla:gemini-2.5-pro"
temperature = 0.0

[[metrics]]
name = "ClarityCoherence"
weight = 0.34

[[metrics]]
name = "Coverage"
weight = 0.33

[[metrics]]
name = "Relevance"
weight = 0.33

judgment.toml:

model = "google-gla:gemini-2.5-pro"
temperature = 0.0
timeout_seconds = 60

Step 4: ファイルの保存

$MIXSEEK_WORKSPACE/configs/evaluators/evaluator.toml
$MIXSEEK_WORKSPACE/configs/judgment/judgment.toml

重要: カスタムパス（configs/evaluators/やconfigs/judgment/）を使用する場合は、必ずorchestrator.tomlでパスを明示的に指定してください。指定しないとデフォルトパス（configs/evaluator.toml、configs/judgment.toml）が検索され、設定が反映されません。

# orchestrator.toml
[orchestrator]
evaluator_config = "configs/evaluators/evaluator.toml"
judgment_config = "configs/judgment/judgment.toml"

Step 5: 設定ファイルの検証（必須）

生成後は必ず検証を実行してください。

# Evaluator設定の検証
uv run python skills/mixseek-config-validate/scripts/validate-config.py \
    $MIXSEEK_WORKSPACE/configs/evaluators/evaluator.toml --type evaluator

# Judgment設定の検証
uv run python skills/mixseek-config-validate/scripts/validate-...