判定 API と確率で答える判定専用モデル Clef Flash を追加しました
判定 API /v1/decisions と /v1/systemone の提供を開始し、最初のモデルとして clef-flash を追加しました。Cloudflare が 2026-10-01 に発表した判定専用モデル Cloudflare/clef-flash です。単価は入力 ¥20(1M tok・税込表示)で、出力には課金しません。
判定 API は、テキストに対する Yes/No・分類・スコアの質問に、文章ではなく確率で答えます。「この問い合わせは返金を求めているか」「どの部署に回すか」「緊急度は 3 段階のどれか」といった判断を、プロンプトを工夫して JSON を書かせるのではなく、質問の型を渡して数値で受け取ります。問い合わせの振り分け、コンテンツの分類、エージェントが次に呼ぶツールの選択、検索結果の関連度の採点などに向きます。
特徴
文章を生成せず、選択肢ごとの確率を返します
Clef Flash は Qwen/Qwen3.5-9B を基に追加学習した 9B のモデルで、重みは Apache-2.0 ライセンスで公開されています。モデルカードによると、判定対象と質問を 1 回の推論で読み、すべての質問のすべての選択肢に確率を付けて返します。テキストを 1 トークンずつ生成する工程が無いため、出力のパースに失敗することがなく、応答の長さによる待ち時間もありません。
質問は 3 種類です。
| 種類 | /v1/decisions の type | /v1/systemone の type | 返る値 |
|---|---|---|---|
| Yes / No | predicate | noul | Yes である確率 |
| 分類 | choice | choice | 選ばれた値と、選択肢ごとの確率 |
| スコア | score | score | レベル番号の期待値と、レベルごとの確率 |
1 回のリクエストで 128 件まで質問できます
同じ判定対象に対する質問は、1 リクエストにまとめて送れます。判定対象のトークンは 1 回分しか消費しないため、1 件の問い合わせに「返金の要求か」「担当部署」「緊急度」を同時に尋ねても、入力トークンは質問の分しか増えません。
OpenAI SDK の形と Jev / SystemOne の形の両方で呼べます
/v1/decisions は OpenAI SDK の client.decisions.create と同じ形で、質問を配列で渡し、答えが同じ順の配列で返ります。/v1/systemone は Jev / SystemOne と同じ形で、質問をキー付きのオブジェクトで渡し、答えが同じキーで返ります。どちらも同じモデルが答えるので、既存のコードに合う方を選んでください。
ベンチマーク(Cloudflare 公表値)
下記はモデルカードに掲載された Decision Index 0.2.1 のスコアから、上回っている指標と届いていない指標を抜き出したものです。比較対象の Clef は同じ系列の上位モデルで、当サービスでは提供していません。
| ベンチマーク | Clef Flash | Clef | Jev |
|---|---|---|---|
| BFCL(ツール呼び出し) | 98.8 | 98.5 | 95.8 |
| API-Bank(API 選択) | 93.1 | 91.9 | 88.2 |
| FinEntity(金融の感情分類) | 97.1 | 96.2 | 87.0 |
| MMLU(知識の多肢選択) | 91.8 | 90.3 | 91.7 |
| ContractNLI(契約書の含意) | 84.3 | 81.4 | 71.7 |
| BANKING77(意図分類) | 90.9 | 94.2 | 79.7 |
| CLINC150+OOS(範囲外の検出) | 66.8 | 97.4 | 89.3 |
| RAGTruth(ハルシネーション検出) | 35.6 | 79.4 | 76.5 |
モデルカードの 41 指標のうち、Clef Flash が比較 6 モデルの中で最も良い値を出しているのは 16 指標です。ツール呼び出し(BFCL)や契約書の含意判定(ContractNLI)では上位モデルの Clef を上回っています。一方で、想定外の意図を見分ける CLINC150+OOS は 66.8 で Clef の 97.4 に大きく届かず、回答が根拠から外れていないかを判定する RAGTruth は 35.6 で Clef の 79.4 の半分以下です。「どれにも当てはまらない」を検出する用途と、ハルシネーションの検出に使う場合は、手元のデータで精度を確かめてから採用してください。
業務の流れを通しで評価する Typesafe Evals の結果も、同じモデルカードに掲載されています。
| ワークフロー | 指標 | Clef Flash | Clef | Jev |
|---|---|---|---|---|
| 請求書処理 | 全操作の一致 | 57.1 | 64.7 | 61.8 |
| 請求書処理 | 主操作の一致 | 73.3 | 86.2 | 83.1 |
| カスタマーサービス | 全操作の一致 | 77.0 | 76.3 | 76.0 |
| セキュリティインシデント | 全操作の一致 | 61.7 | 62.9 | 61.7 |
| エージェントの実行ログ監視 | 主操作の一致 | 69.8 | 68.5 | 71.6 |
カスタマーサービスでは 3 モデルで最も高い一方、請求書処理では Clef と Jev のどちらにも届いていません。
Decision Index は Cloudflare が運営するベンチマークで、スコアは同社の内部実行による値です。いずれも英語を中心としたデータセットの測定で、第三者の独立評価ではなく、日本語の精度を示すものでもありません。モデルカードは画像と動画の入力にも触れていますが、当サービスが受け付けるのはテキストのみです。
使い方
model に clef-flash を指定します。/v1/decisions は input に判定対象、questions に質問の配列を渡します。
curl https://api.router.hello.ai/v1/decisions \
-H "Authorization: Bearer hello_..." \
-H "Content-Type: application/json" \
-d '{
"model": "clef-flash",
"input": "届いた商品が壊れていました。返金してください。",
"questions": [
{ "type": "predicate", "name": "refund", "instructions": "返金を求めていますか?" },
{
"type": "choice",
"name": "topic",
"instructions": "問い合わせの種類はどれですか?",
"choices": [{ "value": "配送" }, { "value": "請求" }, { "value": "その他" }]
}
]
}'
答えは質問と同じ順で返ります。
{
"model": "clef-flash",
"answers": [
{ "type": "predicate", "name": "refund", "probability": 0.98 },
{
"type": "choice",
"name": "topic",
"choice": "配送",
"probabilities": [
{ "value": "配送", "probability": 0.69 },
{ "value": "請求", "probability": 0.08 },
{ "value": "その他", "probability": 0.23 }
],
"confidence": 0.53
}
],
"usage": { "input_tokens": 205, "output_tokens": 0, "total_tokens": 205 }
}
数値は例です。OpenAI SDK からは client.decisions.create で同じリクエストを送れます。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.router.hello.ai/v1",
apiKey: "hello_...",
});
const res = await client.decisions.create({
model: "clef-flash",
input: "届いた商品が壊れていました。返金してください。",
questions: [{ type: "predicate", name: "refund", instructions: "返金を求めていますか?" }],
});
console.log(res.answers[0]);
/v1/systemone は state に判定対象、questions に質問をキー付きで渡します。state には文字列のほか、JSON のオブジェクトや配列をそのまま渡せます。
curl https://api.router.hello.ai/v1/systemone \
-H "Authorization: Bearer hello_..." \
-H "Content-Type: application/json" \
-d '{
"model": "clef-flash",
"state": { "invoice": { "vendor": "Acme", "total": 1250.0, "status": "overdue" } },
"questions": {
"large": { "type": "noul", "instructions": "合計は 1000 を超えていますか?" },
"urgency": { "type": "score", "criteria": ["後でよい", "今週中", "今日中"] }
}
}'
注意点
- 1 リクエストの入力は 16,384 トークン未満です(判定対象と質問の合計)。 超えると 400(
code: context_length_exceeded)を返し、課金しません。長い文書は分割して送ってください - 入力はテキストのみです。 画像・音声・動画と、画像内の位置を答える
box質問には対応していません(400 を返します) - テキスト生成の
GET /v1/modelsには含まれません。 判定は別サーフェスのため、対応モデルはGET /v1/decisions/modelsで確認してください。/v1/chat/completionsにclef-flashを指定するとエラーになります - 定額プラン(HAI Go / HAI Go Plus / HAI Go Max / HAI Go Uncensored)の対象外です。 クレジットからの従量課金でご利用いただけます
- 課金は入力トークンのみです。答えは確率のためトークンを持たず、レスポンスの
usage.output_tokensは常に 0 です - 分類の選択肢名は、大文字と小文字、前後の空白だけが違うものを同じ名前として扱います。1 つの質問の中で重複させると 400 を返します
- 質問の中にドキュメントに無いキーがあると 400 を返します。
temperatureなどの生成パラメータは受け取っても使いません /v1/decisionsの答えは、モデルが判定を控えた質問について{ "type": "refusal" }になることがあります- ストリーミングには対応していません。応答は同期で返ります
- 返る確率はモデルの確信度で、正解率そのものではありません。しきい値は手元のデータで決めてください