annotation_specs validate#

Description#

Annofabプロジェクトのアノテーション仕様を、レビュー観点に基づいてLLMでレビューします。 アノテーションルールを指定した場合は、アノテーションルールに対してアノテーション仕様をレビューします。

このコマンドは内部で以下のコマンド相当の情報を取得し、LLMに渡します。

  • annofabcli annotation_specs list_label --format json

  • annofabcli annotation_specs list_attribute --format json

  • annofabcli annotation_specs list_attribute_restriction --format text_with_ids

Examples#

基本的な使い方#

$ annofabcli-llm annotation_specs validate \
 --project_id ${PROJECT_ID} \
 --output review.md

アノテーションルールを指定する#

annotation_rule.md#
車と歩行者を矩形で囲ってください。
車には見切れ属性を付与してください。

$ annofabcli-llm annotation_specs validate \
 --project_id ${PROJECT_ID} \
 --annotation_rule @annotation_rule.md \
 --output review.md

レビュー観点を追加する#

review_point.md#
以下の観点でレビューしてください。

- ラベル名と属性名がアノテーションルールに沿っているか
- 属性制約が不足していないか

以下は評価しないでください。

- 軽微な日本語表現の違い

$ annofabcli-llm annotation_specs validate \
 --project_id ${PROJECT_ID} \
 --annotation_rule @annotation_rule.md \
 --review_point @review_point.md \
 --output review.md

--review_point を指定した場合も、デフォルトのレビュー観点は使用されます。

注釈

レビュー結果の途中経過は $HOME/.cache/annofab-cli-llm/temp/validate_* に出力されます。

Usage Details#

アノテーション仕様をレビューします。

usage: annofabcli-llm annotation_specs validate [-h] [-m MODEL] [--verbose]
                                                [--yes]
                                                [--annofab_pat ANNOFAB_PAT]
                                                -p PROJECT_ID
                                                [--annotation_rule ANNOTATION_RULE]
                                                [--review_point REVIEW_POINT]
                                                [-o OUTPUT]

Named Arguments#

-p, --project_id

AnnofabのプロジェクトID

--annotation_rule

アノテーションルール。指定しない場合は、アノテーション仕様単体で判断できる範囲をレビューします。先頭に`@`を指定すると、`@`以降をファイルパスとみなしてファイルの中身を読み込みます。

--review_point

追加のレビュー観点。デフォルトのレビュー観点に加えて、この値も使用します。先頭に`@`を指定すると、`@`以降をファイルパスとみなしてファイルの中身を読み込みます。

-o, --output

出力先のファイルパス。指定しない場合は、標準出力に出力されます。

global optional arguments#

-m, --model

使用するLLMのモデルです。使用できるモデルは https://docs.litellm.ai/docs/providers を参照してください。

Default: 'openai/gpt-5.6-terra'

--verbose

詳細なログを出力します。

--yes

確認メッセージに対して常に'yes'と回答したとみなします。確認メッセージが表示されません。

--annofab_pat

AnnofabのPersonal Access Token