機能仕様

GeMM の主要機能と操作方法について説明します。

ビューモード

GeMM は4つのビューモードを提供します。画面上部のタブで切り替えできます。

ビュー	説明
グリッドビュー	メディアファイルをサムネイル一覧で表示
データベースビュー	解析結果をテーブル形式で一覧表示・ソート・フィルタ
セマンティックビュー	メディアをAIの理解に基づいて3D空間上にマッピング
Generativeビュー	メディアの内容についてAIとチャット

検索モード

画面上部の検索バーから、3つのモードでメディアを検索できます。

モード	説明	用途
テキスト検索	ファイル名・パス・解析テキストからキーワード検索	特定のファイル名や単語で絞り込み
Text AI（テキストセマンティック検索）	AIの解析テキストをベクトル化し、意味的に類似するメディアを検索	「コンクリートを流す作業」など自然言語で検索
Image AI（画像セマンティック検索）	画像・動画の視覚的特徴をベクトル化し、意味的に類似するメディアを検索（英語推奨）	シーン全体の雰囲気や見た目で検索

検索結果はグリッドビュー・データベースビュー・セマンティックビューのいずれでも表示できます。

メディア管理

対応ファイル形式

種別	形式
画像	`.jpg`, `.jpeg`, `.png`, `.gif`, `.bmp`, `.webp`, `.tiff`
動画	`.mp4`, `.avi`, `.mov`, `.mkv`, `.webm`, `.flv`, `.wmv`, `.m4v`, `.mpg`, `.mpeg`
ドキュメント	`.pdf`, `.txt`, `.md`, `.json`, `.xml`, `.csv`

アップロード

画面へのドラッグ＆ドロップでファイルをアップロードできます
フォルダごとドロップすると、フォルダ構造を保持してアップロードされます
複数ファイルの同時アップロードに対応

フォルダ管理

フォルダの作成・リネーム・削除・移動・コピー
左側のフォルダツリーからフォルダを選択して表示を切り替え
フォルダ単位でのZIPダウンロード（開発中）

AI解析

自動解析

アップロードされたメディアファイルに対してAIが自動的に解析を行います。

画像: 内容の説明文を自動生成
動画: フレームを抽出し、各フレームの内容を解析。動画全体のサマリーも生成
PDF/ドキュメント: テキスト抽出と内容の要約

動画フレーム抽出モード

動画解析では、フレームの抽出方法を3つのモードから選択できます。

モード	説明	用途
固定間隔	一定の時間間隔でフレームを抽出（従来方式）	一般的な動画の均一なサンプリング
シーン検出	映像の変化点（シーン切り替え）でフレームを抽出	シーンが頻繁に切り替わる動画に最適
Vision RAPTOR	CLIPで類似フレームをクラスタリングし、代表フレームのみ解析（約4倍高速）	長時間動画の高速処理

固定間隔: 抽出間隔（秒）を指定。デフォルトは1秒ごと
シーン検出: 検出閾値（低い＝敏感、高い＝鈍感）と最小間隔を調整可能
Vision RAPTOR: CLIP埋め込みでフレームをクラスタリング（HDBSCAN）し、各クラスタの代表フレームのみをVLMで処理。長時間動画でも効率的に解析可能

カスタムプロンプト

解析時にカスタムプロンプトを指定することで、特定の観点での解析が可能です。

例：

「安全装備の着用状況を確認してください」
「映っている製品の型番を読み取ってください」
「異常な状態があれば報告してください」

セマンティック検索

自然言語でメディアを検索できます。ファイル名ではなく、メディアの内容に基づいて検索します。

検索例

「赤いヘルメットをかぶった作業員」
「雨天の屋外作業」
「品質検査の不合格品」

検索バーにテキストを入力すると、関連性の高いメディアがスコア順に表示されます。

動画内検索

動画ファイルを開くと、動画内のフレームを検索できます。3つの検索方式に対応しています：

方式	説明	用途
テキスト埋め込み	AIの解析テキストから意味的に類似するフレームを検索	小さなオブジェクトや具体的な状況の検索
画像埋め込み(EN)	画像とテキストの意味的類似度で検索	シーン全体の雰囲気で検索（英語推奨）
物体検出(EN)	指定したオブジェクトを画像内から検出	特定の物体の出現箇所を特定（英語推奨）

データベースビュー

AI解析の結果をテーブル形式で一覧表示します。

全メディアの解析結果を一覧 — ファイル名・パス・解析テキストをテーブルで確認
ソート・フィルタ — カラムごとのソートやフィルタリングで目的のデータに素早くアクセス
CSV エクスポート — テーブルデータをCSV形式でダウンロード

セマンティックビュー

メディアをAIが生成したエンベディング（ベクトル表現）に基づいて3D空間上に配置します。

類似したメディアが近くに表示 — 内容が似ているファイルがクラスタを形成
検索クエリの位置表示 — 検索テキストに近いメディアを視覚的に確認
ダブルクリックでプレビュー — メディアの詳細を即座に確認

Generativeビュー（AIチャット）

メディアの内容についてAIと対話できます。

注意: この機能はローカルで動作する小規模LLMを使用しています。クラウドAPIベースのLLMと比較すると応答精度・速度に制約があります。今後のモデル更新により改善予定です。

主な使い方

メディアを選択した状態でチャットを開始
AIがメディアの内容を踏まえて回答
複数の会話を保持・切り替え可能

NAS / 共有フォルダ連携

ネットワークストレージ上のメディアファイルを直接解析できます。

対応プロトコル

プロトコル	説明	状態
NFS	Linux/Unix 環境の共有フォルダ	対応済み
SMB/CIFS	Windows 共有フォルダ	開発中

接続方法

管理画面からマウントポイントを設定します。設定後、フォルダツリーにネットワークストレージが表示され、ローカルファイルと同様に操作できます。

管理機能

GeMM には管理者向けの管理画面が組み込まれています（/admin）。

ユーザー管理

メールアドレスとパスワードによるログイン・JWT認証
ロールベースのアクセス制御（閲覧者・編集者・管理者）
管理画面からユーザーの追加・編集・削除
ライセンスに応じたユーザー数の上限管理

ライセンス管理

ライセンスキーの確認・有効期限の管理
最大ユーザー数の設定
ハードウェアライセンスの登録状況確認（デバイス名・アクティベーション状態）

メディア・解析管理

全ユーザーのメディアファイル一覧の確認
解析プロンプト（カラム）の管理
解析結果の閲覧・検索
動画フレームのエンベディング状態の確認

ネットワークストレージ管理

マウントポイントの設定・接続状態の監視
認証情報の暗号化保存

サポート接続

リモートサポート接続の有効化・無効化
接続ログの監査証跡

設定

設定画面から以下のカスタマイズが可能です：

解析通知 — 解析完了時の通知ON/OFF
自動解析 — アップロード時に自動で解析を開始するかどうか
自動インデックス — 解析完了時に自動でエンベディングを生成するかどうか