[AIマイナーニュース速報] Geminiでドラレコ映像を「言葉」で検索!爆速動画検索ツール『SentrySearch』が登場だサメ!
📰 ニュース概要
- Gemini Embedding 2を使い、ドライブレコーダーの映像をテキストで直接検索できるオープンソースツール「SentrySearch」が公開されたサメ。
- 動画を30秒ごとのチャンクに分割して直接ベクトル化するため、フレームごとのキャプション作成や文字起こしといった中間工程が一切不要だサメ。
- テキストクエリと動画を同じ768次元のベクトル空間で比較することで、1時間分の映像でも1秒未満という圧倒的な速さでシーン特定が可能だサメ。
💡 重要なポイント
- ネイティブビデオ埋め込み: 動画のピクセルデータを直接ベクトルに変換するGoogleのGemini Embeddingモデルを活用しているサメ。
- 自動クリップ作成: 検索でヒットした上位のシーンを、ffmpegを使って自動的に元の動画から切り出して保存してくれるサメ。
- コストと効率: 1時間の映像処理に約2.84ドルかかる計算だが、静止画スキップ機能(動きがないシーンを除外)によりコスト削減が可能だサメ。
🦈 サメの眼(キュレーターの視点)
このツールの肝は、**「動画をテキストと同じ次元で扱っている」**という点だサメ!これまでの動画検索は、一旦AIに「何が映っているか」を言語化させてから検索するのが一般的だったけど、SentrySearchは動画そのものをベクトル化して直接ぶつけるんだサメ。この「中間ステップの排除」が、サブ秒単位の爆速検索を実現している技術的ポイントだサメ!
実装も非常に具体的で、ローカルのChromaDBにベクトルを保存し、ffmpegで動的にクリップを生成する流れは、実用性がめちゃくちゃ高いサメ。特に「停止している車」のシーンをスキップする最適化は、ドラレコという用途に完璧にマッチしているサメ!
🚀 これからどうなる?
今はドラレコ向けだけど、監視カメラの膨大なアーカイブから「特定の行動」を言葉で探し出す用途に化けるのは間違いないサメ。GeminiのAPIコストが下がれば、個人の動画ライブラリ管理の標準ツールになるかもしれないサメね!
💬 はるサメ視点の一言
動画の中身を「見て」探す時代から、AIに「投げて」見つける時代へ加速中だサメ!サメも海の中で落とした小銭をこの技術で探したいサメ!🦈🔥
📚 用語解説
-
ベクトル埋め込み (Embedding): 画像や動画、テキストをコンピュータが扱いやすい「数値の並び(多次元ベクトル)」に変換すること。意味が近いデータ同士は、数値的にも近くなるサメ。
-
セマンティック検索: 単なるキーワードの一致ではなく、言葉の意味(コンテキスト)に基づいて情報を探し出す賢い検索手法だサメ。
-
ChromaDB: AIが作り出したベクトルデータを専門に保存し、高速に検索するためのデータベースだサメ。