ビジュアルワード: 画像理解の力を解き放つ

By Fouad Sabry

ビジュアル ワードとは

画像検索システムで使用されるビジュアル ワードは、特徴や変更に関連する何らかの情報を伝える画像の小さな部分を指します。

どのようなメリットがあるか

(I) 以下に関する洞察と検証トピック:

第 1 章: Visual Word

第 2 章: コード

第 3 章: 情報検索

第 4 章: 画像のセグメンテーション

第 5 章: 自動要約

第 6 章: 潜在意味分析

第 7 章: コンテンツベースの画像検索

第 8 章: N -gram

第 9 章: 文書用語マトリックス

第 10 章: 全文検索

(II) ビジュアル ワードに関するよくある質問に答えます。

(III) さまざまな分野でのビジュアル ワードの使用例を実際に示します。

本書の対象者

専門家、学部生および大学院生、愛好家、趣味人、およびあらゆる種類の Visual Word に関する基本的な知識や情報を超えたいと考えている人。

 

 

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: May 4, 2024

Book preview

第 1 章: ビジュアル ワード

画像検索システムで使用されるビジュアルワードは、特徴(色、形状、テクスチャなど)またはフィルタリング、低レベル特徴記述子(SIFTまたはSURF)などのピクセルの変化に関する情報を保持する画像の短い部分を指します。

テキスト検索システム(または情報検索システム)の方法論

画像のピクセルは、デジタル画像の最も小さな部分であり、それ以上分割することはできませんが、言語のアルファベット文字に似ていると考えてください。次に、画像内のピクセルのグループ(パッチまたはピクセルの配列)が単語を構成します。次に、各単語を形態素システム内で再処理して、関連する用語を取得できます。次に、同じ意味を持つ複数の単語は、同じ概念を参照します(他の言語と同様に)。多くの単語が同じ意味を共有し、同じフレーズを構成します(同じ情報を持っています)。この視点によれば、研究者はテキスト検索技術を画像検索システムに適応させることができます。

このアプローチは、ビジュアルに表示される単語やフレーズを決定するためにゲームに適用できます。目的は、「視覚的な言葉」の語彙を使用して画像を理解しようとすることです。

色やテクスチャーの変化など、任意の特徴空間に任意の情報を含めることができる画像の小さな領域。

一般的に、視覚語(VW)は連続した値の特徴空間に存在し、膨大な数の単語、ひいては膨大な言語を意味します。画像検索システムは、用語や単語数に制限がある自然言語に依存したテキスト検索技術を使用する必要があるため、視覚的な単語の数を減らす必要があります。

この問題を克服するには、特徴空間を共有特徴量(同じ単語と見なすことができる)を持つ範囲に分割するなど、さまざまな方法があります。ただし、この手法には、分割戦略や特徴空間の範囲の広さなど、多くの欠点があります。クラスタリング手法を使用して、共通の情報を伝える単語を有限個の用語に分類およびマージすることも、研究者によって提示された別の解決策です。

特徴空間(クラスターの中心)でのクラスタリングの結果。複数のパッチは、特徴空間で最も近い情報を提供できるため、それらを同等と見なすことができます。

テキスト内の用語(無限大動詞、名詞、冠詞)は、同じプロパティを持つ多数の一般的な単語を参照するため、視覚用語(およびそのクラスタリング結果)は、特徴空間で同じ情報を共有するすべての一般的な単語を指します。

最後に、すべての画像が同じ視覚的概念のセットに対応している場合、それらはすべて同じ言語(または視覚言語)で通信できます。

視覚的な単語やフレーズのコレクション。

視覚的な用語だけを考えると、「視覚語彙」は、画像を取得するために依存する参照および検索システムになります。

この視覚言語は、すべての画像を視覚的な単語の集合体、または視覚的な言葉の袋として表現します。

画像の一部または全体の意味をまとめて説明する視覚的な単語のコレクション。

この種の画像表現に基づいて、テキスト検索技術を使用して画像検索システムを作成することができます。それにもかかわらず、すべてのテキスト検索システムは用語に依存しているため、ユーザーのクエリ画像は、システム内で視覚的な単語のコレクションに変換する必要があります。次に、システムはこれらの視覚用語をデータベース内のすべての視覚用語と比較します。

{チャプター1終了}

第 2 章: コード

通信および情報処理の目的において、コードは、文字、単語、音声、画像、ジェスチャーなどの情報を、記憶装置への保存または通信チャネルを介した送信のために、別の形式 (場合によっては短い形式または秘密) に変換する一連の原則です。初期の例は言語の発達であり、人々は自分が考えていたこと、見ていたこと、聞いていたこと、感じたことを他の人に口頭で表現することができました。ただし、話すことは、聴衆をスピーチが配信されるときにその場にいる人に制限し、コミュニケーションの範囲を音声が伝わる距離に制限します。言葉によるコミュニケーションを視覚的なシンボルに変えた文字の出現は、時間と距離を超えたコミュニケーションの可能性を高めました。

エンコードは、ソースからのデータを送信または保存用のシンボルに変換するプロセスです。デコードと呼ばれる反対の手順では、コード記号を受信者が理解できる言語(英語やスペイン語など)に変換します。

コーディングは、口頭または書面で通常の平易な言葉を使用してコミュニケーションを行うことが困難または不可能な状況でコミュニケーションを容易にするために使用されます。たとえば、セマフォは、メッセージの一部 (通常は 1 文字と数字) を、シグナラーまたはセマフォ タワーのアームが保持するフラグの配置を使用して暗号化します。フラグは遠くの人でも読むことができ、送信されたメッセージを繰り返すことができます。

コードは通常、情報理論とコンピューター サイエンスでは、ソース アルファベットの記号をエンコードされた文字列で離散的に表現する方法と見なされます。エンコードされた文字列を連結すると、ソース アルファベット全体で記号のシーケンスをエンコードするためのコードが拡張されます。

これは、数学的に正確な定義を提供する前の小さな例です。この図

C = \{\, a\mapsto 0, b\mapsto 01, c\mapsto 011\,\}

ソースアルファベットが集合で、 \{a,b,c\} ターゲットアルファベットが集合であるコード \{0,1\} 。

コードの拡張子を使用して、エンコードされた文字列0011001を 0 011 0 01 としてコードワードにグループ化し、これらを使用して元のシンボルの順序である acab をデコードできます。

形式言語理論の概念を利用して、 以下は、このアイデアの詳細な数学的定義です:SとTは、それぞれソースとターゲットとして知られるアルファベットである2つの有限集合でなければなりません。

コード C:\, S \to T^* は、S の各シンボルを T 上のシンボルのシーケンスにマッピングする全関数です。

の拡張 C' は C into S^{*} の準同型であり T^{*} 、ソースシンボルのすべてのセットをターゲットシンボルのセットに自動的に変換します。

このセクションでは、各ソース (クリア テキスト) 文字を辞書から取得したコード ワードに変換し、連結するとエンコードされた文字列を生成するコードについて説明します。クリア テキスト文字の確率が異なる場合、可変長コードは非常に役立ちます。エントロピー・エンコード (entropy encoding) も参照。

接頭辞コードは、「接頭辞プロパティ」として知られるプロパティを持つコードであり、セット内の他の有効なコードワードには、システム内で有効なコードワードでもある接頭辞(start)がありません。プレフィックス コードを生成するための最もよく知られているアルゴリズムは、ハフマン符号化です。接頭辞コードがハフマン法によって生成されていない場合でも、それはしばしば「ハフマン符号」と呼ばれます。ISBN コードの国と発行者のセクション、国の発信者番号、および UMTS WCDMA 3G ワイヤレス規格で使用されるセカンダリ同期コードは、プレフィックス コードの追加インスタンスです。

プレフィックス符号で可能な符号語長の集合は、クラフトの不等式によって記述されます。接頭辞コードだけでなく、一意に復号化できるほとんどすべての 1 対多のコードは、クラフトの不等式を満たす必要があります。

さらに、コードを使用して、伝送またはストレージの障害に対する回復力を高める方法でデータを表すことができます。このエラー訂正コードが機能する方法は、保存された(または送信される)データに冗長性を慎重に構築することです。例としては、時空間符号、低密度パリティ チェック符号、リード ソロモン符号、リード ミュラー符号、ウォルシュ アダマール符号、ボース - チャウドゥリ ホッホケンゲム符号、ターボ符号、ゴレイ符号、ゴッパ符号などがあります。エラー検出アルゴリズムは、ランダムエラーまたはバーストエラーを検出するように改善できます。

「ship」や「invoice」などの単語を短い単語に置き換えることで、ケーブルコードは、同じ情報をより少ない文字数で、より迅速に、より少ないコストで通信することを可能にします。

簡潔にするために、コードを使用できます。電信メッセージが高速長距離通信の標準であったとき、完全なフレーズを1つの口(通常は5分間のグループ)に凝縮した複雑な商用コーディングシステムが作成されました。その結果、電信士はBYOXO(「我々の取引から抜け出そうとしているのか?」)、LIOUY(「なぜ私の質問に答えないのか」)、BMULD(「お前はスカンクだ!」)、AYY(「明確にコード化されていない、もっと明確に繰り返す」)などの「言葉」に慣れ親しんだ。長さや発音のしやすさなど、さまざまな要素について、コードワードが選択されました。商業協定、軍法典の軍事用語、外交法典の外交用語、および前述のスパイコードのすべては、認識された要求を満たすために選択された意味の例です。第一次世界大戦と第二次世界大戦の間にハーバート・ヤードリーがアメリカの黒人商工会議所の前線として維持したものを含め、多くのコードブックとコードブック会社がありました。これらのコードの大部分は、ケーブルのコストを削減するために設計されました。データ圧縮のためのデータコーディングは、コンピュータが発明される前から使用されてきました。典型的な例は電信モールス信号で、頻繁に使用される文字は短い表現を持っています。大きなデータファイルは、保存または送信のためのコンピューターベースのアルゴリズムによるハフマン符号化などの方法を使用して圧縮されるようになりました。

テキストデータは、文字エンコーディングで表されます。一部の文字セットには多数の文字エンコーディングがあり、その逆も同様ですが、特定の文字エンコーディングは特定の文字セット(それが表現できる文字のグループ)にリンクされている場合があります。文字エンコードは、1 つの文字を表すために必要なバイト数に基づいて、1 バイト、マルチバイト (ワイド)、可変幅 (可変長) の 3 つのカテゴリに大別できます。初期の文字エンコーディングは 1 バイトで、ASCII が最も顕著な例でした。現在でも、ASCIIはHTTPヘッダーなどで使用されています。ただし、1 バイト エンコードでは、256 文字を超える文字セットをシミュレートできません。マルチバイトエンコーディングは、中国語、日本語、韓国語など、広範な文字セットを必要とするスクリプトに必要です。初期のマルチバイトエンコーディングは固定長であり、各文字は数バイト(「語長」)で表されていましたが、すべての文字は同じバイト数を使用していました。これにより、ルックアップテーブルによるデコードが許容されるようになりました。最後の型である可変幅エンコーディングは、マルチバイトエンコーディングのサブセットです。これらは、より広く使用されている文字の表現を短く保ちながら、膨大な文字セットを効率的に表現したり、より複雑なエンコードおよびデコードアルゴリズムを使用して下位互換性機能を確保したりします。このグループには、インターネット上で最も広く使用されているテキスト エンコードである UTF-8 が含まれ、Unicode 文字セットのエンコードです。

遺伝物質は、生物学的実体の操作と発達を調節するために利用されます。これはDNAと呼ばれ、遺伝子と呼ばれる遺伝的構成要素で構成されています。次に、これは、4つの異なるヌクレオチドで構成される一連のトリプレット(コドン)を20の異なるアミノ酸の1つに翻訳する遺伝暗号を使用してタンパク質を生成します。特定の種類のコドンである終止コドンは、配列の終わりを示し、対応するアミノ酸の配列にタンパク質分子を形成させます。

数学では、ゲーデル符号はゲーデルの不完全性定理の証明の基礎でした。

ここでのアイデアは、数学的表記法を自然数にマッピングすることでした(ゲーデル数を使用)。

信号機、電気抵抗器の公称値、特定の種類の廃棄物(紙、ガラス、有機物など)に指定されたゴミ箱など、色ベースのコードがあります。

(典型的なオンライン)マーチャントから製品を購入する場合、マーケティングのクーポンコードを金銭的な割引またはリベートに利用できます。

特定のコルネットの音は、特定の時刻を知らせたり、戦場で軍隊を指揮したりするなど、さまざまな目的で軍事環境で利用されます。

聴覚障害者のための手話や盲人のための点字など、感覚障害のある人のためのコミュニケーションの基盤となる動きや触覚のコード。

音楽をエンコードする最も一般的な方法は、楽譜を使用することです。

試合を追跡するために、一部のゲームにはチェスの表記法などの独自のコーディングシステムがあります。

暗号はもともと暗号の歴史の中で通信の機密性を確保するために広く使用されていましたが、現在では代わりに暗号が利用されています。

真面目なもの(主に軍事、外交、ビジネスなどのスパイ活動)から軽薄なもの(ロマンス、ゲームなど)まで、あらゆる種類の創造的なエンコーディングを使用して、実際のメッセージを隠すことができます。例としては、花、ゲームカード、服、扇子、帽子、メロディー、鳥などがあります。唯一の要件は、送信者と受信者の両方が事前に意味に同意することです。

エンコーディングのその他のインスタンスには、次のものがあります。

技術的に定義すると、エンコードは、比較的客観的な感覚情報(光や音など)を主観的に意味のある体験に変換する、多段階の複雑なプロセスです。エンコードは、受信データを解釈するための基本的な知覚プロセスです。

コンテンツ形式は、特定の種類のデータを情報に変換するための特定のコード化スキームです。

コンピュータでの処理を容易にするために、テキストエンコーディングではマークアップ言語を使用してテキストの構造やその他の要素にタグを付けます。また、「Text Encoding Initiative」も参照してください。

形式言語 A のすべての用語 (プログラムや記述など)