RAGにおけるハイブリッド検索対決！ OpenSearch Serverless VS Aurora Serverless

1.データセット

利用するデータセットは以下のものを使いました。

1. Amazon Reviews　2023

amazon-reviews-2023.github.io

以下のような約2万8千件製品IDとレビューの組み合わせを利用が利用できるデータセットになります。

product/productId: B000GKXY4S
product/title: Crazy Shape Scissor Set
product/price: unknown
review/userId: A1QA985ULVCQOB
review/profileName: Carleen M. Amadio "Lady Dragonfly"
review/helpfulness: 2/2
review/score: 5.0
review/time: 1314057600
review/summary: Fun for adults too!
review/text: I really enjoy these scissors for my inspiration books that I am making (like collage, but in books) and using these different textures these give is just wonderful, makes a great statement with the pictures and sayings. Want more, perfect for any need you have even for gifts as well. Pretty cool!

精度検証時の質問と回答のペアは以下のようなものを用意し、ハイブリッド検索の特徴であるキーワードの検索精度を重視して評価しました。

評価用データセット例

質問：What is the review summary for product ID B000GKXY4S?[]
　　　（商品ID B000GKXY4Sのレビューの要約を教えてください。）
回答：Fun for adults too!

2.結果（英語）

以下が比較結果になります。
値が大きいほど良い評価結果となっています。

英語については期待通り、OpenSearch ServerlessもAurora Serverless V2（PostgreSQL）もほぼ同精度となることがわかりました。

1.OpenSearch（日本語トークナイズ設定の例）

OpenSearch ServerlessではKuromoji形態素解析が利用できるため設定をしていきます。
この設定により日本語の文章を正しく分割できるためキーワード検索の精度向上を見込めます。

設定例

PUT bedrock-knowledge-base-hybrid-index
{
  "mappings": {
    "properties": {
      "AMAZON_BEDROCK_METADATA": {
        "type": "text",
        "index": false
      },
      "AMAZON_BEDROCK_TEXT_CHUNK": {
        "type": "text",
        "analyzer": "custom_kuromoji_analyzer"
      },
      "bedrock-knowledge-base-default-vector": {
        "type": "knn_vector",
        "dimension": 1024,
        "method": {
          "name": "hnsw",
          "engine": "faiss",
          "space_type": "cosinesimil"
        }
      },
      "id": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      }
    }
  },
  "settings": {
    "index": {
      "knn.algo_param": {
        "ef_search": "512"
      },
      "knn": "true",
      "analysis": {
        "analyzer": {
          "custom_kuromoji_analyzer": {
            "tokenizer": "kuromoji_tokenizer",
            "filter": [
              "kuromoji_baseform",
              "ja_stop"
            ],
            "char_filter": [
              "icu_normalizer"
            ]
          }
        }
      }
    }
  }
}

2.挿入した日本語ドキュメント

データセットしてはChatGPTに出力させた以下のよう徳川家将軍の人名が入ったものを利用しました。
ハイブリッド検索時で徳川の人物名をキーワードとして情報がヒットすることを期待しています。

徳川吉宗像（徳川記念財団蔵）
時代	江戸時代中期
生誕	貞享元年10月21日（1684年11月27日）[1][2]
死没	寛延4年6月20日（1751年7月12日）[3]（66歳没）
改名	松平頼久→頼方→徳川吉宗
別名	幼名：源六
通称：新之助
　　渾名：米将軍、八十八将軍、八木将軍
戒名	有徳院殿贈正一位大相国（法号）
墓所	東叡山寛永寺円頓院
官位	従四位下・右近衛権少将兼主税頭、
　　従三位・左近衛権中将
　　参議、権中納言、
　　正二位・内大臣兼右近衛大将、右大臣
…

評価用データセット例

質問：徳川家康が征夷大将軍に任命された年を教えてください。
回答：慶長8年（1603年）に征夷大将軍に任命されました。

3.結果（日本語）

以下が日本語データセットでの精度の比較結果です。
値が大きいほど良い評価結果となっています。

上記のとおり、僅差ではありますが、OpenSearch Serverlessがで両指標で上回る形となりました。
特に質問に対する回答の網羅度を測るContext coverageがOpenSearch Serverlessが優れていることがわかります。

これはOpenSearch ServerlessのKuromojiによる日本語に対応した形態素解析により、ハイブリッド検索時におけるキーワード検索精度に差が出たと考えられます。

また、検索速度についても比較した結果を、以下に示します。
5種類のクエリを連続して行い、その最大値および最小値を取り除いたトリム平均で比較しています。

検索速度でも、OpenSearch Serverless の方が高速に検索できているようです。