カミナシにてソフトウェアエンジニアをしているいちび(@itiB_S144)です。現在ラスベガスにて12月1日から12月5日まで開催されているre:Inventに参加しています。
re:Invent に参加するのはこれで通算3回目で今回も非常にたくさんの学びを得られていて楽しいです🙌
参加した以下のセッションについてレポートします
- Building serverless vector applications with Amazon S3 Vectors (STG321)
セッション詳細として記載されていた内容は以下です。
Vector embeddings are transforming how organizations build and scale AI, powering everything from semantic search to generative applications. In this session, dive deep into the unique architecture of Amazon S3 Vectors and learn how to build cost-effective vector search applications at scale. We'll whiteboard the technical differences between S3 Vectors and specialized vector databases, discuss the specialized indexing approach that delivers query performance at significantly lower costs, and explore integration patterns with popular AWS AI services including Amazon Bedrock and Amazon OpenSearch Service. Come with your architecture questions, and we'll work through real-world scenarios together.
Type: Chalk talk Level: 300 – Advanced
なぜこのセッションを受けようと思ったか
昨今のイベントでは「AI活用」「LLM活用」の話題で持ちきりです。あらゆるサービスにAIが組み込まれる時代が到来していることを肌で感じます。
そのなかでも大量の情報を高速で検索する技術というのはAIの活用にあたる根幹技術の1つだと思っています。「ベクトル検索すると類似度を取っていい感じに近い情報を取れるらしい」、「RAGだったり最近聞く技術でも裏側で使われているらしい」というのをなんとなく知っていましたが専門性が一定ある領域だと思っていたのであまり深く触れる機会はありませんでした。
AWS CEO の Matt Garman 氏の Opening Keynote にて、最後の10分で25新サービス紹介するコーナーのなかで S3 Vectors が GA されたことの紹介がありました。
S3は自分もよく利用しているサービスであり、馴染みやすいだろうと感じたのでこれを期にS3 Vectors に入門してみようとこのセッションに参加しました。
セッションレポート
そもそもベクトル化とは？
最初に基礎的な概念としてそもそもVector Embeddings(たぶん情報をベクトル化して扱いやすくすることを英語でこういっていた)とはなにかを教わりました。
「テキスト、画像、動画などのデータを多次元空間上の数値として表現したデータであり、意味が近いデータ同士は空間上近くに表配置される」
例として「お茶」と「コーヒー」は近く、「温かい飲み物」というクエリでベクトルが近いため検索に引っかかるけれど「ゴリラ」は引っかからない。それがベクトル化とベクトル検索というものだと教わりました。
大量のベクトルデータを扱う難しさ
以下のスライドで大量のベクトルデータを扱う難しさを教わりました。
1. AI駆動型のアプリケーションが利用するにはコストが非常にかかる
2. データベースの大きさを変えるのが難しい
3. ベクトルの次元が増えるとどんどん複雑になり扱いきれなくなる
自分はここのスライドをみていままでのAWSにおいてベクトルデータを扱おうとすると Aurora postgresql にて pgvector を使う・OpenSearchを利用する必要があると聞いたことがあったのでインスタンスを稼働させておくなどで費用がかさむのかなぁとかを想像していました。間違っていたらすいません🙇 aws.amazon.com
Amazon S3 Vectors とは
そんなベクトルデータを扱うことができるストレージとして Amazon S3 Vectors が2025年7月15日にパブリックプレビュー になり、2025年12月2日にGA (generally Available) して東京を含む全14リージョンで使うことができるようになりました。 aws.amazon.com aws.amazon.com
特徴としては以下の3つです。
- Vector Bucket: ベクトルデータの保存とクエリに特化した新しいバケットタイプ
- Vector Indexes: 効率的な類似検索のためにベクトルデータをインデックス化する
- Vector API: ベクトルデータを扱うための専用APIたち メリットとしてはデータの保管、クエリのコストが抑えられ、数十億単位で低コストにスケールすることとのことです。
実際に S3 Vectors を作成しクエリするデモを見せていただきました。 以下でそのデモを再現したので良ければ参考に触ってみてください。
バケットの作成
- S3コンソールから Vector bucket を作成する
S3コンソールに増えた S3 Vectors の文字！ - Create Bucket からバケットを作成
- 出来上がった Vector bucket に対して「Create vector index」からインデックスを作成
- インデックスを作成
人間が想像しやすいように今回は2次元でインデックスを作りました
index の設定 - Vector Index Name:
index-2d - Dimension:
2
- Vector Index Name:
バケットを触ってみる
AWS CLI からバケットとインデックスを確認し、データを入れてクエリしてみるデモを行いました。
またその後 Amazon Bedrock Knowledge Bases との統合を行う事例を見せていただきました。
この中の詳細についてはしっかり聞き取るゆとりが無かったのでアーキテクチャ図だけで許してください
またPerformance Best Practiceとして以下のスライドを共有いただきました。
- Ingest vectors in batches to optimize costs and throughput
- Partition vectors across multiple indexes to improve query performance
- Warm queries to improve latency
- Use metadata filters for queries
会場で上がった質問
ChalkTalk セッションの特徴は黒板を使いながら登壇者が発表するだけでなく、随時参加者が質問できるスタイルです。自分は聞くので手一杯でしたが、皆様の質問が理解の補足になったり、わからなかったことに気づくきっかけになったりしました。 上がった質問をいくつかまとめした。
Q.ドキュメントをそのままS3に入れれば良いのか
A.No、「生のベクトル」を受け取るAPIなのでベクトル化してから渡して
Q.OpenSearch Serverless との使い分けは？
A.S3 Vectors はコスト重視。大規模なデータ保存に向くのに対してOpenSearchは低レイテンシ、（+ なにか言っていたが聞き取れませんでした）を求めるとき
Q.複数のベクトルで検索できる？
A.できない
Q.S3 Vectors はどんなところで活用できそう？
A.AIエージェントの長期記憶、画像、動画の検索、RAGのコスト削減
まとめ
ChalkTalkセッションといえど基礎から教えていただけたので無事に S3 Vectors の雰囲気を掴むことができました。 S3 Vectors は安価にベクトルデータを大量に突っ込むことができるストレージのようです。突然ベクトルデータが必要になったとき、検索に時間がかかっても問題ないユースケースなら S3 Vectors を使う選択を取ることができそうです。
参考: https://aws.amazon.com/jp/s3/features/vectors/
re:invent 参加日記(day2)
ピカチュウの描かれているパーカーを着ていろんなセッションに行ったら先々で「良いパーカーだね」とか「(となりの空席を指して)ピカチュウの横が空いてるぞ」とか話しかけてもらえてうきうきでした。 ポケモン好きの re:Invent 参加者の方、もし見かけたらぜひ声をかけてください！ ポケカのデッキも持参していますので、いつでも対戦お待ちしています💪
