感想
- 午前中だけ参加
- LLM Observabilityが印象的
- AIを使ったアプリケーションに対する可観測性の向上
- 基調講演でも紹介されていたが新しい機能を続々追加してるとのこと
- 中の人いわくAIとセキュリティが特に力を入れているとのこと
イントロダクション
正井 拓己さん(Datadog)
Datadogは統合オブザーバビリティSaaS
- 33か国
- 31400社
- 2018から日本オフィス
- 国内2000社導入
- オブザーバビリティ市場では国内シェア1位
Datadog の継続的なイノベーション
ダルジート・サンドゥさん(Datadog)
- 複雑なものを見える化していくのが最初
- それだけでなくオブザーバビリティも
- さらに新しい機能を出し続けてる
- Datadog On-Call
- Observability Pipelines
- Log Workspace
- Cloud SIEM
- 信頼性とセキュリティ
- リスクスコアリング
- 異常行動検知
- 脅威検知
- Internal Developer Portal
- ベストプラクティスに基づくリリースの標準化
- 安全な運用のガバナンス整備
- 一元的なナレッジ管理
- 高速な検証
- フィーチャーフラグ
- カナリアリリース
- (Datadogでそれができるの？)
AI 時代におけるオブザーバビリティとセキュリティの再定義
ヤンビン・リーさん(Datadog)
- DatadogのAIへのアプローチ
- エージェント型/組み込みAI
- 自動検知/調査/修復
- Bits Chat
- AIチャットで質問してドキュメントの理解を促進したりアクションを起こしたり
- Bits AIエージェント
- Bits AI SRE
- AIが24時間オンコール対応
- アラートに一次対応
- インシデントコマンダーとして動く
- Bits AI Dev Agent
- オブザーバビリティに基づくコーディング支援
- 問題検出し修正プルリク作成まで
- Bits AI Security Analyst
- SIEMシグナルを調査しまとめる
- リスクスコアリングで脅威を優先付け
- Bits AI SRE
- Datadog MCPサーバー
- 各種AIエージェントと統合
- 本番環境の問題をローカルで再現
- 実データに基づいた正確なテストと自動修正
- (本番データの取扱的にできるのか？)
- AIオブザーバビリティ/セキュリティ
- Data Observability
- データの精度と正確性の可視化
- 生成から活用までのデータの流れのかしか
生成AI SaaSプロダクトにおけるOpenTelemetryを活用したObservability向上の取り組み
中村 秀樹さん/石田健太さん(Gen-AX CORPORATION)
- X-Boost
- コンタクトセンター特化型のRAG
- セルフでデータやモデルを更新できる
- Observabilityの取り組み
- Datadogの採用
- 監視ツールの運用は大変
- 監視ツールの可用性が重要
- 認知不可を下げたいから多くのツールを使いたくない
- Datadogなら1つのツールで多くのことを対応できる
- Otelとの連携
- DDOT Collector
- Datadog AgentのPodにOtel Collectorが同梱されている
- Datadogに用意に送信できる
- 監視ツールの運用は大変
Datadog LLM Observabilityで切り拓く、LLMプロトタイプ開発の可視化と加速
若本 亮佑さん(株式会社日本経済新聞社)
https://speakerdeck.com/nikkei_engineer_recruiting/datadog-summit-tokyo2025
- メディア業界とLLM
- 従来は媒体の多様性が変化の大きいところ
- 今は読む人が人間だけでなくAIも加わるところが大きな変化
- 日本経済新聞でのLLM活用
- 記事データや企業データを検索基盤にためている
- それらを各種サービスから活用
- 生成AI特化の製品も出してる
- NIKKEI KAI
- AIエージェント開発
- 社内の環境でプロトタイプ作って検証
- 営業/企画/技術の知恵を持ち寄って
- 事業として出せそうなところまで言ったら本番化
- 社内の環境でプロトタイプ作って検証
- LLM開発の難しさ
- 本番化が難しい
- プロトタイプを作っても本番相当に持っていくのは難しい
- 再現性のない不具合など
- 改善が難しい
- どう対応したら改善するかわからないこと
- 運用面の不安
- LLMのさまざまな機能を管理する難しさ
- いつどう落ちるかわからない
- 特に複数のLLMを使っている場合は顕著
- どこに原因があるか
- 再現にかかる時間
- テストを作り込みづらいしプロトタイプだし
- 本番化が難しい
- LLMアプリのログトレース
- LLM Observability
- 中間ステップも含めた入出力の可視化
