感想
- 参加者同士の会話が多めの勉強会でここ数回参加してます
- 初参加の人も多いし視座高く刺激を受ける話ができました
LLMをプロダクトになじませる
株式会社Helpfeel リードエンジニア daiizさん
https://www.docswell.com/s/daiiz/K6E44E-2025-10-23-194934
- 意図予測検索
- どんな言葉でも検索できる
- 本文にない文言でも
- 記事とユーザが思いつく言葉の間を埋める
- 記事から意図表現を作ってそれを検索する
- 昔は人手でやってた
- RAGの活用
- 原典を参照して答えてくれる
- 回答を事前にsnipetとして用意しておくから速い
- 生成AIに即興で喋らせない
- ナレッジグラフ
- インプットの文書をナレッジグラフにする
- 絶対成り立つ安定した情報を優先して取り込む
- エージェンティック検索
- 柔軟な検索
- 探索範囲が広がる
- 速度はこれまでより落ちる
- @openai/agentsで
LLMを含むAI系APIを本番環境で2年運用してきていろんな罠に遭遇した話
株式会社IVRy Principal AI Engineer べいえりあsann
- 電話の応答サービスでLLMを使ってる
- LLMが落ちると電話の受け答えがされなくなって影響が大きい
- 2024/7にAzure OpenAIの障害で復旧まで1日
- 落ちたときの対策は必要
- 監視とフォールバック
- どれくらい成功してるかなどメトリクスを
- 特定のLLMが落ちてたら違うLLMを使うようにとか
- LiteLLM
- ハマりどころもある
- 代替ライブラリもいろいろ
- LiteLLM
- LLMの障害
- 完全に落ちてくれればフォールバックできる
- 完全に落ちないパターンも多い
- レイテンシーの悪化
- 突然の性能劣化
- サイレントアップデートで起きることも
- 監視
- 特定の入力の種類だけレイテンシー悪化することも
- 細かく区切って監視
- 障害パターンごとのplaybook
- どう判断してどう動くのか
アウトカムにコミットする プロダクトエンジニアリング
株式会社タイミー バックエンドエンジニア 馬塲 俊弥さん
https://speakerdeck.com/shunbaba/autokamunikomitutosurupurodakutoenziniaringu
- アウトカム
- ユーザにプラスの変化をもたらすもの
- チームでの取り組み
Biz/Dev二刀流からの実践知 - 重厚長大な企業で挑むプロダクト開発における思考と判断
三菱重工業株式会社 hellandheavenxxさん
https://speakerdeck.com/ryo_k/dever-dao-liu-karanoshi-jian-zhi-da-qi-ye-detiao-mupurodakutokai-fa-niokerusi-kao-topan-duan
