この記事は、Sansan Data Intelligence 開発Unit ブログリレーVol.07です。
はじめに：3つのハードル
Sansan事業部プロダクト室と研究開発部に所属している、データサイエンティストの丸尾です。私は、新規プロダクトであるSansan Data Intelligence（SDI）の開発において、立ち上げ期のカオスの中にいました。SDIは、顧客のデータをお預かりして名寄せ・クレンジングを行うプロダクトです。その性能を元に意思決定が行われるため、トライアルとして実際にデータをお預かりし、名寄せ結果やデータの傾向を分析してレポートするサービスを提供しています。私はこのトライアルサービスの立ち上げ担当兼デリバリー責任者をやっています。
データプロダクトは「作って終わり」ではありません。顧客のデータを入力して、結果を出力し、解釈を経て初めて価値が生まれます。このことからもトライアルの重要性が感じられると思います。また、トライアルがお客様に満足いただくものになると同時に、分析サービスとして効率的に実行できるようになる必要もあります。すべてに個別対応していると、商談が重なった場合にはトライアルができない、という状況もありえます。つまり、このプロジェクトにおいては、次の三つのミッションを達成する必要があると考えました。
- アドホック対応: 目の前の顧客のための個別対応。主には特定の顧客が必要とする分析レポートなどの作成。「今すぐ」価値を出すための動き。
- 半自動化: アドホックで定番化した手順をスクリプト化し、人の手で実行するパイプライン。汎用版ができるまでの「つなぎ」として、顧客に継続的に価値を届けるためのプロトタイプ。
- 汎用化: 堅牢でスケーラブルなパイプラインと社内アプリケーションの構築。最終的には、必要な人が自由に分析結果を使える（=セルフサービス化）状態を達成すること。
「アドホック」と「半自動化」を回すだけでも手一杯なのに、そこに「汎用化」の仕様策定や連携まで加わる。この3つを同時に走らせる困難と、それをどう乗り越えたかについて振り返ります。また、今ではこれらのハードルを乗り越えたことにより、次のような状態を達成できています。
- 個別論点に対しては可能な限りアドホックに対応し、より商談での深い議論ができるようサポートをすることに時間を割けている。
- アドホック対応で頻回の対応実績があるものは、半自動化して効率的に対応し、かつそれらを次の汎用化の候補として管理できている。
- 社内アプリケーション経由で、定型的な分析結果を誰でも提供できる。
二重開発を恐れず進める
通常、開発において「同じものを2回作る」のは避けるべき無駄とされます。しかし、今回のフェーズではあえて二重開発を受け入れました。立ち上げたてのフェーズにおいて何より重要なのは、実際の商談や納品といった実地の中で顧客からのフィードバックを得ることです。一方で、汎用化した先の社内アプリケーションは安定稼働することこそが最終的な目標であるため、焦って継ぎ接ぎで作るのではなく、しっかりと作り込んでもらう必要があります。
そこで、次のステップで対応することに決めました。
- まずアドホックで要望に応え、手動でデータを分析・加工して商談する。
- 需要が高い機能は半自動化パイプラインに組み込み、スクリプトで効率化する。
- 半自動化で仕様が固まり、価値が証明されたものを社内アプリケーション開発の要件に追加してもらう。
このプロセスを採用すると、結果として、半自動化で作ったコードは社内アプリケーションでは使われずに捨てられるため、開発工数のロスは発生します。しかし、このロスを含めても顧客への提供を止めないことが、全体で見ればプラスになると判断しました。
もう一点、この進行が破綻しなかった大きな要因は、開発担当者が当たり前の品質管理をサボらず徹底してくれたことに尽きます。データプロダクトの恐ろしさは、エラーが出ずに動いていても数字が間違っている可能性があることです。
これに関しては次の二つのある種当たり前な対策が効果を発揮しました。
- 複雑なSQLを書いた際の厳密な検算
- パイプラインの主要なロジックに対する単体テストの実装
開発担当者は、これらを非常に高いレベルで自律的に行ってくれていました。当たり前のことを当たり前にやるというエンジニアリングの基礎体力もまた重要なのだなと改めて実感しました。また、ここで得た知見は積極的に還元し、分析組織全体のレベルアップに貢献しています。
AI時代だからこそ回せたプロジェクト
とはいえ、一人の人間には物理的に限界があります。ここで大きな力になったのが、生成AIの存在です。
以前であれば、アドホックな集計スクリプトを書くだけで一日が終わっていたでしょう。しかし今は、生成AIに指示を出せば考えられないような短い時間でコードが生成されます。AIの支援なしでは絶対に達成できなかったと自信を持って言えるくらいAIを活用しました。デリバリー速度をAIによって加速できたのは、昨今の、本当にAIによってビジネスは変革しているのか？という論調も踏まえると、なかなか貴重な経験を積めたと思います。
一方で、商談などを加速できている実感はあるものの、売上の拡大スピードにまで効いている確かな証左がないことには、まだこの問いには答えきれていないとも言えるでしょう。このような問いに向き合えることは非常に刺激的です。
反面、AIにビジネス的な正誤判断までしてもらうわけにはいきません。そのため、アドホックにしろ、半自動化にしろ、汎用化にしろ、最終的なアウトプットは人間が取りまとめ、レビュー結果を踏まえ、反映するというプロセスをまわしています。このプロセスについては、AIをレビュー補助に使いましたが、まだまだ人間がきちんと責任を取れるようにやりきるという対応もありました。この点においては今後の業務の進化が楽しみです。
支えとなった社内の基盤たち
また、プロジェクトがうまくいった背景には、k8sを用いた社内共通基盤と全社データ基盤の存在もあります。
弊社には、開発したアプリケーションを社内向けにデプロイできる、堅牢なコンテナ基盤が整備されています。また、必要なデータがセキュアかつ権限管理された状態で格納されている全社データ基盤も存在します。
これらの基盤があるおかげで、私たちはインフラの構築や運用にリソースを割くことなく、「ロジックさえ書けば、すぐに社内ユーザー（CSや営業）が使える状態で提供できる」という環境が手に入りました。
さらには、それらを活用した分析アプリケーションの社内提供・活用についても、先人たちの実績がありました。そのため、私もこの案件を聞いた時に、それらを真似させてもらおうと、賢く対応できました。AI時代においても奇を衒わず、うまくいっているもののうまくいっている理由やその方式に乗るというのも重要であると再確認しました。
この環境を用意してくださっている基盤チームと先人たちには改めて感謝しています。
板挟みと相互理解
そして何より苦心したのは、フロント（営業・CS）の要望と、自身のリソースの板挟みになる瞬間でした。フロントからは「この分析も追加してほしい」という要望が来ます。しかし、半自動化パイプラインの実装も私の責務であり、さらには社内アプリケーション化に向けた仕様の確定も進めなければなりません。全部叶えたい気持ちと、自動化を進めないといつか破綻してしまうという判断の狭間で、非常にタフな局面でした。
私は正直に板挟みであることを伝えることにしました。「今は半自動化を進めていて、それを使って業務効率化しないとリソースが枯渇しそうなので、新規リクエストはここまで待ってほしい」と伝えました。
これに対して、フロントチームは柔軟に対応してくれました。一方でPM・開発側としても、ただ断るだけでなく「社内アプリケーション化された暁には、誰でも自由に分析結果が出せるようになるから」と、未来のメリットを共有し続けました。
こうした相互の配慮が成立したのは、それまでアドホックな要望に応えてきた実績があったからこそだと思います。「あの時要望を聞いてくれた人が、今できないと言うならしょうがない」という信頼関係が確かに存在しており、いい仕事ができていたのかな、と感じました。
振り返れば、最初は5名にも満たない小さなチームで、手作業でデータ分析をしていたプロジェクトでした。それが気づけば、PMM、PdM、エンジニア、CS、営業、データサイエンティストが関わるような大きな仕事になりました。職種を超えて多くのメンバーが連携し、1つのゴールに向かう。これがSansanが大事にする考え方のひとつ、「7人8脚」なのだと実感しました。
おわりに
アドホックで顧客とフロントの信頼を勝ち取り、半自動化で効率化しつつ、誰でも使えるアプリケーションへと昇華させる。このカオスなプロセスは非常に刺激的で楽しかったです。そして、SDIのリリースに伴い、カオスはさらに加速しています。
このプロダクトにおいては、小松の投稿にあるように、データサイエンスのプロとしてデータにDeep Diveしたり、プロダクトに提言することが求められます。このように知見が生かせる職場はきっと働きがいがあるのではないでしょうか。
このブログでSDIにおけるデータサイエンティスト業務に興味を持った方がいらっしゃったら、ぜひお話ししましょう。ぜひ一緒に働きましょう！
Sansan技術本部ではカジュアル面談を実施しています
Sansan技術本部では中途の方向けにカジュアル面談を実施しています。Sansan技術本部での働き方、仕事の魅力について、現役エンジニアの視点からお話しします。「実際に働く人の話を直接聞きたい」「どんな人が働いているのかを事前に知っておきたい」とお考えの方は、ぜひエントリーをご検討ください。
採用説明会を開催します
3月31日（火）に採用説明会を行います。 Sansan Data IntelligenceのProduct Ownerやエンジニアから「どんなメンバーが、どのような役割で開発に関わっているのか」「どんな課題に挑戦できるのか」という話を聞けるチャンスです。
興味のある方はこちらからエントリーの上、ぜひご参加ください。
