検索品質の“違和感”に輪郭を与える – SQが始めた「SQレター」の話

こんにちは、Search Quality Group（以下SQ）の三上です。

SQでは、求人検索エンジンスタンバイの検索品質をより良くするために、日々さまざまな観点から検索結果を見ています。

検索品質というと、クリック率や応募率など、まずは数値で測る指標を思い浮かべる方が多いかもしれません。もちろん、それらの定量的な指標はとても重要です。一方で、検索結果を実際に見続けていると、数字だけでは拾いきれない感覚に出会うことがあります。

たとえば、

検索結果の上部だけを見ると少し違和感がある
検索キーワードに適合したものが出ているが、偏りを感じる
複数キーワードで検索したときに各ワードがバラバラにあたって、キーワードマッチはしているが意図は満たしていない

等々。こうした検索における“違和感”は、プロダクト改善のきっかけになり得ますが、違和感のままでは議論にも意思決定にもつながりにくい。そこでSQでは2025年度から新たに「SQレター」という取り組みを始めました。

SQレターとは何か

SQレターは、SQからプロダクトチームに向けた情報発信です。

定期的に特定キーワード・条件で検索結果を評価してスタンバイが今どのような状態にあるのかを見たり、日頃から気になっている部分を時間をとって丹念に深掘りすることで可視化。

ログやダッシュボードだけでは見えにくい検索品質の実情を、統一的な基準で観測・評価し、開発や方針策定の判断材料として届けることを目指しています。

なぜ始めたのか

SQでは、A/Bテストの評価分析などを通じて、日々多くの検索結果を確認しています。

求人検索では、求職者が入力するキーワードも、期待する求人も、実際に返ってくる検索結果も多様です。「営業」「事務」のような大きな職種名もあれば、「在宅」「未経験」「駅名」「企業名」「勤務時間」など、条件や意図が複数混ざった検索もあります。

このとき、品質を数値だけで見ると、個別の検索体験で起きている問題が薄まってしまうことがあります。

たとえば、検索結果全体としては一定の品質に見えていても、最上部に求職者の意図とずれた求人が出ていたらどうでしょう？　求職者の第一印象は大きく損なわれているかもしれません。

こうした状態は、日々検索結果を見ているSQからすると「なんとなく気になる」ものとして蓄積されていきます。ただ、そのままでは個人やSQ内だけの感覚に留まり、プロダクト全体の議論に乗せるまでに至らず、死蔵されやすいです。

また、SQの日々の業務は、開発に由来する定常的な評価分析が多く、自発的な深掘りや発信ができていないこともありました。そこで、SQとして、違和感を観測可能な形に変え、それを共有する仕組みが必要だと考えました。

SQレターの構成

SQレターは、大きく「定点」と「特集」の二段構えで構成しています。

定点：同じ物差しで見続ける

定点では、毎回同じテーマで検索結果を確認します。

一定数のキーワードを対象に、検索結果上部の求人がキーワード意図に合っているかを評価したり、主要なキーワードについては、スタンバイだけでなく競合サービスの検索結果も確認し、相対的な立ち位置を見ます。

定点で大事なのは、同じ条件・同じ基準で見続けることです。

1度だけ見ると、その時点のスナップショットに過ぎません。しかし、継続的に見ることで、検索品質が良くなっているのか、悪くなっているのか、どの領域に変化が出ているのかを捉えやすくなります。

これはまさに健康診断のようなものです。1回の数値だけでは判断しきれないことも、継続的に測ることで変化の兆しが見えてきます。

特集：その時々の違和感を深掘りする

一方、特集では、その時々で気になるテーマを設定して深掘りします。

たとえば、検索をしたものの何も行動が行われなかったキーワードの検索結果や、特定の流入経路からよく投げられるキーワードの検索結果など、SQが掘り下げたいテーマを設定し、それに対して実際の検索結果はどうなっているのかを評価します。

特集は、定点観測だけでは拾いきれない問いに向き合うための枠です。

この検索体験は本当に良いのか？　求職者は選んでいるのではなく、無駄に迷っているだけではないのか？
特定の検索条件で品質にムラがあるように見えるが、それはたまたまそう見えているだけなのか？
指標上は良く見えているが、雇用形態や特定職種だけで見た場合でもそうなのか？

このような問いを、疑問や仮説のまま終わらせず、実際の検索結果を見て評価し、プロダクトへ持ち込める形にします。定点が定期的な健康診断だとしたら、こちらは精密検査といったところでしょうか。

社内での反響

先ごろ、定点、そして特集として複数ワードでの検索に関する品質調査を行い、初回のSQレターを発信しました。社内での反響は正直まだ少なく、発展途上の状態ですが、SQレターによってSQが「なんとなく気になる」という状態を、どのキーワードで、どの位置で、どの種類の検索で起きているのか等を分解できるようになってきており、手応えは感じています。

一方、先に述べたように反響はまばらであり、SQレターをきっかけにした議論や改修が継続的に生まれている状態には、まだ至っていません。ただ、これはSQレターそのものの価値だけでなく、届け方の問題でもあると考えています。コンテンツは作ったものの、誰に、どのタイミングで、どの文脈で届けるかというデリバリー設計がまだ十分ではありません。いくら良いレポートを作っても、待っているだけでは必要な人に届きません。検索品質に関する議論が必要な場面に、SQレターの内容を適切に届けることにも早急に取り組んでいきたいと考えています。