作者
標題 [請益] Elastic Search結果慘烈怎麼修
時間 Mon Jan 15 17:47:05 2024
標題 [請益] Elastic Search結果慘烈怎麼修
時間 Mon Jan 15 17:47:05 2024
小弟是網路公司的PM，負責一個跟景點圖資有關的產品，目前服務內有個進50萬的POI資
料庫，但是讓用戶搜尋時，跑出來的結果非常糟糕，而且負責此項目的同事說能優化的都
做了，已經無法再調整。想問問看版上的大神能不能開示怎麼處理比較好
料庫，但是讓用戶搜尋時，跑出來的結果非常糟糕，而且負責此項目的同事說能優化的都
做了，已經無法再調整。想問問看版上的大神能不能開示怎麼處理比較好
被檢索的欄位
poiNameCN：晴空塔
poiNameEN：Tokyo Skytree
nickname1：天空樹
nickname2：新東京鐵塔
adminDivisionCN：日本/東京都/東京都心/墨田區
adminDivisionEN：Japan/Tokyo/Special wards/Sumida
原本理想的情況是，不管用戶是輸入景點的中文或英文名稱、或是輸入別名，或是輸入名
稱加上行政區劃內的某一層(例如輸入：東京 天空樹)，都可以用這些欄位來找出關連，
可是實測之後的結果卻很糟
稱加上行政區劃內的某一層(例如輸入：東京 天空樹)，都可以用這些欄位來找出關連，
可是實測之後的結果卻很糟
想問問有沒有大神有這種讓elsatic search同時比同一個物件的多個欄位，再排關聯度的
經驗，能給小PM一點建議，讓我可以再去爭取重開這個優化的需求
感謝！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.105.193 (臺灣)
※ 作者: DOC 2024-01-15 17:47:05
※ 文章代碼(AID): #1bfFyRg0 (Soft_Job)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1705312027.A.A80.html
※ 同主題文章:
[請益] Elastic Search結果慘烈怎麼修
01-15 17:47
01-16 11:16
01-16 20:09
01-18 10:11
→ : 50萬筆聽起來沒有很大(? 你們是用like去查嗎1F 01/15 17:55
噓 : 怎麼個糟法？連舉例都不會不要當pm害人好嗎 另外官方不是有sup嗎？官方對於這case給的回應是什麼4F 01/15 18:23
推 : 發現k旺？6F 01/15 18:25
→ : 我認為B0988698088 應該有SOLUTION的，出一篇吧。7F 01/15 18:26
推 : 你要先釐清是 recall 還是 ranking 問題。換句話說是搜尋結果沒有命中還是單純排序太後面。此外對 input 拆詞後是採用什麼樣語法搜尋，以及需要檢查拆詞後的結果符不符合預期。然後同義詞機制要重新設計，通常是在 query time
先展開比較單純好維護。然後地點看你是想要真的依照經緯度找還是單純用關鍵字，演算法差很多8F 01/15 18:31
先展開比較單純好維護。然後地點看你是想要真的依照經緯度找還是單純用關鍵字，演算法差很多8F 01/15 18:31
→ : 如果是你這需求，從 schema design 就錯了，不如說
說你們做了什麼優化好了XD14F 01/15 18:34
說你們做了什麼優化好了XD14F 01/15 18:34
→ : 排關聯度就單純很多，同常就命中的詞 + BM25 + 設欄位權重。雖然進階的應該要用使用者 log 去用 ML 做 ranking，不過看起來你們的進度連初階 elasticsearch 功能都還沒正確使用，也就是我前面說的你們可能連 recall 都不好16F 01/15 18:35
→ : 其次，你們的需求&量級用到 elasticsearch 感覺有
點殺雞用牛刀了，可以試試 Meilisearch 這種小型的
，你們應該會快樂很多，也不用懂那麼多20F 01/15 18:36
點殺雞用牛刀了，可以試試 Meilisearch 這種小型的
，你們應該會快樂很多，也不用懂那麼多20F 01/15 18:36
→ : 其實你可以善用 chatGPT 應該可以有簡單的理解。也可以嘗試自己架 elasticsearch，應該還不需要寫到 code，除了匯大量資料以外23F 01/15 18:37
→ : 這是pm責任嗎？26F 01/15 19:00
噓 : 連問題都說不清楚 這PM27F 01/15 19:07
推 : 看你說明是想要用天空樹也搜尋到晴空塔之類的，那就是同義詞
然後再來針對搜尋的關鍵字去做中文、英文分詞，資料入庫時就會去做索引，再加上個英文大小寫或是簡繁的 filter，後面再記錄一下搜尋熱門關鍵字，去維護 dict 或是 synonym28F 01/15 19:37
然後再來針對搜尋的關鍵字去做中文、英文分詞，資料入庫時就會去做索引，再加上個英文大小寫或是簡繁的 filter，後面再記錄一下搜尋熱門關鍵字，去維護 dict 或是 synonym28F 01/15 19:37
推 : 這問題有說不好嗎？好奇33F 01/15 21:00
→ : 感覺也沒到不好 就不足以判斷問題在哪裡吧34F 01/15 21:26
推 : 用json dsl組full text search理論上會得到你要的東西才對,如果還是不行，那就是分詞問題，比較不好處理喔35F 01/15 22:04
→ : 他問題不是同義詞，而是搜尋的結果差強人意
這東西很主觀
這不太適合新手寫..38F 01/15 23:46
這東西很主觀
這不太適合新手寫..38F 01/15 23:46
推 : 你家工程師該煩惱的事丟給你在煩惱快跑ㄅ41F 01/16 06:17
→ : 先定義一個分數來表示「糟糕程度」再來根據分數做調整這個分數要跟你們商業上的需求一致42F 01/16 08:08
推 : 這發文，大概連怎樣評價搜尋引擎的指標都不懂吧，只靠感覺。做PM啊，先去了解一下怎麼樣量化自己產品的品質水準。1.先學搜尋引擎常見評價指標。2. 根據自己產品，選擇適合的指標(別硬抄網路上的)3. 設計一個上線前，必需測過的多個測試案例。評價測試案例得到的分數。4.針對沒過的案例，再來與技術人員討論，這個案例怎麼改善。沒這流程，只會造成搜尋引擎改了A，卻產生新的Bug或副作用而已。
不要靠"感覺"或"單一case"來決定好壞。硬是解決了一個case，只常會造成其他case變差。44F 01/16 08:10
不要靠"感覺"或"單一case"來決定好壞。硬是解決了一個case，只常會造成其他case變差。44F 01/16 08:10
推 : 推樓上，做任何事情前最重要的就是先把 metric 訂好53F 01/16 09:01
噓 : 實作結果與需求不符，怎不直接打回去重弄就好了?
能優化的都做了 => 結果很爛 = 沒做54F 01/16 10:07
能優化的都做了 => 結果很爛 = 沒做54F 01/16 10:07
推 : ....我覺得語氣沒不好。大家壓力好大...56F 01/16 11:12
推 : 遇到鳥PM大家火氣都很大57F 01/16 11:39
推 : 先確認一下，是 ElasticSearch 7 還是 8 呢？58F 01/16 12:41
--
作者 DOC 的最新發文:
- 58F 12推 3噓
- 31F 8推
![]()
疫情結束的這一年終於又開始出國了，因為偏好無腦刷，所以比較常用的卡包含花旗鈦金 卡 （現在變成星展了）、聯邦賴點卡、富邦J卡。 雖然信用卡可以找到無腦神卡（爐主年年換），但是訂房網的花樣太多，要找到 …99F 44推 1噓![]()
推一下兩年前的舊文 XD 今天看到line旅遊再推booking訂房13%點數回饋，睽違多年的高回饋 傳送門：99F 34推 4噓
點此顯示更多發文記錄