✨✨ Elasticearch+Sudachiの記事に検索精度向上の修正を追記しました。ひとまず完成です。kuromoji の人も 6 のところだけやると改善が見込めるんじゃないかな。
マストドンの全文検索に形態素解析器 Sudachi を導入 https://kurage.cc/blog-sudachi/
赤いクラゲのシーズンは漁師と地元の人々に喜びをもたらす Red jellyfish season brings joy to fishermen and locals https://www.thestar.com.my/metro/metro-news/2018/10/12/red-jellyfish-season-brings-joy-to-fishermen-and-locals/#6r991hyM3gkl7MMS.99
先月も記事がありましたがマレーシア・カリマンタン島ラジャン川の河口にあるブルイト島。モンスーンで赤いクラゲが豊漁。地元では umai obor-obor (クラゲの寿司) と呼ばれる料理を好んで食べる。クラゲと玉ねぎ・ライムなどをチリソースで和えたもので、米と一緒に食べると美味だとのこと。
全文検索の精度が良くなったので検索結果を今までの100件から500件表示するように変えてみました。こりゃ重いですねww
加茂水族館 :fb: タコクラゲ https://www.facebook.com/JFAQUARIUM/posts/1950765581666761
タコクラゲの水玉模様は体を堅くする骨格のようなもので、補強材の役目を果たしているのだそうです。知らなかった~
Elasticsearch+Sudachi の連携、邪魔なノイズが出なくなったのでとりあえず完成とします🎉 search_service.rb の31行目のmulti_matchクエリをやめて普通のmatchクエリに直すだけのことでしたが知識が足りずえらく時間がかかりましたorz
あとで記事に追記します
【おしらせ】メンテ終わりました
● 最新master(ef43f1d)まで 5 commits 追従
● クラゲ丼インスタンスをMastodon 2.5.2 にバージョンアップしました
できた…… コンソールからはこれでノイズのない検索になると思う
# curl -XGET 'localhost:9200/statuses_インデックス名/_search?pretty' -H 'Content-Type: application/json' -d '{"query" : {"bool" : {"must" : [{"match" : {"text.stemmed" : {"query" : "キーワード", "operator" : "and"}}}, {"term" : {"searchable_by" : アカウントid }}]}}, "sort" : {"created_at" : {"order" : "desc" }}}'
@Bal_Ballard クエリを「見る」「見た」「見て」と変えるとtextのほうはヒット数が微妙に増えたり減ったりしますがいつも多い。stemmedのほうは少ないまま変わらないです。つじつまが合いますね
textフィールドにトゥート本文が入っていてtext.stemmedにanalyze後の形態素が入ってるんじゃないのかな?
textフィールドをを対象に「見る」で検索するとヒット数 24万件。text.stemmed を対象にすると21万件に減る。この差は何なんだろう。analyzeすると活用形が原形になるから増えると思ったのだけど
スペインのコスタ・デル・ソルで80トンのクラゲを回収 Eighty tonnes of jellyfish netted on Spain’s Costa del Sol https://www.euroweeklynews.com/2018/10/10/eighty-tonnes-of-jellyfish-netted-on-the-costa-del-sol/
スペイン・アンダルシア州。今夏、清掃船がクラゲなどの生物を80トン、プラスチックゴミを90トン回収。昨年はそれぞれ1.2トン、4トンで、今年は大幅に増えたとのこと。クラゲが増えたおかげで清掃の予算がついたってことなのかな。
トップセール島のサーフシティビーチに打ち上げられたギンカクラゲ Blue button jellyfish washing ashore on Topsail, Surf City beaches http://www.wect.com/2018/10/10/blue-button-jellyfish-washing-ashore-topsail-surf-city-beaches/
米国ノースカロライナ州。ハリケーン「マイケル」の突風で多数のギンカクラゲが打ち寄せられたとのこと。