tootlog

ぜま🦊クラゲ丼鯖缶 [email protected]

✨✨ Elasticearch+Sudachiの記事に検索精度向上の修正を追記しました。ひとまず完成です。kuromoji の人も 6 のところだけやると改善が見込めるんじゃないかな。

マストドンの全文検索に形態素解析器 Sudachi を導入 kurage.cc/blog-sudachi/

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

赤いクラゲのシーズンは漁師と地元の人々に喜びをもたらす Red jellyfish season brings joy to fishermen and locals thestar.com.my/metro/metro-new
先月も記事がありましたがマレーシア・カリマンタン島ラジャン川の河口にあるブルイト島。モンスーンで赤いクラゲが豊漁。地元では umai obor-obor (クラゲの寿司) と呼ばれる料理を好んで食べる。クラゲと玉ねぎ・ライムなどをチリソースで和えたもので、米と一緒に食べると美味だとのこと。

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

全文検索の精度が良くなったので検索結果を今までの100件から500件表示するように変えてみました。こりゃ重いですねww

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

加茂水族館 :fb: タコクラゲ facebook.com/JFAQUARIUM/posts/
タコクラゲの水玉模様は体を堅くする骨格のようなもので、補強材の役目を果たしているのだそうです。知らなかった~

ぜま🦊クラゲ丼鯖缶 [email protected]

@Bal_Ballard おかげさまでtextフィールドをクエリから除外しただけで検索結果が劇的に改善しました。ありがとうございました

ぜま🦊クラゲ丼鯖缶 [email protected]

Elasticsearch+Sudachi の連携、邪魔なノイズが出なくなったのでとりあえず完成とします🎉 search_service.rb の31行目のmulti_matchクエリをやめて普通のmatchクエリに直すだけのことでしたが知識が足りずえらく時間がかかりましたorz
あとで記事に追記します

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

【おしらせ】
全文検索機能のメンテを行っていたため断続的にサーバーダウンしまして失礼しました。作業完了しました

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

【おしらせ】メンテ終わりました
● 最新master(ef43f1d)まで 5 commits 追従
● クラゲ丼インスタンスをMastodon 2.5.2 にバージョンアップしました

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

おはようございます 18.7℃ ☁️ 中潮(8時満潮→14時干潮→19時満潮)
サーバーメンテします

ぜま🦊クラゲ丼鯖缶 [email protected]

さっきのをRuby(?)にするのができない

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

【おしらせ】サーバーメンテしました
● 最新master(e6c0117)まで 7 commits 追従

ぜま🦊クラゲ丼鯖缶 [email protected]

できた…… コンソールからはこれでノイズのない検索になると思う
# curl -XGET 'localhost:9200/statuses_インデックス名/_search?pretty' -H 'Content-Type: application/json' -d '{"query" : {"bool" : {"must" : [{"match" : {"text.stemmed" : {"query" : "キーワード", "operator" : "and"}}}, {"term" : {"searchable_by" : アカウントid }}]}}, "sort" : {"created_at" : {"order" : "desc" }}}'

ぜま🦊クラゲ丼鯖缶 [email protected]

@Bal_Ballard クエリを「見る」「見た」「見て」と変えるとtextのほうはヒット数が微妙に増えたり減ったりしますがいつも多い。stemmedのほうは少ないまま変わらないです。つじつまが合いますね

ぜま🦊クラゲ丼鯖缶 [email protected]

@Bal_Ballard おー!ありがとうございます。たいへん参考になります

ぜま🦊クラゲ丼鯖缶 [email protected]

textフィールドにトゥート本文が入っていてtext.stemmedにanalyze後の形態素が入ってるんじゃないのかな?
textフィールドをを対象に「見る」で検索するとヒット数 24万件。text.stemmed を対象にすると21万件に減る。この差は何なんだろう。analyzeすると活用形が原形になるから増えると思ったのだけど

ぜま🦊クラゲ丼鯖缶 [email protected]

Elasticsearchの挙動がよくわからなすぎる

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

スペインのコスタ・デル・ソルで80トンのクラゲを回収 Eighty tonnes of jellyfish netted on Spain’s Costa del Sol euroweeklynews.com/2018/10/10/
スペイン・アンダルシア州。今夏、清掃船がクラゲなどの生物を80トン、プラスチックゴミを90トン回収。昨年はそれぞれ1.2トン、4トンで、今年は大幅に増えたとのこと。クラゲが増えたおかげで清掃の予算がついたってことなのかな。

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

トップセール島のサーフシティビーチに打ち上げられたギンカクラゲ Blue button jellyfish washing ashore on Topsail, Surf City beaches wect.com/2018/10/10/blue-butto
米国ノースカロライナ州。ハリケーン「マイケル」の突風で多数のギンカクラゲが打ち寄せられたとのこと。

ぜま​:kurage_blue:​クラゲ丼鯖缶 [email protected]

おはようございます 22.5℃ 🌤️ 中潮(7時満潮→13時干潮→19時満潮)