自然言語処理

A collection of 3 posts
自然言語処理のDLの手法が色々ありすぎるのでちょっとだけまとめる【備忘録】

自然言語処理のDLの手法が色々ありすぎるのでちょっとだけまとめる【備忘録】

日付順です。自分は素人なので、とりあえず聞いたことあるよってやつだけ。 正確さは無視してます！！あくまで自分の備忘録なので、鵜呑みにしないでください！！！ 「AIcia Solid Project」さんのチャンネルをめちゃくちゃ参考にしました。 https://www.youtube.com/channel/UC2lJYodMaAfFeFQrGUwhlaQ 目次 * 1 word2vec * 2 Transformer * 3 ELMo (Embeddings from Language Models) * 4 GPT（Generative Pre-trained Transformer) * 5 BERT(Bidirectional Encoder Representations from Transformer) * 6 GPT-2 * 7 GPT-3 * 8 終わり word2vec 論文:Efficient Estimation of
5 min read
mroonga(MySQLで高速日本語全文検索)を導入してみた

mroonga(MySQLで高速日本語全文検索)を導入してみた

目次 * 1 導入経緯 * 2 結果 * 2.1 同一単語についてのクエリ時間(laravel) * 2.2 WordPressの方(両者トップページのみ) 導入経緯 mroongaというMySQL用のストレージエンジンがあります。かどで日記という独自サービスで日本語検索を使うにあたって、早くなるのか試してみました。環境はkusanagiです。 https://mroonga.org/ja/ なんとkusanagiだと kusanagi addon install mroonga で終わりです。衝撃の簡単さです…… Laravelのeloqunetで10単語(同じ単語だとキャッシュ効いて差がなくなるため)LIKE検索しました。 Laravel8,でEloquentを使用してSQLを生成 検索はwhere()->orderby()->take()->get()で、LIKE検索した結果を日付新しい順に最大200まで取ってくる処理です。 計測は  \DB::enableQueryLog();と
2 min read

Pythonで自分の日記を分析した話！

大学の講義で「実践データサイエンス」という講義がありまして、Pythonでのデータ解析を学びました。 その最終課題が「学習したことを用いて自由に行っていい」とのことだったので、自分の日記を分析することにしました。 べらぼうに長いので、詳しいことは良いから結果だけ見たい方は目次の「分析結果」まで飛ばしちゃってください！ 目次 * 1 背景と動機 * 2 実施方法 * 2.1 テキストデータ(日記)の下処理 * 2.2 文字数解析 * 2.3 テキストマイニング * 2.3.1 形態素解析 * 2.3.2 文章の自動生成 * 2.3.3 WordCloud * 2.3.4 感情の変化と分析 * 2.4 データ * 2.4.1
28 min read