データサイエンス
最近エンジニアやプログラマーはIT業界にお金が流れている関係でそこそこ人気。でも物事が複雑になりすぎて「どんなスキルが必要なの？」とか「どれくらいの習熟が必要なの？」みたいなところまで複雑になっている気がします。データサイエンスなんかもまさ…
先輩がlambdaなるものをコードで書いていて「なんじゃこりゃ？」と思って調べました。どうやら無名関数というものらしいです。こちらが簡潔に書いてあって概要は掴めます。qiita.com そのまま引用させていただくと、無名関数だけあって書くのは楽に見えます…
今回はデータサイエンスのエントリです。自然言語処理を勉強し始めたんですが、これが中々奥が深く、ちょこちょことメモがわりに書くことにしました。自然言語処理というのはざっくり言えばテキストをあるルールで分類し、そこから何かしらのインサイトを得…
文書を分割する際にnltkを使用したのですが、まあ案の定うまくいかなかったのでメモ。 from nltk import tokenize train['sentense'] = train['text（カラム名）'].apply(lambda x: tokenize.sent_tokenize(x)) で以下のエラーメッセージ。``` LookupError: …
2003年にデータの洪水という言葉が使われてから早20年。 そろそろデータサイエンスの知見が溜まってきたので（人類的に）、ここいらで歴史を振り返りたいなと。というのも、私自身がデータサイエンスの世界に放り出された身なので、データサイエンスがどのよ…
仕事でARIMAモデルを使ってことあるのに、ろくにトレンドとか意識していなかったので反省を込めてメモ。 時系列のトレンドを超ざっくり言うと、時系列に長期的な変化のこと。増加傾向は年々多くの人がその対象を知るようになり、市場が拡大していることの影…
「データ解釈学」という本が面白いんですが、ちょっとずつ読んでいるのでメモしていきます。分析者のためのデータ解釈学入門 データの本質をとらえる技術作者:江崎貴裕ソシムAmazonというのもデータ解釈や理解の力は・そもそも分析前後で大切。・しかしその…
良いか、SQLという言語はなぁ、、 FROM ↓ JOIN ON ↓ WHERE ↓ GROUP BY ↓ HAVING ↓ SELECTの順で動くんだ！これが原理原則だ！！これを腹落ちするまで理解できないと、休日を返上する羽目になるんだ。。
2021年は健康面で大変でして。 更新頻度が落ちていたんですが、理由は健康だけでなくkaggleにも参加していたからでした。ようやく１つサブミットできたのでその辺の話でもと。 実はkaggleには参加していた 昨年の目標にkaggleをあげていたんですが、これが中…
今回は意外に語られていない（？）テストデータの分割についてのメモです。「特徴量エンジニアリングは終わりがないし、初心者なのでとりあえずモデルに入れてみたい！」とは思うものの、モデルにどうやって入れれば良いかがわかりませんでした。どのタイミ…
どうも、２回目のワクチン接種で寝込んだ男です。ピロリ菌にやられ、ワクチンにやられ、引越しの準備が迫り、仕事はコミュニケーションミスで捗らずと散々な日々を過ごしております。コミュ障は、、ピロリ菌が片付いたら本格的に心療内科に相談しよかな。。…
なんか偉そうなタイトルですいません。SQLとはデータサイエンティストやデータアナリストなどの職種では必須のプログラミング言語です。そこについて知識と経験が溜まってきたのでここいらでその辺りを紹介します。 初心者でSQLの本を探している人本の中身が…
データをみる上で怖いもの。それは、、、、欠損です！ というわけで今回は欠損について思うことをメモします。プログラミングの話なのでご了承ください。 データの欠損とは データの欠損には大きく２つあります。それは一部が欠けているものとレコードそのも…
以前にもちょろっと取り上げたんですが、kaggleという技術コンペがあります。 Kaggle: Your Machine Learning and Data Science Community 今まで実務で忙しかったんで後回しにしていたんですが、退職して時間に余裕ができたんで登録してみました。kaggleの…
というわけで不定期になってしまった小ネタ集です。www.mathlikeb.com www.mathlikeb.com 今回も３つほどどうぞ！ 買い占めに走る人はこんな性格 作家の橘さんのブログでは「神経質な人が買い占めてしまう！」という内容が紹介されていて学びになりました。h…
不定期となってしまった小ネタ集。今回はAI関連にしぼって紹介していきます。 データサイエンスとデータエンジニアの違い 以下の記事では「データサイエンスってなんぞや？」について調べられたことが書いてあります。サクッとしてて良いです。https://www.y…
今回はこんなテーブルを考えます。create table quest (id varchar(5), time timestamp,quest_id varchar(7), win integer);quest_idは良くあるクエスト1-3とか。winはそのクエストが成功すれば１、失敗すれば０。入力データはこんな感じ。select * from que…
このような２つのテーブルがあったとします。テーブル名：master + id install_time delete_flg + 1 2016-03-19 15:45:00 0 + テーブル名：login + id login_time + 1 2016-03-19 15:50:00 + 両者にはuser_idが共通しています。これらから登録と、ログイン日…
と言っても今年は論文、本、ともにほとんど読めてません笑。仕事が変わったので、ほとんどはコーディングとにらめっこでした。まあそれはそれで楽しかったんですけどね。 そんな背景の人が選んだので、流行の本ではなく仕事からみが大半ですねー。 働き方2.0…
ちょこちょことデータベース、というかpostgresqlのことを書いております。 その時も、いちいち年月 ’12’とか手打ちしていたわけです。まあブログで書くぐらいなら問題ないのですが、これを実務でもやっておりました笑。 開発にはテストが必須！！ 基盤にし…
今週はプログラミングばかり３つほど。どれもいかにも小ネタ！って感じです。 Kaggleってどうなん？ Kaggleといえば、グーグルさんが提供しているオンラインサービスです。とはいえ私なんかはそれ以上のことは知らず、いわんや使ったことなどありません。し…
データを出し入れする際にはSQLというプログラミング言語が主流です（その中でも大体はMySQLかPostgreSQL）。データを出し入れするときにはSELECT FROM A, INSERT INTO B()...でAというデータベースから選んだり、Bというデータベースに入れたりできます。 …
時系列の本で紹介されるのが、みんな大好き沖本本。経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る …
意外と人気なこのコーナー。当ブログの本筋とはちょこっとずれるので、自分でもよく続いてるなーと笑。今週は特にテーマを設定せずに教育やらデータサイエンスやらを３つほどです。www.mathlikeb.com www.mathlikeb.com 頭のいい子が持つ７つの特徴とは？ こ…
毎度記事を３つほど選んでお届けしてます。 www.mathlikeb.com 今回はデータサイエンス関連で３つほど。 データサイエンティストの収入は住む場所によって決まる？ 「年収はすむ場所で決まる」という本はありますが、データサイエンティストの世界でも相関が…
日本人が数学、特に統計学の勉強に時間を費やすのは、とにもかくにも正解欲しさのためです。もちろん統計を勉強していた方が就活には有利だからもあるでしょうし、金融のデータ分析などができれば億単位の金が稼げるからもあるでしょう。しかしそういった些…
毎回きになるニュースをまとめている当ブログ。 www.mathlikeb.com www.mathlikeb.com 意外に人気なので続けています。今週も３つのことをご紹介。 まだまだ家事は女性の仕事 イギリスで8500組のカップルを調べたところ、９３％の女性が家事を多くやっている…
タイムラインにあがってきたのでシェアします。 著者はもともとジャーナリストだったそうで、そこからデータサイエンスに目覚めた経歴の持ち主。ジャーナリストは(おそらく海外でも)ド文系で、彼女も当時は理系に縁がなく、仕事でもWordを使うくらいだったみ…
とあるブログにて。 https://tjo.hatenablog.com/entry/2015/03/13/190000 この地上にDB（データベース）を持たないデータ分析部門は存在しないと思ってほぼ間違いないので、DBを触れることはデータ分析のプロたり得るための最低条件と言っても良いと思いま…
こんにちは、書類が書けない男です。 皆様は書類が得意でしょうか？ 私といえば、大の苦手でして、最近は書類ごとが立て込んできて日々奮闘しております。昔は、博士論文の書類がことごとく赤ペンで書き込まれて真っ赤になったもんです。（遠い目） そんな書…
