コンペメモ（ベースラインモデルの完成）〜AI Mathematical Olympiad - Progress Prize 1③〜

以下のノートブックを参考にさせていただき、ベースラインモデルを作成しました。
https://www.kaggle.com/code/olyatsimboy/aimo-openmath-mistral-baseline

時間がかかったのが（やはり）環境設定でして、
・bitsandbytesのインポート（使ったことなかった）
・ディレクトリの設定（input/output共に。いつもやり方忘れる）
あたりが鬼門でした。

コンペに不正があった関係？でまだ提出はしていないものの、CSVはいつでも提出できる状態にはなってます。

　しかしながら、、、、

「写経してても何やってるかさっぱり分からん」

といういつもの状態になりました笑。

一応アルゴリズム的には、、

モデル定義
configでモデル設定
トークナイザーの定義
モデルのロード
LLMモデルにテキストを生成させるための例の作成
与えられた文字列（answer）から数値を抽出
問題文を処理して解答を生成し、解答をanswersに追加

となっております。LLM初めてなので今の自分の状態を包み隠さず書くと

「特徴量いじったり前処理考察したりないのか、、、」
「この後の戦略立て辛い」
「生成された答えは一応合ってるが、説明できない」

といった感じ。さてこの後どうしようかな

加筆予定〜MCMCとpystan〜

最近更新が遅れてPVがダダ下がりしてまして。

どうせ下がるならMCMCみたいなややマニアックなもの書いていこうということでメモがてら書いていきます。

MCMCの歴史

　MCMC (Markov chain Monte Carlo) は、確率分布からサンプリングするための計算手法で、広く使用されているベイズ統計学やコンピューターシミュレーションの分野で利用されています。マルコフとモンテカルロで分けて説明します。

モンテカルロ法

推定するためにランダムサンプリングを用いるアルゴリズム

面積とかの推定だと、ランダムに点打って、領域に入るか入らないか

ランダムなので値の収束が遅いという欠点がある。

マルコフ連鎖

次の状態へ遷移する確率が前の確率によらないときマルコフ的という。

マルコフ連鎖を考える上で、値が収束してそこから動かないでくれる（**定常分布**）のが理想。

定常分布**は「一度その状態に入ったら、ずっとその状態であり続ける」ような分布です。

https://mathwords.net/teijobunpu

定常分布に収束するためには、当たり前だけど

1. 定常分布が存在すること
2. 定常分布が一意であること

がないことが必要です。この十分条件がそれぞれ

1. 定常分布が存在すること（詳細つりあい条件）
2. 定常分布が一意であること（P(x'|x)がすべてのx,x'について正）

となっています。

詳細つりあい条件を保証する一般的な方法はメトロポリス-ヘイスティングス（Metropolis-Hastings）のアルゴリズムです。このアルゴリズムは、確率分布からのサンプリングを行うことができるもので、今日ではMCMCの基本的な手法として広く知られています。

　その後、MCMCは1980年代になるまであまり注目されませんでしたが、コンピュータの高速化に伴い、MCMCの使用が広がっていきました。大体1000〜2000とかのデータは捨てるとかあったので、計算量がとても膨大なのが原因です。

　1990年代に入ると、ベイズ統計学の台頭により、MCMCの利用がさらに増加し、統計学やデータ解析において重要な手法となりました。

現在、MCMCは様々な分野で利用されており、ベイズ推論や統計学、物理学、生物学、経済学、機械学習など、広範な分野で応用されています。

stanの基本構造

　stanはデータ、パラメーター、モデル（尤度や事前分布）でできています。

〜
data {
	int N;
	real Y[N]
}

parameters {
	real mu;
}

model {
	for (n in 1:N) {
		Y[n] ~ normal(mu, 1);
	}
	mu ~ normal(0, 100);
}
〜

最低限のルール
1. インデントは必ずする
2. データをあらわ表す変数の先頭の文字を大文字にし、パラメータを表す変数の先頭の文字を小文字にする
3. 各ブロックの間は1行空ける
4. 変数名はcamekCase(単語の区切りが大文字)ではなくsnake_case(単語の区切りがアンダーコア)にする
5. 「~」(確率的な生成)「=」(代入)の前後は1スペース空ける

手書きメモとPCメモ、どちらが成績に良いかを調べたらちょっと意外な結果になった。

　パソコンとかでメモとかするじゃないですか。特に最近はメモアプリもたくさんあり、ペーパーレス化も進んでますよね。私なんかはまだまだ紙も使っていきたい派なんでちょっと肩身が狭くなっております。

　そんな中でデジタルでのメモは手書きと比べてどうなの？というところを調べてくれた研究があったのでご紹介します。

手書きとデジタルで記憶と応用問題を比べてみた

　等研究は、かの有名なプリンストン大学の学生67名が対象。被験者はメモの取り方には特に指示を出さずにランダムに手書きノート派、ラップトップメモ派に振り分けられ、

１.TEDの動画を視聴（見たことがないマイナーなやつ）

２.３０分間の認知問題（脳に負荷をかけるため）

３.動画に対するテスト

の順に実験参加しました。手書きかデジタルで動画に対する記憶力や応用力（動画の内容を応用した問題）にどういう違いが見られるかを調べたんですね。

　で結果はというと、、

・手書きかデジタルでは動画に対する記憶に違いは見られなかった。

・一方で応用的な問題では手書きの方が有意に成績が良かった。

という違いが出たんだそうな。個人的には記憶にも違いが出るのかと思ったんですがそこは意外でしたねぇ。

　なぜ応用的な問題になると差が出たのか、という話なんですが、ここは明確には答えが出なかったんですが、両者にはメモの内容に違いが出ていました。それはデジタルにメモを残したグループは逐次的メモが多くなったそうです。つまり、デジタルはコピぺができるので、同じ内容を重複してメモに残す傾向があり、手書きは書く労力が大きいので要約する傾向があるようです。手書き派はその要約していく過程で理解が深まったのかもしれません。

まとめ

　と言うわけで今回は「メモのデジタル化は場合によっては良くないんじゃない？」と言うお話でしたー。とはいえペーパーレスが便利すぎるので悩ましいところではあります。上記のことを踏まえるなら、手書きで内容を整理してからデジタル化していくというのが折衷案になりましょうか。。コピペはほどほどにですねぇ。

参考
https://pubmed.ncbi.nlm.nih.gov/34323150/

８週間のアレで頭が良くなる！と言う研究結果。

その昔、脳の実行機能について書いたことがありましてね。
www.mathlikeb.com

　
ざっくり言うと行動を制御したりする脳の機能なんですが、これが高まると頭が良くなります。一説ではワーキングメモリーよりも知性との相関が見られたり。

https://www.mathlikeb.com/entry/2018/12/25/163000

以前の記事ではこの機能を高めるのに緑茶、くらいしかあげてなかったのが恐縮だったんですが、この度「ヨガがいいよ！」と言う記事を見つけたのでご紹介。

８週間で爆上がり！

　調査はカーナギーメロン大学がおこなったもので、失業中で高ストレスのある人たち３５人を対象に行われました。被験者はランダムに半々に分けられて、片方には普通のリラクゼーション、もう片方は

ヴィパッサナー瞑想
歩行瞑想
マインドフルイーティング
ハタヨガ

をおこなったそう。結構がっつり。

　軽く触れておくと、ヴィパッサナーは実況中継とも言われ、座禅しながら「今〜を考えた」みたいに思考を随時拾っていくもの。歩行瞑想も近いのですが、これはゆっくりと歩きながら「今右足が地面に着いた」などと瞑想します。マインドフルイーティングはそれを食事に応用したもので、ハタヨガはあの複雑なポーズをとるやつであります。

　これらを８週間おこなたところ、リラクゼーショングループよりも実行機能が優位に高まっていったんだそうです。

まとめ

　
　と言うわけで今回は瞑想＋ヨガで実行機能がアップだ！と言うお話でした。自宅待機時にはかなーりよろしいのではないでしょうか。特に失業中の方も、めげずにやってみることをお勧めします。
　やり方はパレオさんの方が詳しいのでこちらをご参照ください。

瞑想をスタートするために必要なすべての知識をまとめてみたぞ | パレオな男

参考
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5489372/

誰にでもやれる、科学的に推論力を高める方法とは？

　流体知性というのを取り上げている当ブログ。
www.mathlikeb.com

これまでも推論力としてこちらを取り上げていたんですが、最近はこちらがちょっとおざなりでした。あんまり研究されていないようなんですよねぇ。(探していないからかも)

　とは言え、この推論の力を鍛えると数学も伸びるよ！ってことで以前も紹介しておりました。
www.mathlikeb.com
個人的にも、「これだけ知識が得られる時代なんだから、差がつくのは推論だよなぁ」と思っております。

　そんな中、「有酸素運動で流体知性が爆上がり！」という研究が出ましたので今回はこちらをご紹介。

有酸素とNバックが効く！

　調査は脳卒中になった52人の患者をランダムに選んで行われました。被験者は４つのグループに分けられ、

中程度の有酸素運動+認知トレーニング
中程度の有酸素+ゲーム
普通の活動+認知トレーニング
普通の活動+ゲーム

という活動を行ってもらったんですね。ちなみに、これらの内訳は

中程度の有酸素運動→Max脈拍数の60～80%でトレッドミル

認知トレーニング→デュアルNバック

活動→マッサージや座り方改善などの半リハビリ

です。これらを１日50～70分で週3回行ったようです。

www.mathlikeb.com

一見どれも脳には良さそうなものたちですけれど、結果は

中程度の有酸素運動+認知トレーニングのみが有意に流体知性のスコアが向上したそうです。その値は、なんと5割り増し！
一方で、活動+ゲームは流体知性が減少してしまったんだとか。

　これは中々示唆的でして。まず、以前にトレッドミルの話を書いたんですが、あのときは結果があんまりパッとしなかったんですよね。

その時に足りなかったのは、中程度の負荷という観点だったのかなと。それから、デュアルNバックでも推論が大きく鍛えられるのもよい話。推論トレーニングってあんまりないもんですから。

まとめ

　
　というわけで、「頭が良くなりたいならちょいきつい有酸素運動とデュアルNバックが効くよ！」というお話でした。試験は12週だったんで、なんとか続けたいところですねぇ。まぁどちらも厳しいですが。

参考
https://journals.sagepub.com/doi/full/10.1177/1545968319832605

○○○○力を鍛えると頭が良くなる！という研究。

　当ブログではやたら実行機能を推しています。これがうまく機能するほど、語学や数学にいい影響をおよぼすもんで。

　そんな中、池谷裕二さんのツイッターで

「バランス力をきたると記憶力や空間認知能力が高まる」

と紹介されてました。「これは！」と思ったので、この論文を今回はご紹介します。

片足立ちが効く！

　研究はドイツで行われたもので、１８歳から６５歳の男女７０人の健康な人が対象。

参加者は事前にバランステスト、心肺機能、認知テストや空間テストなどを受けてもらい、その後

週２回、１回につき５０分のトレーニング

を受けてもらいました。被験者はランダムに振り分けられ、

・片方はバランストレーニング

・もう片方はリラクゼーショントレーニング

を受けてもらうことに。リラクゼーショントレーニングは、ストレッチに近いようで、筋肉の緊張をほぐしたり、呼吸を整えたりなどがメイン。バランストレーニングが今回の肝なんですが、

・片足立ちで２０秒間動かずにいる。（手は腰に当てて動かさないように）

・時には両目（あるいは片目）を瞑る。

・その状態で腰にロープを巻いて、軽く引っ張ってもらったり。

なんかで鍛えたようです。なんか楽しそうですね笑。

　結果は御察しの通り

・リラクゼーショングループに比べて、バランスグループは確かにバランス力が向上した（ただし、心肺機能は高まらなかった）

・バランスグループは記憶力が改善し、空間認知能力も高まった。

という嬉しい結果に。１回５０分バランスだけを鍛えるのはちと辛いかもですが、意識して少し取り入れてみるのは大いにアリじゃないかと。

まとめ

　というわけで、バランス力を鍛えれば頭良くなるかも、という研究結果でした。ただコメントがあります。それは、リラクゼーションが意味ないわけではありませんということ。有酸素運動は実行機能に効くというデータもあるのでそこは辞める必要はないと思います。また、以前に指摘したんですが、「足腰が鍛えられたから数学の能力高まったんじゃね？」という感想もあります。

www.mathlikeb.com

何れにせよ、足腰やバランス感覚はいつまでも養っていきたいですね。

ヨガでももうちょっとやろうかしら。

参考

https://www.nature.com/articles/s41598-017-06071-9

下線を引くと、考える力が落ちる、、、

　本を読むときに線を引きますか？

これに関しては、結構その効果は否定されているんですが、よくよく調べると、

「推論に関する問題において正答率が落ちる」

とまで言及されていたんでビビりました。

　紹介する研究では被験者は教育学専攻の学生で、学生に１万語の歴史の本を読んで試験を受けてもらったそうです。本は９０分の間読まされて回収します。

被験者はいつものごとく「線を引く」「線を引かない」グループに分けられて試験を受けるのですが、公平を期すため

1.９０分読む

2.本を回収

3.１週間後に試験、その際、前に配った本を１５分レビューして良い

4.その１週間後、今度はレビューなしで試験

の手順で調査は行われました。ちなみに試験の内容は、内容一致（記憶テスト）が半分に、推論が半分でした。

　でこの結果はというと、

下線を引くグループは、推論の方で低いスコアになってしまった

とのこと。（記憶は差が無し）歴史の本で推論というのはやや恣意的な気がしますが、本に線を引くことで考える力が低下してしまうのは考えものですな。この原因は研究者の

「線を引くことで、推論に必要な前後関係よりも個々の概念に注意がいってしまうからだ」

という答えが的を得ている気がします。

まとめ

　というわけで今回は「下線を引きながら本読んでもしょうがないかもよ」という研究でした。書いている私もついつい線を引いてしまいますが笑笑、どうぞご参考までに。

参考

https://journals.sagepub.com/stoken/rbtfl/Z10jaVH/60XQM/full

ノートをとったり授業を聞いたりすることより効果のある勉強法とは？

　自己説明ってすごいんですよ。

人に説明するのって、因果関係を整理しなくて胃はいけないし、何が主観で何が事実なのかも区別する必要があります。

我が身を振り返っても、論文を説明することで改めて勉強になったりするもんです。

　実際、この自己説明（self-explanation）がどれだけすごいのかを調べた調査があります。今回紹介するその論文は、６９の論文が精査され、その被験者の数は５９１７人。かなり大規模に調べたメタ分析。

この結果、

・学校のレベルは関係なく上がる！

・多くの研究は北米やヨーロッパだったが、効果量は東アジアの方が大きい！

これに加えて、

・教員が一方的に授業するよりも効果が高い！

・ノートをとるよりも効果が高い！

なんて言う結果に。

　これだけだと、「教師オワコン説」がまた浮上してしまうのですが、研究者曰く

「自己説明について報告された利益のかなりの部分はインストラクター提供の説明から交互に利用可能であるように思われる。」

とのこと。教員ありきですよ、と。その意味では一緒に対話していくことが大切ですね。

　またアジアの方が効果が大きい理由として

「アジアの授業って、教科書中心だからかも」

と解釈しております。この辺はぐうの音が出ない。

まとめ

　ともあれ、自分で説明することはカナーリ大切。数学であれば

・定義が出てきたら、その意味を数式でなく言葉で説明する。

・定理を使う時は、なぜその定理が使えるのかの理由も説明する。

というところ。激しくおすすめであります。

参考

Inducing Self-Explanation: a Meta-Analysis | SpringerLink

ワーキングメモリーよりも知性に相関のある能力とは？

　ここ最近はワーキングメモリーやら推論能力やらを取り上げておりました。

もちろん、どちらも大切で、鍛えておくことに越したことはありません。

（私自身はワーキングメモリーを鍛えたおかげで、記事の書くスピードは上がりました。）

　ですが、

「結局何が一番効くの？」

というのは結構難しい問題でして、ごにょごにょしてしまします。というのも、論文によって

「ワーキングメモリーと推論には０、７の相関（めちゃくちゃ高い）が！」

「メタ分析ではワーキングメモリーと知性の相関は０．３くらい」

なんてありさまで、お互いの相関がはっきりとは決着が付いていないんです。

　そんな中ではありますが、今回は

「ワーキングメモリーよりも実行機能の方が知性に関係あるんでない？」

というお話をば。

（実行機能については以下の記事もどうぞ。）

mathlikeb.hatenablog.com

mathlikeb.hatenablog.com

　参加者は全員が大卒以上の航空交通管理訓練コースの学生２２９人。複雑で多くのタスクがいる職業を選んだんですね。対象者にはいつものごとく

・知能テスト（マトリクス訓練に近いもの。推論力も吐かれる）

・実行機能テスト（最後に紹介）

・ワーキングメモリーテスト

をそれぞれ実施して比べました。

その結果、

・ワーキングメモリーと知性との相関は０．２から０．３３の間。

（これは前回までとほぼ同じ）

ところが、

・実行機能と知性との相関の方が、ワーキングメモリーと知性の相関よりも高かった！

・その相関は、知能テストが難しくなるほど強くなった！

（ワーキングメモリーは特に変わらず）

とのこと。つまり

「実行機能の方が大事なんじゃない？」

という結果が出たんですな。

まとめ

というわけで、「実行機能大事だよー」というお話でした。最後に実行機能の訓練ですが、「ハノイの塔」というのが定番です。スマホゲームでハノイの塔と検索すれば手軽にダウンロードできるのでぜひ遊んでみてください。

このほか、ビタミンD、運動（１５分）、ヨガ（２５分）などが効くみたい。こちらもどうぞ！

エクササイズで不安や鬱を減らし、ポジティブな感情を増やすための科学的ガイドライン | パレオな男

スタンディングデスクを24週間使うと頭がグンと良くなるらしいぞ | パレオな男

「ヨガ VS. 瞑想」1日25分で脳に良いのはどっちだ？みたいな実験 | パレオな男

参考

Fluid intelligence, working memory and executive functioning. - PubMed - NCBI

推論力をアプリで高めよう！な話。

　「推論トレーニングってなによ！」

っていうのを調べていたんです。ずっと笑。

　で行きあたったのが、マトリクス推論。図形を予測する、あれです。

　これはもう１９６０年代から変わらないみたいなんですね。それもどうなんだとも思うのですが、これと数学の能力に相関が出るなら、、、背に腹は代えられませぬ。

　前回の参考文献では、１回２５分を週５日で爆あがりだったんで、そのくらいを目安にどうぞ！

DNBも忘れずに〜

参考

Rhode Island Youth Suicide Prevention Project