エビデンスで教育を考えた

頭が良くなる科学論文を紹介していきます。お勧め商品は楽天ルームで!https://room.rakuten.co.jp/room_12b7a40f6d/items

自然言語処理でLookupErrorした

文書を分割する際にnltkを使用したのですが、まあ案の定うまくいかなかったのでメモ。

from nltk import tokenize

train['sentense'] = train['text(カラム名)'].apply(lambda x: tokenize.sent_tokenize(x))

で以下のエラーメッセージ。

```
LookupError:

*********************************************************************

Resource punkt not found.
Please use the NLTK Downloader to obtain the resource:
```

対処的にはnltkを使う際に別の環境を構築(ダウンロード)しないといけないっぽいです。

import nltk

nltk.download()#これ

このダウンロードをするとこんな画面が急に出てきます。

でダウンロードすればちゃんと通ります。以下分割前後。


参考

https://analytics-note.xyz/mac/nltk-download/(https://analytics-note.xyz/mac/nltk-download/)