Python for Natural Language Processing
Isao Goto · The Journal of The Institute of Image Information and Television Engineers · 2018
には numpy が，深層学習には TensorFlow, PyTorch, MXNet, Chainer などが利用できます．このため Python は簡単な文字列処理から深層学習を用いた複雑な処理に至 るまで自然言語処理で広く利用されています． 本稿では Python を使ったことがない人を主な対象とし て，Python のインストール方法，文字列処理の簡単なプ ログラム例，および外部ライブラリーを用いた Web ペー ジの取得例と英語の文分割例を説明し，深層学習を用いた 機械翻訳の Python プログラムの利用例を紹介します．な お，Python は，Linux, MacOS, Windows で動作可能で すが，本稿では，Linux や MacOS のターミナルで標準的 な bash 環境でのコマンドでの操作 (プロンプトは%で示 します) を説明します ＊ 1 ．また，文字コードは UTF-8 であ ることを前提とします． 2．インストール 複数のバージョンの Python を切り替えて利用できたり， 同じ Python のバージョンでもインストールするライブラ リーなどの環境を切り替えて利用できると便利です．これ を実現するツールとして pyenv とそのプラグインである pyenv-virtualenv があります．これらを使ってターミナ ルの bash 環境にて Python 3.6.6をインストールする例 を示します． ここまででインストールと環境の作成が完了です．ここで 用いている py-3.6.6 は環境につけた名前です．作成した 環境 (py-3.6.6)を呼び出して使うためには，次のコマン ドを実行します． これによって，このシェルで python コマンドを実行する と，バージョン 3.6.6の python が呼び出されるようにな ります ＊ 2 ＊ 3 ．