マナビダコ

2018.03.11

Pythonで証券会社からスクレイピング(ログイン編)

何を基準に株を選ぶか

株の銘柄は日本だけでも数千の銘柄があり、その中から自分の買いたいと思う銘柄を探すために色々な指標が考えられています。例えば、テクニカルな指標であれば騰落率や平均線からの乖離など、株価のみから読み取れるものもありますが、株価収益率(PER)や株価純資産倍率(PBR)などのファンダメンタルな指標を加味して探したいと考えると、フリーアクセスのサイトでは物足りないことがあります。
そこで、証券会社の提供しているスクリーニング機能を使って目的の銘柄を探す方法を考えます。

この記事でしたいこと

証券会社のホームページにログインし、スクリーニング機能を用いて目的銘柄を抽出した後に、結果をスクレイピングによって取り出し、整形作業を行います。

まずはログイン

from time import sleep
from selenium import webdriver
from selenium.webdriver import ActionChains
import pandas as pd

from time import sleep

from selenium import webdriver

from selenium.webdriver import ActionChains

import pandas as pd

まずライブラリのインポートを行います。
seleniumはウェブブラウザを操作するためのライブラリです。
また、ActionChainsはマウスオーバー操作の時に使用します。
pandasはデータを取得後の整理に使います。

driver = webdriver.Chrome()
driver.get('https://s10.kabu.co.jp/_mem_bin/members/login.asp?/members/tradetool/StockSearch.asp')
mail = driver.find_element_by_name('SsLogonUser')
pass_wd = driver.find_element_by_id('PASSWORD1')
mail.send_keys('your_id')
pass_wd.send_keys('your_pass')
pass_wd.submit()
driver.find_element_by_link_text('kabuナビ').click()

driver = webdriver.Chrome()

driver.get('https://s10.kabu.co.jp/_mem_bin/members/login.asp?/members/tradetool/StockSearch.asp')

mail = driver.find_element_by_name('SsLogonUser')

pass_wd = driver.find_element_by_id('PASSWORD1')

mail.send_keys('your_id')

pass_wd.send_keys('your_pass')

pass_wd.submit()

driver.find_element_by_link_text('kabuナビ').click()

一行目で使用するブラウザにChromeを指定します。
次に、カブドットコム証券のページをChromeで開きます。

上記のようなログインページが開いた後、➀に自分のidを打ち込み次いで➁にパスワードを打ち込み、最後にログインします。

2017.11.18

pytho事始め本当のゼロからはじめるpyhon

プログラミング経験

読み書き算盤の時代から読み書きプログラミングの時代になったと言われて久しくなりました。たくさんのプログラミング体験記がネットに存在しますが、多くは少しプログラミングをかじったことのある人や、他の言語を知っている人の記事です。そこで、本当にゼロから始める体験記を書こうと思います。

なぜpythonか

「初心者　プログラミング」で検索すると多くの言語がおすすめされています。Java、Ruby、PHP等どれをするのが正解か分かりません。私は漠然と人工知能やクオンツといったデータ解析に興味があったのでpythonを選びました。一人でする勉強はモチベーションの管理も難しいので、憧れやかっこよさで選ぶのもいいと思います。また、アルゴリズムトレード等ができるようになれば、お金も少しはいってくる

のではないかという下心もあります。

まずは株価のスクレイピング

プログラミングの最初の大きな課題として、何を目標にすればいいのか分からないということがあると思います。私はアルゴリズムトレードを最終的な目標として、プログラミングを学習していきたいと思います。まずは、データの取得方法ですが、株価を提供してくださっている株価データサイト(http://k-db.com/)というものがあります。今回はこちらを利用させていただきます。pythonで簡単にテーブルをスクレイピンするためにBeautifulSoup4とpandasというライブラリを使います。コマンドプロンプトで

pip install pandas

1	pip install pandas

pandasをダウンロードします。 pandasはpythonのデータ解析用ライブラリで、表などが扱いやすくなります。

import pandas as pd
tables = pd.read_html('http://k-db.com/stocks/', flavor='bs4')

1 2	import pandas as pd tables = pd.read_html('http://k-db.com/stocks/', flavor='bs4')

pandasをダウンロードします。 pandasはpythonのデータ解析用ライブラリで、表などが扱いやすくなります。

一行目ではpandasを使えるようにpythonに読み込みます。

二行目は株価データサイトの株価がのっているページにアクセスしてtablesに格納します。なお、この方法はこちら(https://qiita.com/driller/items/0fe323dec5bb2f267c96)を参考にしました。

flavorの説明はまだよく分かっていないの

で、分かり次第追記します。。。

データをとってくるだけではつまらないので、この中から150円以下の株価をつけている株だけを抽出します。

df = tables[0] 
df[df.ix[:,5] <= 150]

1 2	df = tables[0] df[df.ix[:,5] <= 150]

さきほど手に入れたデータはテーブルとして格納されているので、リスト型にいれなおします。

その後、5列目の現在値が150円以下の株を抽出します。

まずは、データのスクレイピングと簡単な抽出ができるようになりました。今後も勉強を続けて、もっと複雑なことができるようになりたいと思います。

2017.05.31

もう書くことに迷わない『新しい文章力の教室』文章の地図を作る

現代人は大量の文章を作成しなければならない

　　　レポートや報告書、学生から社会人まで日常的に文章を書くことが求められています。文章を作成していて、途中まで調子よく書き進めていたものの、ピタッと筆が止まってしまう時はないでしょうか。また、あとから読み返してみると自分が書いたはずなのに支離滅裂に書き散らかしていることに気づく時もあると思います。文章の地図を最初に描くことで、読みやすく分かりやすい文章を書くことができます。

文章地図の作り方

　　　まずは、自分が書きたいことを箇条書きしていきます。この時は関連しそうなものは何でも書いていくのがコツです。次に、書き終わったものを眺めて文章の流れを決めましょう。そして最後にそれぞれの情報にどのくらいの分量が必要なのか割り振ります。

本記事の文章地図

それでは実際にこの記事を作成するために文章の地図を作っていきましょう。本書では手書きを推奨していますが、可読性をあげるため、この記事ではパソコンで入力します。

言いたいこと	順番	分量
現代人は文章をたくさん書く必要があるが、思うように書けない時がある
書くこと、順番、分量を書き始める前に決めた文章地図を作ると迷わない
文章の地図に肉付けしていく
この本には文章地図意外にも読んでもらう工夫がたくさんのっている
長い文章を書くには文章地図の文章地図を作る
実際にこの記事を使って実践した例を示す

まずは書きたいことについて箇条書しました。次にこれらを眺めながら文章の構成を考えていきます。

言いたいこと	順番	分量
現代人は文章をたくさん書く必要があるが、思うように書けない時がある	1
書くこと、順番、分量を書き始める前に決めた文章地図を作ると迷わない	2
文章の地図に肉付けしていく	×
この本には文章地図意外にも読んでもらう工夫がたくさんのっている	5
長い文章を書くには文章地図の文章地図を作る	4
実際にこの記事を使って実践した例を示す	3

まず最初にどうして文章の地図を作成することが必要か導入を行い、次に簡単な文章の地図の書き方を説明します。その後すぐにこの記事を使った例を示し、長い文章への応用など補足情報を加えます。最後に本に書かれている他の情報にふれて記事を締めることにしました。文章の地図を肉付けしていくことに関しての説明も必要かと思いましたが、実際に記事を読んでもらえばどのように肉付けされているか分かるので、省略します。このように、文章の構成を行う時に情報の取捨選択も同時に行わなくてはなりません。

言いたいこと	順番	分量
現代人は文章をたくさん書く必要があるが、思うように書けない時がある	1	B
書くこと、順番、分量を書き始める前に決めた文章地図を作ると迷わない	2	C
実際にこの記事を使って実践した例を示す	3	A
長い文章を書くには文章地図の文章地図を作る	4	C
この本には文章地図意外にも読んでもらう工夫がたくさんのっている	5	C

順番を並べ替えて分量をきめます。この記事では実践に活かせるよう例を中心にまとめました。以上がこの記事を作成する時に考えた文章の地図です。

長い文章を書くには

はじめの箇条書きを行う時に、数十個書きたいことがでてきたら、ひとつの地図ではたりません。その時は一段高い視点で地図を書き、その一段高いまとまりの地図を書きます。わかりやすく言うと大目次と小目次の関係です。

構成の基本からテクニカルな内容まで

この本には他にも文章の字面や語呂といったテクニカルな内容もふんだんに取り入れられており、文章を学んだことのない人にはうってつけのはじめの一冊だと思います。