SoftHompoのホーム>DataCollectのホーム>DataCollectのマニュアル
先頭へ

DataCollectのマニュアル

はじめに
最初期に実行する手順
メニュー
制限事項
著作権
意見

はじめに

 DataCollectは、株価データなどの数値データをネット上の無料サイトから収集し、SMSのデータベースに登録します。
日足データは、csvファイルから登録します。現在、幾つかのサイトから株価データを無料でダウンロードできます。例として以下のサイトが存在します。

 その他のデータは、NIKKEI、YAHOO、東証のサイトから収集します。
データの収集のみを目的としており、データの表示はSMSで行います。

各データは以下のURLから収集します。

経済指標データ YAHOO
部門別株式売買状況 東証
過去の株価データ
信用取引残高データ
YAHOO

 NIKKEIから日々の株価データと信用取引残高を収集する場合、直近25営業日のデータが常時収集されるので、一ヶ月間収集しなくてもデータの欠損は発生しません。
各銘柄毎にWebページを表示するので、すべての銘柄を毎日収集するためには、長時間必要になります。従って、日々株価をチェックする銘柄を分類する業種を新規に作成(たとえば、注目銘柄という業種を作成)し、その業種に注目する銘柄を分類しておきます。
その上で、毎日収集する業種は、その業種を選択します。信用取引残も同様にしてください。

最初期に実行する手順

本プログラムを使用して株価データを収集する場合、一番最初に以下の処理を実行する必要があります。

  1. データベースフォルダの設定
    DataCollectインストール直後に起動すると、データベースフォルダの選択画面が表示されます。
    ここで、”キャンセル”ボタンを押下した場合は、”ドキュメント”フォルダにデータベースフォルダが作成されます。
    事前にSMSで設定しているのであれば、ここでの設定は必要ありません。
  2. 上場銘柄の登録
    上場銘柄の名称と日経業種分類をします。
    【方法】[銘柄管理][日経業種分類]メニューを選択します。
    株価データファイルに企業名が含まれている場合は、この処理は必ずしも必要ありません。
  3. 経済指標の登録
    経済指標を表示する場合は、事前に指標を登録する必要があります。
    【登録方法】[ファイル][環境設定]メニューを選択します。ここでは特に設定を変更する必要はありませんが、”OK"ボタンを押下してください。
    これで、為替レート、指標が登録されます。SMSで表示するときは、[企業検索]で証券コードを指定して検索します。
  4. 株価データの登録
    事前にダウンロードされている株価データファイル(csvファイル)から株価データを登録します。
    ”ダウンロード”フォルダに株価データをダウンロードした場合は、そのまま登録ボタンを押下してください。
    【方法】株価データは、ブラウザーで”はじめに”の章で表示されているサイトなどからファイルをダウンロードします。
    DataCollectの[データ収集][株価データの登録]メニューを選択します。

次回からは、毎日の株価データの登録を実行すればデータベースに株価が蓄積されます。
株価データの表示は、SMSで行います。

メニュー

メインメニューに沿ってDataCollectの機能を説明します。

図 メイン画面

ファイル

データベースフォルダの設定

SMSで設定したデータベースフォルダを設定します。

環境設定

運用する環境を設定します。
経済指標、為替レートのための仮想的な証券コードを設定し、指標を登録します。
画面ではデフォルトで値が表示されるので、特別のことがない限りはそのままOKボタンを押してください。
一旦設定したコード番号を途中で変更すると、以前に収集したデータが正しく表示できなくなります。
【注意】内容を変更しなくても、”OK"ボタンを押下しない限り為替レート、指標は登録されません。
SMSでこれらの指標を参照するときは企業検索画面で、証券コードを指定してください。

図 環境設定

データ収集

株価データの登録

株価の日足データを登録します。
データ登録の手順

株価データファイルのダウンロード
任意のサイトから株価データファイル(csvファイル)をダウンロードします。
サイトによっては、zipアーカイブファイルをダウンロードしますが、zipファイルのまま株価データは登録できます。
株価データの登録
下図の画面に必要な情報を設定します。設定後、株価データファイルを選択し、開始ボタンを押下します。
あとは、DataCollectが自動的に株価データを登録します。
株価データ登録時、未登録の銘柄は株価データファイルの企業名で登録されます。 株価データに企業名が存在しない場合は、”新規銘柄”という名前で登録されます。
この場合は、”銘柄の整理”を実行してください。

登録画面の説明

項目名 内容
株価データの
フォーマット
株価データのそれぞれの列のデータの内容を設定します。
この中で、日付、企業名、市場はオプションです。これらの データがファイルに存在しない場合は、空欄にしてください。
市場欄が空欄の場合は、ファイル内の全銘柄が東証に上場されているものと仮定します。
【注意】
証券コードは4文字の数字です。それ以外の形式のデータファイルからのデータ収集は実行しません。
株価データに市場データが存在しない場合は、東証データとして登録されます。
1銘柄に1市場の株価データしか登録しない場合は、市場欄は空欄で構いません。この場合、”市場”データの指定は不要です。
株価データの日付 株価データに日付データが存在しない場合、株価データの日付はファイル名から取得します。
ファイル名の中に含まれる日付情報を指定します。
指定した、フォーマット文字の以降の文字列は無視されます。
例えば、ファイル名が2014-02-01_stockT.csvの場合、フォーマットとして、yyyy-MM-ddを設定した場合は、
ファイル名の 0文字目から10文字までの中から日付情報を取り出します。
日付フォーマットは、パターンマッチングで日付を取り出します。
市場 4証券取引所に分類してデータを登録することができます。
その場合、株価データファイルに市場情報が含まれる場合は、それぞれの証券取引所に分類する名称を
設定します。
ここで、設定されていない名称の銘柄データは登録されません。
例えば、東証の場合、東証1部、東証2部、JDQ、マザーズと市場名が設定されている場合は、
ここで、”東、JDQ、マザーズ ”と指定します。
市場の判定は、文字列の指定された文字数だけしかチェックしません。
したがって、”東”という文字が指定されている場合は、東証1部、東証2部などのように東から始まるすべての
文字列がヒットします。
【注意】
市場は、トヨタ自動車のように複数市場に上場している企業の複数市場の株価データを登録する場合にのみ必要になります。
優先市場の株価データのみを登録するのであれば、市場情報は必要ありません。
株価データディレクトリ 株価データをダウンロードしたディレクトリを設定します。
【参照】ボタンを押下するとディレクトリが列挙されます。
株価データファイル
(csv file)
株価データディレクトリに”*.csv”ファイルが存在すれば、それらのファイルが表示されます。
登録するファイルを選択します。複数選択が可能です。
選択したファイルは、マウスの右ボタン押下で削除ができます。
 削除 選択した株価データファイルを削除します。 
登録後ファイル削除 株価データ登録完了後、ダウンロードしたファイルは削除されます。
図 csvファイルから株価データ収集画面
”株価データのフォーマット”の日付カラムを設定した場合は、”株価データの日付”データを指定する必要はありません。
また、市場カラムを指定しない場合は、”市場”データを指定する必要はありません。

過去の株価

指定した銘柄の指定期間の株価データを登録します。
過去の株価と、信用残高データを収集します。
指定銘柄が上場されているすべての市場の株価データと信用残データを収集します。ただし、東証、ジャスダックのみが収集対象市場です。

【注意】
データを収集しようとする銘柄は事前に登録されている必要があります。
それぞれの銘柄の優先市場のデータのみ収集します。

図 過去の株価収集

過去の株価2

東証の過去の全銘柄の株価データを登録します。
”株価データ倉庫”(http://stock-databox.net/data.html)
からダウンロードした株価データファイルのデータを登録します。
株価データは、すべて東証データとして登録されます。

【注意】
未登録の銘柄の株価データは登録されません。

図 過去の株価収集
ダウンロードしたzipアーカイブファイルを指定します。
1年間分のデータも1日のデータも登録することができます。

経済指標

経済指標を収集します。当日の指標は、夜にならなくてはWebページに反映されないので、夜に実施してください。

信用取引残高

週末信用取引残高データを収集します。毎週金曜日に発表されます。
登録済みデータの最終日付から最新の日付のデータを収集します。ただし、強制的に収集する期間を設定した場合は、登録済みデータに係わらず指定した期間のデータを収集します。
収集する市場は、東証データのみです。
”閲覧履歴の銘柄み収集”  SMSの閲覧履歴に登録されている銘柄のみのデータを収集します。
”全登録銘柄データの収集” 登録されている全銘柄のデータを収集します。

図 信用取引残高データ収集画面

部門別株式売買状況

毎週木曜日に公表されます。

株式分割自動設定

楽天証券のサイトから株式分割情報を読み込んで株式分割設定を行います。
目的の期間を表示してから登録ボタンを押下してください。2006年6月以前の情報は収集できません。 

図 株式分割自動設定画面

株式併合自動設定

楽天証券のサイトから株式併合情報を読み込んで株式併合設定を行います。
目的の期間を表示してから登録ボタンを押下してください。2006年6月以前の情報は収集できません。 

図 株式併合自動設定画面

銘柄管理

SMSで、業種から銘柄を検索しないのであればこのメニューの処理は不要です。

NEEDS業種分類

日経新聞社のNEEDS業種分類情報を収集します。
この分類は、詳細な分類項目で銘柄を分類しているので、銘柄を検索するときに有効に利用できます。
SMSで、[検索][NEEDS業種分類]を使用しない場合は、実行する必要はありません。

日経業種分類

株式上場されている全銘柄を日経業種分類に従って業種に分類します。
SMSで、[検索][日経業種分類]を使用しない場合は、実行する必要はありません。

銘柄の正式名称設定

SMSに登録されている全銘柄の正式名称、相場欄名証を登録します。
株価データファイルに企業名が存在しない場合、銘柄名が設定されないので、この処理を実行してください。
SMSで、銘柄名で検索するときに、企業名および、相場欄名で銘柄が検索できます。
SMSで、銘柄を検索しない場合はこの処理は不要です。
6か月前に設定した銘柄は、設定対象から除外されます。二回目からの正式名称の設定は、新規上場銘柄のみが対象になります。

データ管理

株価データ削除

不要になった期間の株価データを削除します。

図 株価データ削除画面

時系列データの整理

SMSでは、現在ジャスダックのデータは市場として東京証券取引所に分類して管理するように変更されました。
以前に収集された株価データをジャスダックから東証に統合します。

株価データの統計情報

登録されている株価データ数の統計情報を表示します。
”表示銘柄リスト”は、統計情報を表示する銘柄の証券コードを1行に一つづつ入力します。
統計情報は年単位あるいは月単位で出力できます。 統計結果はcsvファイルとして出力されます。
下図の例は、年単位で出力した場合の結果です。 最初に登録データ数が出力され、次に、最大登録データ数との差が出力されます。 最古の登録日以前の期間は、空欄で表示されます。
これらの情報を基に、株価データの登録漏れを調べることができます。

図 株価データ統計情報画面

図 株価データの統計情出力例

制限事項

著作権

本プログラムの著作権は、SoftHompoが所有しています。
自由に再配布してかまいません。商業目的使用の配布も自由です。
本プログラムは、利用者の責任において使用してください。

意見

DataCollectに関して、不都合な点を見つけたらお知らせください。


 DataCollectに関する感想・要望等があればお知らせください。