実践!DBテーブルデータ抽出

OrangeLab. 運営チーム
作成日時: - 更新日時:
Avatar

使用ソフトウェア:DataMagic for Windows Ver.3.0.0(コード変換・オプション for Windows)
今回はDBからデータを抽出し、CSV形式に変換する方法をご紹介します。
※Ver.2.2.2のDataMagicについては、次の記事をご参照ください。
 (記事内容に大きな差異はありません。
  Ver.3.0.0のインタフェースに沿った操作手順とスクリーンショットにて、再度ご紹介しています。)
 DataMagic 実践!DBテーブルデータ抽出 (Ver.2.2.2)

はじめに

こんにちは、メディアフォースの佐渡です。

ここ数年「ビッグデータ」が新たなキーワードとして注目され、企業内におけるデータの重要性が益々高まっています。
企業内にはあらゆるデータが散在していますが、例えば、これらのデータを分析する場合、特徴的な課題の一つに“データの収集・加工”が挙げられます。

DataMagicであれば、DBから簡単にデータを抽出し、データ分析に適した形式でのファイル出力が可能です。
本連載記事では、DBからデータを抽出し、CSV形式に出力する方法をご紹介します。

<処理イメージ>

事前準備

まずは、変換元となるDBのデータを用意します。

サンプルデータ(SQLite)

本連載記事では、DBはSQLiteを使用して説明をします。
事前準備として、上記サンプルデータ(SQLite)を、「C:\work\SAMPLE10\」に格納してください。
このDBファイルには、P_MASTERというテーブルが定義されており、下記データが格納されております。



※SQLiteとは
 SQLiteは、OracleやSQL Serverのようにサーバ・クライアント構成ではなく、ファイルを直接読み書きするタイプです。
 利用することでサーバを必要とせずに、本連載記事をベースにDBのデータ抽出をお試しいただけます。

手順

データ変換に必要な定義情報を作成します。
データ変換の流れは大きく分けると以下になります。

1.入力ファイル情報の設定
2.出力ファイル情報の設定
3.データ加工情報の設定

Step01

まずは、「1.入力ファイル情報の設定」を行いましょう。

入力の定義情報を作成します。DBの定義情報は、下記二つの設定を行う必要があります。
  1-1. DB接続情報の設定   : データベースに接続するための情報を定義します。
  1-2. DBテーブル情報の設定 : DBのテーブルと項目のレイアウトを定義します。

次に、「1-1.DB接続情報の設定」を行いましょう。

スタートページから「DB接続」を選択します。

Step02

操作メニューから「新規作成」をクリックし、DB接続情報詳細画面を起動します。
画面が起動したら、下記画面を参考に「ID」と項目情報を設定し、「保存」をクリックして登録します。



項目名 説明
ID 登録したDBテーブル情報を識別するためのIDを指定します。
今回はIDを【sqlite】とします。
製品種別 接続先データベースの種別を選択します。
今回は【SQLite3】を選択します。
漢字コード種 接続先データベースの漢字コード種を選択します。
今回は【SHIFT-JIS】を選択します。
DB名 接続するデータベース名を指定します。
事前準備で用意した【C:\work\SAMPLE10\in.db】を設定します。
※接続テストボタンをクリックすることで、DBへの接続テストを行うことができます。

これで、「1-1.DB接続情報の設定」は完了です。

Step03

次に、「1-2.DBテーブル情報の設定」を行います。

スタートページから「DBテーブル」を選択します。

Step04

操作メニューから「新規作成」をクリックすると、「入出力区分の選択」ダイアログが起動します。

「入力」を選択し、「OK」ボタンをクリックします。

Step05

DBテーブル情報詳細画面が起動したら、下記画面を参考に「ID」と項目情報を設定し、「項目取り込み」ボタンをクリックします。



項目名 説明
ID 登録したDBテーブル情報を識別するためのIDを指定します。
今回はIDを【SAMPLE10_IN】とします。
入出力区分 入力用の設定か出力用の設定かを選択します。
今回は【入力】を選択します。
DB接続ID 当該DBテーブル情報を使用する際に接続するデータベースのIDを指定します。
Step02で作成した【sqlite】を設定します。
指定方法 入出力用SQL文の生成方式を選択します。
今回は【簡易指定】を選択します。
・簡易指定 :指定したパラメータにしたがって、SQL文を内部で生成します。
・SQL文指定:発行するSQL文を直接指定します。
テーブル名 入出力の対象となるテーブル名を指定します。
今回は【P_MASTER】を選択します。

Step06

DBテーブル項目取得画面に、指定したテーブルのレイアウトが表示されます。
「OK」ボタンをクリックすると確認画面が表示されますので、確認画面で「はい」ボタンをクリックします。



Step07

DBテーブル情報詳細画面にP_MASTERテーブルのレイアウトが反映されたら、「保存」をクリックして登録します。



これで、「1-2.DBテーブル情報の設定」および「1.入力ファイル情報の設定」は完了です。

Step08

次に、「2.出力ファイル情報の設定」を行います。

スタートページから「CSV」を選択します。

Step09

操作メニューから「新規作成」をクリックし、CSV情報詳細画面を起動します。
画面が起動したら、下記画面を参考に「ID」と項目情報を設定し、「保存」をクリックして登録します。



項目名 説明
囲み文字 文字列データに付加されている囲み文字を指定します。
今回は【0x00】を設定します。
ID 登録したCSV情報を識別するためのIDを指定します。
今回はIDを【SAMPLE10_OUT】とします。

これで、「2.出力ファイル情報の設定」は完了です。

Step10

次に、「3.データ加工情報の設定」を行います。

スタートページから「データ加工」を選択します。

Step11

操作メニューから「新規作成」をクリックし、データ加工情報設定画面を起動したら、入力ファイルの設定を行います。

オブジェクトパレットから「DBテーブル」を選択し、入力ファイルエリアへドロップします。
ドロップ後、「DBTBL」アイコンをダブルクリックします。

Step12

入力設定画面のレイアウトタブを設定します。



項目名 説明
ID DBテーブルIDを指定します。
Step05で作成した【SAMPLE10_IN】を設定します。
数値バイトオーダ 入力ファイルの数値バイトオーダを選択します。
今回は【ホストに依存】を選択します。
数値項目NULL値の扱い 入力データにNULL値があった場合、空文字として扱うか、0に置き換えるかを選択します。
今回は【0(ゼロ)】を選択します。
入力0レコードの扱い 入力データが0レコードだった場合の動作を指定します。
今回は【異常】を選択します。

これで、入力ファイルの設定は完了です。

Step13

出力ファイルの設定を行います。

オブジェクトパレットから「CSV」を選択し、出力ファイルエリアへドロップします。
ドロップ後、「CSV」アイコンをダブルクリックします。

Step14

出力設定画面のレイアウトタブを設定します。



項目名 説明
ID 出力ファイルのIDを設定します。
Step09で作成した【SAMPLE10_OUT】を設定します。
出力先指定 出力先の指定方法を選択します。今回は、"固定値"を指定します。
ファイル名には、出力ファイルの絶対パスまたは相対パスで設定します。
今回、出力ファイル名は【C:\work\SAMPLE10\out】とします。

これで、出力ファイルの設定は完了です。

Step15

入力ファイル・出力ファイルの項目間のマッピング処理を定義します。

抽出条件と出力条件を結び、マッピングアイコンをダブルクリックします。

Step16

マッピング情報設定画面が起動します。
下記画面を参考に入力項目と出力項目のマッピング線を結び、「OK」ボタンをクリックします。

Step17

任意の「ID」を入力し、データ加工情報設定画面の「適用」をクリックします。



項目名 説明
ID データ加工情報を識別するためのIDを指定します。
今回はIDを【SAMPLE10】とします。

これで、「3.データ加工情報の設定」は完了です。

Step18

それでは実行してみましょう。
データ加工情報設定画面上部の「実行」をクリックし、データ加工実行画面を起動します。
画面が起動したら、そのまま「実行」ボタンをクリックします。

Step19

事前準備で用意した「C:\work\SAMPLE10\」を開きます。
「out」というファイルが出力されているので、メモ帳などで中身を参照し、CSV形式のデータに変換されていることを確認してください。

さいごに

DBからデータを抽出する操作方法のイメージはつかめましたでしょうか。
スクラッチで1から開発するより、断然早いことがわかっていただけたと思います。

今回はDBからのデータ抽出を紹介しましたが、DBへのINSERT,UPDATEも勿論可能です。
設定に関しては、SQLを意識せず簡単に連携を実現する「簡易指定」と、データの入出力において発行するSQLを任意に指定する「SQL文指定」の2つの設定方法を用意しており、簡単なことから複雑なことまで幅広く実現することができることも特徴です。

なお、今回ご紹介した変換の定義情報は、ページ下部の「サンプルデータ」よりダウンロードできます。

DataMagic評価版のダウンロード

DataMagic評価版は「my HULFT」からダウンロードできます。
DataMagic評価版のインストール

〔注意事項〕
  • 「my HULFT」を利用するには、別途「my HULFT」へのユーザ登録が必要となります。詳細については、「my HULFT」ページをご覧ください。
  • DataMagicの利用にあたっては、DataMagic本体のほか、GUIツールであるDataMagic Managerのインストールが必要となります。なお、DataMagic ManagerはDataMagic本体に付属しています。

〔インストール方法〕
DataMagicとDataMagic Managerのインストール方法については、以下のページを参照ください。
DataMagicのインストール方法
DataMagic Managerのインストール方法

サンプルデータ

サンプルデータはzip形式での提供となります。解凍してからご利用ください。

この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています

コメント