覚書 – Alters Tech Blog

mysqlダンプデータからテーブルごとに切り出したダンプデータを作成する

2016-03-312016-03-31 n.n

mysqlダンプデータからテーブルごとに切り出したダンプデータを作成する

切り出しファイルの行数を算出

まずgrepを使用してmysqlのダンプデータからテーブルごとのDDLからDMLまでの行数を抜き出します。

$ egrep -in '^drop table if exists' ./all.dump
22:DROP TABLE IF EXISTS `tbl_a`;
61:DROP TABLE IF EXISTS `tbl_b`;
126:DROP TABLE IF EXISTS `tbl_c`;
158:DROP TABLE IF EXISTS `tbl_d`;
...
1562:DROP TABLE IF EXISTS `tbl_h`;
2942:DROP TABLE IF EXISTS `tbl_i`;
...

$ egrep -in '^drop table if exists' ./all.dump

22:DROP TABLE IF EXISTS `tbl_a`;

61:DROP TABLE IF EXISTS `tbl_b`;

126:DROP TABLE IF EXISTS `tbl_c`;

158:DROP TABLE IF EXISTS `tbl_d`;

...

1562:DROP TABLE IF EXISTS `tbl_h`;

2942:DROP TABLE IF EXISTS `tbl_i`;

...

ファイル切り出し

tbl_hのdumpファイルを切り出したいとき、
1562行目から次のDROP分の1行前の2941行目を切り出せばできます。

このとき、

sed -n '1562,2941p' all.dump > tbl_h.dump

1 2	sed -n '1562,2941p' all.dump > tbl_h.dump

とすれば1562行目から2941行目のdumpファイルが作成できるのですが、ファイルが大きいとCPU使用率が高く、なおかつ時間がかかります。

高速ファイル切り出し

head -n 2941 all.dump | tail -n 1380 > tbl_h.dump

1 2	head -n 2941 all.dump \| tail -n 1380 > tbl_h.dump

(2941 – 1562 + 1 = 1380)
とすると高速化され、なおかつCPU使用率も高くありません。

高速ファイル切り出しのシェル登録

ただ、headを使用すると切り出す行が何行あるかの計算をしなくてはならないので面倒です。
そんなときは、

function cut_line {
  head -n $3 $1 | tail -n $(($3 - $2 + 1))
}
alias mid='\cut_line'

function cut_line {

head -n $3 $1 | tail -n $(($3 - $2 + 1))

}

alias mid='\cut_line'

を.zshrcなどに登録しておくことで

mid all.dump 5 7 > out.dump

1 2	mid all.dump 5 7 > out.dump

とすれば、5行目から7行目の3行分が切り出せます。

sqliteのselect結果にカラム名を表示させ、整形して表示する

2015-07-182015-07-18 n.n

sqliteのselect結果にカラム名を表示させ、整形して表示する

.headers on

1 2	.headers on

と

.mode column

1 2	.mode column

のコマンドを発行します。

.headers onコマンドと.mode columnの結果

sqlite> select * from sample;
1|テスト
2|テスト

sqlite> .headers on
sqlite> .mode column
sqlite>
sqlite> select * from sample;
id          name
----------  ----------
1           テスト
2           テスト

sqlite> select * from sample;

1|テスト

2|テスト

sqlite> .headers on

sqlite> .mode column

sqlite>

sqlite> select * from sample;

id name

---------- ----------

1 テスト

2 テスト

Tips

modeには様々な形式があります。

.mode column | csv | html | insert | line | list | tabs | tcl

1 2	.mode column \| csv \| html \| insert \| line \| list \| tabs \| tcl

sqlite> .mode csv
sqlite> select * from sample;
id,name
1,"テスト"
2,"テスト"

sqlite> .mode html
sqlite> select * from sample;
<TR><TH>id</TH>
<TH>name</TH>
</TR>
<TR><TD>1</TD>
<TD>テスト</TD>
</TR>
<TR><TD>2</TD>
<TD>テスト</TD>
</TR>

sqlite> .mode insert
sqlite> select * from sample;
INSERT INTO table VALUES(1,'テスト');
INSERT INTO table VALUES(2,'テスト');
sqlite> .mode line
sqlite> select * from sample;
   id = 1
 name = テスト

   id = 2
 name = テスト

sqlite> .mode list
sqlite> select * from sample;
id,name
1,テスト
2,テスト

sqlite> .mode tabs
sqlite> select * from sample;
id  name
1   テスト
2   テスト

sqlite> .mode tcl
sqlite> select * from sample;
"id" "name"
"1" "�203206�202��203210"
"2" "�203206�202��203210"
sqlite>

sqlite> .mode csv

sqlite> select * from sample;

id,name

1,"テスト"

2,"テスト"

sqlite> .mode html

sqlite> select * from sample;

</TR>

</TR>

</TR>

sqlite> .mode insert

sqlite> select * from sample;

INSERT INTO table VALUES(1,'テスト');

INSERT INTO table VALUES(2,'テスト');

sqlite> .mode line

sqlite> select * from sample;

id = 1

name = テスト

id = 2

name = テスト

sqlite> .mode list

sqlite> select * from sample;

id,name

1,テスト

2,テスト

sqlite> .mode tabs

sqlite> select * from sample;

id name

1 テスト

2 テスト

sqlite> .mode tcl

sqlite> select * from sample;

"id" "name"

"1" "�203206�202��203210"

"2" "�203206�202��203210"

sqlite>

SQLiteでよく使うコマンドまとめ

2015-03-212015-03-21 n.n

SQLiteでよく使うコマンド

たまに使うsqliteですが、コマンドをよく忘れます。。

sqliteのファイルを開く

sqlite3 (ファイル名)

1 2	sqlite3 (ファイル名)

テーブル一覧(show tables)

.tables

.tables

テーブル定義(desc, describe)

.schema (テーブル名)

1 2	.schema (テーブル名)

sqliteから抜ける(exit)

.quite

.quite

Tips

duplicate key update

# IGNOREキーワードを付けると、制約エラー発生を無視する
INSERT IGNORE INTO tbl_name (column_name1, column_name2, ...) VALUES (value1, value2, ...);
# 通常UPDATEを行う
UPDATE tbl_name SET column_name2=value2 where col_name1=value1;

# IGNOREキーワードを付けると、制約エラー発生を無視する

INSERT IGNORE INTO tbl_name (column_name1, column_name2, ...) VALUES (value1, value2, ...);

# 通常UPDATEを行う

UPDATE tbl_name SET column_name2=value2 where col_name1=value1;

空き領域の解放

VACUUM;

VACUUM;

macでネットワークを再起動する

2015-03-122015-03-12 n.n

macのコマンドラインにてネットワークカード指定で再起動する

virtual machineへの接続がスムーズにいかなくなった時など、
再起動までもない時に使用しています。

#一覧の参照
ifconfig

#dwon
sudo ifconfig en0 down
#up
sudo ifconfig en0 up

#一覧の参照

ifconfig

#dwon

sudo ifconfig en0 down

#up

sudo ifconfig en0 up

macで開いているウィンドウのみのスクリーンショットをとる方法

2015-02-222015-02-22 n.n

macでウィンドウを選んでにキャプチャをとる

macでウィンドウのスクリーンショットをとるとき、

shift + command + 4
でドラッグで選択した部分のスクリーンショットをとっていましたが、

shift + command + 4
でカーソルが＋に変更されたとき、space を押すとカーソルがカメラマークになり、
ウィンドウを選択でき、ウィンドウのスクリーンショットが取ることができます。

なお、カーソルを移動することで、ウィンドウの選択ができ、
もう一度spaceを押すことで、座標選択に戻ります。

Mac初心者がまず覚えるショートカット

2015-01-152015-01-15 n.n

macのショートカット

Macのキー操作もわかりません

カーソル移動

Macのショートカットキー	説明	Windowsの場合
⌘ + 上矢印	先頭に移動	ctrl + home
⌘ + 下矢印	末尾に移動	ctrl + end
⌘ + 左矢印	行頭に移動	home
⌘ + 右矢印	行末に移動	end
fn + 上矢印	上スクロール	pageup
fn + 下矢印	下スクロール	pagedown

スクリーンキャプチャー

Macのショートカットキー	説明	Windowsの場合
⇧ + ⌘ + 3	画面をファイルに取り込む	なし
⇧ + ⌘ + 4	選択した範囲をファイルに取り込む	なし
⇧ + ⌃ + ⌘ + 3	画面をクリップボードに取り込む	printscreen
⇧ + ⌃ + ⌘ + 4	選択した範囲をクリップボードに取り込む	なし

Finder操作

Macのショートカットキー	説明	Windowsの場合
⌘ + delete	ゴミ箱に入れる	delete
⌘ + 上矢印	１つ上のフォルダに移動	backspace
⌘ + 下矢印	ファイルを開く／フォルダを開く	enter

ウインドウ関連

Macのショートカットキー	説明	Windowsの場合
⌘ + M	ウインドウをしまう	なし
⌃ + 上矢印	Mission Control
⌃ + 下矢印	アプリケーション Exposé
⌘ + N	新規ウインドウ	同じ
⌘ + W	ウインドウを閉じる	同じ
⌘ + tab	アプリケーションを順に切り替える	alt + tab
⇧ + ⌘ + tab	アプリケーションを逆順に切り替える	shift + alt + tab
⌘ + Q	最全面のアプリケーションを終了	alt + F4

マウス操作

Macのマウス操作	説明	Windowsの場合
⌘ + ドラッグ	ドラッグして別のボリューム／場所へ項目を移動	shift + ドラッグ
⌥ + ドラッグ	ドラッグして項目をコピー	ctrl + ドラッグ

Mac初心者がまず覚える記号

2015-01-102015-01-15 n.n

macの記号が覚えられません

作業効率を上げる為にショートカットを調べても記号でつまずくのでメモ

記号	名前	Unicode
⌘	コマンドキー (Command)	0×2318
⌃	コントロールキー (Control)	0×2303
⌥	オプションキー (Option)	0×2325
⇧	シフトキー (Shift)	0x21E7
⇪	キャプスロックキー (Caps Lock)	0x21EA
⎋	エスケープキー (Escape)	0x238B

意味を知ると途端に覚えやすくなります。

Macの特殊キー記号を覚えてしまおう！

カテゴリー: 覚書

mysqlダンプデータからテーブルごとに切り出したダンプデータを作成する

mysqlダンプデータからテーブルごとに切り出したダンプデータを作成する

切り出しファイルの行数を算出

ファイル切り出し

高速ファイル切り出し

高速ファイル切り出しのシェル登録

sqliteのselect結果にカラム名を表示させ、整形して表示する

sqliteのselect結果にカラム名を表示させ、整形して表示する

.headers onコマンドと.mode columnの結果

Tips

SQLiteでよく使うコマンドまとめ

SQLiteでよく使うコマンド

sqliteのファイルを開く

テーブル一覧(show tables)

テーブル定義(desc, describe)

sqliteから抜ける(exit)

Tips

duplicate key update

空き領域の解放

macでネットワークを再起動する

macのコマンドラインにてネットワークカード指定で再起動する

macで開いているウィンドウのみのスクリーンショットをとる方法

macでウィンドウを選んでにキャプチャをとる

Mac初心者がまず覚えるショートカット

macのショートカット

カーソル移動

スクリーンキャプチャー

Finder操作

ウインドウ関連

マウス操作

Mac初心者がまず覚える記号

macの記号が覚えられません

人気ページ

mysqlダンプデータからテーブルごとに切り出したダンプデータを作成する

切り出しファイルの行数を算出

ファイル切り出し

高速ファイル切り出し

高速ファイル切り出しのシェル登録

sqliteのselect結果にカラム名を表示させ、整形して表示する

.headers onコマンドと.mode columnの結果

Tips

SQLiteでよく使うコマンド

sqliteのファイルを開く

テーブル一覧(show tables)

テーブル定義(desc, describe)

sqliteから抜ける(exit)

Tips

duplicate key update

空き領域の解放

macのコマンドラインにてネットワークカード指定で再起動する

macでウィンドウを選んでにキャプチャをとる

macのショートカット

カーソル移動

スクリーンキャプチャー

Finder操作

ウインドウ関連

マウス操作

macの記号が覚えられません

人気ページ

タグ