本記事では，CSVの代替として有望かつビッグデータ分析にも適しているParquetを紹介します． さて，データフレーム（Data Frames）は，データ分析において最も基本的なデータ構造の1つです．Rのtibble・dplyrやPythonのpandasなどのデータフレーム操作のためのパッケージを使えば，これまでExcelなどの表計算ソフトで行っていたデータ分析をさらに効率的に行うことができます． このようにデータ分析ツールが充実している一方で，データの保存にはExcelなどとの互換性が高いCSVが未だに広く使われています．しかし，CSVは，必ずしもデータ分析に適したファイル形式とは言えません．そこで，CSVの代替として使われることが多くなっているParquetをCSVと比較してみましょう． サンプルデータの準備 CSVとParquetを比較するため，まずは，データ分析にありがちなサンプ
多くのサービスは、コンマ区切り値 (CSV) ファイルとしてデータをエクスポートします。 このソリューションにより、これらの CSV ファイルを .xlsx ファイル形式の Excel ブックに変換するプロセスが自動化されます。 Power Automate フローを使用して、OneDrive フォルダー内の .csv 拡張子を持つファイルを検索し、Office スクリプトを使用して、.csv ファイルから新しい Excel ブックにデータをコピーします。 ソリューション .csv ファイルと空の "テンプレート" .xlsx ファイルを OneDrive フォルダーに格納します。 CSV データを範囲に解析する Office スクリプトを作成します。 Power Automate フローを作成して、.csv ファイルを読み取り、その内容をスクリプトに渡します。 サンプル ファイル con
大量のPowerShellのコマンドを実行することがあるときに、CSV形式のパラメータ一覧を読み込ませてコマンドを一括実行する方法を知っておくと、とても便利です。 本記事では、例として、大量のコマンドを実行するシナリオとその実現方法詳細を説明します。 シナリオ Import-Csvを使う コマンド構成 読み込ませるCSV（パラメータ）の準備 コマンドの形成 コマンド実行 トラブルシュート 終わりに シナリオ ある組織で、Teamsの利用を開放することになりました。 Teams利用開始にあたり以下のような準備をします。 課ごとのチームをあらかじめ作成しておく 課は200個ある この場合、200個のチームを作成する必要があります。 もちろんTeams管理センター（GUI）から一つずつ手作業で作成する方法もありますが、この個数であればやはりPowerShellコマンドで一括実行し効率をあげたいで
結論 使いやすいサービスが無かったのでjson to csvというアプリを作ってみました。簡単にJSONをCSVに変換できますので、ぜひ使ってみてください。 https://jsontocsvconv.com 説明 直感的に使えるようにはしていますが、一応サービスの説明をまとめます。と言っても２つのステップ、1. JSONのアップロードと、2. CSVのダウンロード、だけです。 1. JSONのアップロード JSONのアップロードは以下の3つの方法でできるようになっています。 JSONファイルをドラッグ&ドロップ Upload JSON fileボタンからJSONファイルを選択 JSONをテキストとしてペーストまたは直接書き込み これらのいずれかでJSONをアップロードすることができます。内部的にはアップロードされたJSONデータは、サーバーに送られずブラウザ内のJavaScriptで直接
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
ExcelでCSV／テキストファイルを読み込む 拡張子が「.csv」のタブ区切りファイルを読み込むと、正しくセルに読み込めないことがある。毎回、セルに正しく値を読み込ませるために区切り記号を置換するなどしていないだろうか。CSV／テキストファイルを効率よく読み込む方法を解説する。 カンマ区切りファイル形式（以下、CSV：Comma Separated Values）やタブ区切りのテキストファイルは、さまざまなプログラムで出力形式としてサポートされている。そのため、これらの形式のファイルを「Microsoft Excel（エクセル）」で読み込んで、集計するといった作業が比較的広く行われている。 CSVファイルなどは、デフォルトでExcelと関連付けされているため、エクスプローラーでこれをダブルクリックして開いている人も少なくないだろう。しかし、CSVファイルなどをエクスプローラーでダブルクリ
サーバーの負荷状況を調査するため、cronでApache Benchを実行し定期的にcsvを出力していました。 このcsvが勝手にスプレッドシートに取り込まれてくれればなぁ、と思い Google Apps Script(以下GAS)を使って自動化してみました。 csvをGoogle ドライブへ直接出力→GASでcsvファイルの内容取得してする という流れをcronとGASのトリガーを使って定期的に実行する流れをご紹介いたします。 ■もくじ csvをGoogle ドライブのディレクトリに出力する Google スプレッドシートを作成 スクリプト エディタを起動 コードを書く トリガー設定 csvをGoogle ドライブのディレクトリに出力する 15分ごとにApache Benchを実行→ Googleドライブにcsv出力。 毎回同じファイル名で出力し、過去のファイルは上書きします。 cron
kintoneコマンドラインツール（cli-kintone）の基本的な使い方や、バッチ処理で定期的にデータをバックアップする実用的な方法を学ぶコンテンツです。 イントロダクション kintoneコマンドラインツール（cli-kintone）の基本的な使い方や、バッチ処理で定期的にデータをバックアップする実用的な方法を学ぶコンテンツです。 レコードのデータをエクスポートしてみよう cli-kintoneを使って、kintoneのデータをCSVで出力する方法を学びましょう。 レコードのデータのインポートや削除をしてみよう cli-kintoneを使って、kintoneのデータをCSVで追加／更新／削除する方法を学びましょう。 添付ファイルをダウンロード・アップロード・削除してみよう cli-kintoneを使って、kintoneの添付ファイルをダウンロード・アップロード・削除する方法を学びまし
VBAでCSVファイルを読み込むための「汎用CSV読み込みマクロ」を作りました。 CSVファイルを読み込むとき、通常の手順で開こうとすると次のように面倒な場合があります。 「1-2-3」→「2001/2/3」 「09012345678」→「9012345678」、など内容が変化してしまう 文字化けしてしまう テキストファイルウィザードで、データの形式を「文字列」に直すのが面倒くさい このページで紹介するマクロを使えば、このようなトラブルが避けられます。 若干、VBAの知識が必要になりますが、少し引数を指定するだけで、ファイルを適切に取り込むことができます。 他のホームページで公開されているマクロとは違い、かなり汎用性が高いプログラムだと思いますので、ぜひ、試してみてください。 このページで公開しているマクロでは、下記のような処理に対応しています。 文字列、金額のカンマ区切り、和暦など指定し
職場にて、古くからあるxml形式で保存されている表形式の定義ファイルを DBに格納するためにcsv形式に変換にしたいが、やり方がわからないと部下に泣きつかれ、 10年ほど昔にXML資格試験の勉強したなぁと懐かしくなりつつ、 xmlの変換方法を調べたので、備忘もかねて記載します。 細かいxsl記載方法については、後日余裕があれば記載しなおします。 準備するファイル 読み込むxmlファイル（test.xml） 上記xmlファイルをparseしてcsv変換するXML定義：xsltファイル(csv.xsl) 前提環境：CentOS 7.x 利用コマンド：xsltproc test.xmlの内容は以下の通りとします。 <?xml version="1.0" encoding="utf-8"?> <root> <path>/tmp</path> <as> <a> <name>1</name> <al>
ページのコンテンツとして表形式で表示することは多いのではないでしょうか。TABLE TR TDと記述していくのは、面倒ですよね。コーディングソフト等を使ったり、Excel等のデータを元に変換したりすることも可能ですが結構手間だったりします。頻繁に内容の差し替え、変更がある場合はさくっとページに反映させたいですよね。 以前紹介したTABLEに関する記事 ではTABLEタグを簡単に生成する方法を紹介しました。 本日は、TABLEタグを記述せずに表形式で表示をする方法を紹介したいと思います。 どんな方法かというと表示したい内容をCSV形式のファイルとして別に準備して、jQueryのプラグインを使って別ファイルのCSVを読み込ませて内容を表形式で表示する方法になります。内容を変更したいときはCSVファイルだけ差し替えれば表示を変えることが出来るため使い方によっては便利かもしれません。 CSVファイ
背景 CSVファイルのアップロード機能を考えます。 一番シンプルな方法は、formタグにinput type="file"タグを入れて、指定したファイルをPOSTします。 例えば、HTMLタグ/フォームタグ/ファイルの送信欄を作る - TAG index Webサイト です。 問題 CSVファイルのバリデーションにサーバーへの送信が必須です。 POST前にチェックできれば、ユーザが意図しないCSVファイルを指定した場合に、迅速なフィードバックを返せます。 便利なユーザーインタフェースが作れます。 また、CSVファイルの仕様は エスケープ 区切り文字 改行文字 ファイルのエンコーディング を考慮する必要があります。面倒です。 自分では、パーサーを書きたくありません。 解決策 npmパッケージとして公開されているCSVパーサーを利用します。 今回は、csv-parserを使って、ブラウザ上でC
・表形式のデータのカラム単位でデータの相違をチェックする。 ・項目単位での相違の発生した項目の抽出（ヘッダーで右クリックで抽出） ・ユニークとなる項目での連携によるデータの有無。 ・カーソルによる移動（Ctr+矢印で相違の発生したセルに移動） ・メイン画面へ比較する２つのファイルをドラッグすることで選択 ・範囲指定によるコピー（ヘッダー名、相違の項目にマークを付ける機能つき） ・行データの相違判定コピー ・ＣＳＶ（カンマ区切り）、TAB区切り、固定長、任意の区切りに対応 ・取込ファイルの文字コードに SHIFT-JIS,UTF-8,UTF-16対応 ※内部処理はSHIFT-JISなのでSHIFT-JISに対応しない文字を 取り込んだ場合は？などに化けます。 ・固定長ではGUI的にデータの区切り指定が可能 ・クリップボードの内容を比較し易くする機能 ・相違の比較でスペースを除いた状態での比較
ユーザ管理を楽にやりたいねっ LDAPにしたら、ユーザ管理ってどうするんだろぉ。やっぱり、シェルで作成して流しこみだよねーと。 でも、LDIFファイル作るのはなんとか楽したいよねって事で、 ExelでCSVファイルを作成 LDIFに変換 ldapaddなどで追加 と。さて、やってみましょうかね。ちなみに、このページの前提として、ThunderBirdアドレス帳をLDAPで悩むで、Thunderbirdアドレス帳スキーマがLDAPに設定されている事を前提にします。 Exelファイルで編集 このページにつけてあるCSVファイルに、必要項目をちゃかちゃか書いていきます。この情報を全部埋めることで、Thunderbirdアドレス帳としても活用できる情報を作れるようにしてあります。
結果がいくつあるか数える 結果がいくつあるかを数えたいケースは結構あるとおもいます。一度テキストファイルに吐き出して、エディタで開いて、行数を見て……。なんていうことは必要なく、Measure-Objectを使えば一発です。 例えば、フォルダ内のアイテム数を数えたい時には以下のようにできます。 ファイルだけ数えたければ以下のように。 フォルダだけ数えたければ以下のように。 コネクションがいくつ貼られているかを数えたければnetstatの結果を数えることができます。結果を文字列で出力するコマンドレットの結果をMeasure-Objectに渡すと、文字列の行数を数えてくれます。(厳密に行数を数えたければ –Lineオプションをつけて行数を数えるほうが「行数」としては正確です。) ESTABLISHEDな接続の数を数えたければ以下のように。 特定のIPアドレスとの接続の数を数えたければ以下のよう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く