個人的な覚書。 WSL版Ubuntu 16.04にMySQLの導入・起動・データベース作成・削除のコマンドとPython 3.5.2から接続するためのmysqlclient導入やデータベース確認方法などもメモ。 試用環境 ・Windows 10 バージョン1709 ・(WSL)Ubuntu 16.04 ・Python 3.5.2 ahiru8usagi.hatenablog.com ahiru8usagi.hatenablog.com MySQLの導入～データベース確認～削除 MySQLライブラリインストール $ sudo apt-get install -y mysql-server libmysqlclient-dev #libmysqlclient-devは開発用のパッケージ $ mysqld --version #mysqlのバージョン確認 MySQLの状態確認/開始/停止 $ s
sudo apt update sudo apt install mysql-client # 必要なら sudo apt install mysql-server MySQL server をインストールすると root ユーザーのパスワードを設定するように言われるので入力する。 サービス開始 sudo service mysql start ホームディレクトリが無いと言われたら、 sudo usermod -d /var/lib/mysql mysql を実行する。 それでも失敗したら…ログを見て cat /var/log/mysql/error.log 、 [ERROR] Can't start server: Bind on TCP/IP port: Permission denied [ERROR] Do you already have another mysqld serve
# mysqlは全て停止 sudo /etc/init.d/mysql stop sudo killall mysqld # セーフモードのような？起動方法 # mysqld_safeの位置はディストリやmysqlインストール時の設定で各人で異なるかと sudo /usr/bin/mysqld_safe -u root --skip-grant-tables & mysql mysql # ココでrootのパスを空値で設定 # この時点でも設定できるはずらしいのですがウチでは上手く行きませんでした mysql> UPDATE user SET Password='' WHERE Host='localhost' and User='root'; FLUSH PRIVILEGES; # 一旦はmysqlを抜けます exit mysqladmin password -u root # ココでパ
SqlAlchemy-migrateを使ってみる 概要 RailsのActiveRecordのMigrationに影響を受けて、SQLAlchemy を使ったプロジェクトのスキーマ管理をできるようにしたもの。 現時点での最新Verは0.8.2みたいです。 Package Index > sqlalchemy-migrate > 0.8.2 使用方法 ライブラリのインストール $ pip install sqlalchemy $ pip install sqlalchemy-migrate これにより"migrate"コマンドが使えるようになる。 $ migrate --help プロジェクトの作成 ※DBは既に存在していることを前提とする。今回はチュートリアルにのっとりSQLiteを使用します。 ちなみに初期Tableはこんな感じで作ってある。 # create_table.py from
テーブルには値を格納するためのカラムを定義しますが、どのカラムにどのような値を格納するかに応じてデータ型を指定することができます。ここでは SQLite のカラムで指定可能なデータ型について解説します。 格納される値のデータ型 多くのデータベースではカラム毎にデータ型を指定します。その為、カラム毎に格納できる値が決められています。SQLite ではテーブルを定義する時にカラム毎にデータ型を指定することは必須ではありません。データ型を指定しなかったカラムには色々な型の値が格納されることがあります。 ただデータ型を指定しなかった場合でもカラムに格納された値がどんなデータ型なのかは区別していて「NULL」「INTEGER」「REAL」「TEXT」「BLOB」の5種類のデータ型に分類します。 NULL NULL値 INTEGER 符号付整数。1, 2, 3, 4, 6, or 8 バイトで格納 R
float型は小数部を含んで6桁までであれば、入力した値そのままに保存出来ます。 簡単に用途をまとめると、こんな感じでしょうか。 小数点以下桁数を揃えて正確に扱うならば、demical型またはdouble型を使う （例:緯度経度情報） 小数部を含んで6桁まで入力された通りに保存する用途であれば、float型を使う そのまま保存したい場合には、varchar型を使う double型とdemical型との違いは次のページがとても詳しいです。 緯度経度情報などdemicalの方が望ましいのですが、double型の方がパフォーマンスは良いです。 Decimal’s declaration and functioning is similar to Double. But there is one big difference between floating point values and de
MySQLのデータ型としてFLOAT型という型があるのですが、これを採用するのは混乱の元ではないか？と感じたので、その詳細を紹介します。 そもそもこの話のきっかけは「MySQLで6桁までの小数点を丸めずに扱うならFLOAT型を使うべき理由」という記事が目に止まったことです。それなりに人気を集めている記事のようですが、私の読んだ限りではFLOAT型を使うだけの根拠が文中から読み取れず、さらに類似する一次情報や英語記事が全く見つからなかったので、真偽が怪しい情報だと感じました。 その後、MySQL上で実験したりCソースコードを読んでみたりした結果、私の得た結論は真逆のものになりました。MySQL警察の方や浮動小数点数警察の方、追試や反論など頂けると助かります。 MySQLのFLOAT型とは MySQLのFLOAT型は原則としてIEEE754浮動小数点数単精度型（32bit）で実現されます*1。
9章 ラウンディングエラー(丸め誤差)より floatを使う場合に精度に注意すべきという点については同意です。 SELECT * FROM Accounts WHERE hourly_rate = 59.95; このため、account_idが123の行hourly_rate列にサイド59.95を割り当てても、リテラル値59.95とは等価になりません。 Accounts.hourly_rateがfloat型のとき、MySQLとは異なりPostgreSQLでは、このクエリは59.95が格納された行を返却する。 これはMySQLでのfloat型が単精度であるのに対して、PostgreSQLのfloat型は倍精度だからだ。単精度浮動小数点型であるreal又はfloat4を使うとMySQLと同様マッチしなくなる。 この時点でもうfloatのことなんて考えたくなくなるところだ。 さてAccounts
今回は Python の O/R マッパーである SQLAlchemy と MySQL ドライバの mysqlclient を使ってマルチバイト文字を扱うときの注意点について書いてみる。 ただし RDBMS については MySQL ではなく、代わりに MariaDB を使った。 注意点というのを先に書いてしまうと、接続先 URL で charset を指定するのを忘れないようにしましょうというところ。 使った環境は次の通り。 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ uname -r 3.10.0-327.18.2.el7.x86_64 MariaDB をセットアップする まずは下準備として MariaDB をインストールして設定する。 CentOS 7 では標準の RDBMS が MySQL ではなく
リポジトリの標準でないバージョンにmysqlを入れたいとき、mysql-community-serverを入れることはよくあると思います。 その関連でひっかかったエラーを忘備録として残します。(あんまりググっても引っかからなかったので) 遭遇したエラーと解決策 エラー pip install flask-mysqldb時にOSError: mysql_config not found 解決策 sudo yum install mysql-community-devel 遭遇したエラー pip install flask-mysqldb 以下のエラーメッセージ Collecting flask-mysqldb Using cached Flask-MySQLdb-0.2.0.tar.gz Requirement already satisfied (use --upgrade to upgr
WEBのシステム開発はPHPを使用していますが、データ解析等のため Python3 の研究を始めました。Python3 は日本語の情報がとても少ないので、エンジニアや学生の皆さんに役立ちそうなことをブログ記事として共有できればと思います。 この記事では Python3 で MySQL に接続する方法、エラー処理（例外処理）、サンプルによるCRUD（※）、PHPer向け注意点についてまとめました。なおサンプルは Django 等、特定フレームワークの ORM ではなく、SQLの直接実行例です。 SQLite3 は Python3でSQLite3を使う – 基本操作からエラー処理までサンプルコード付を参照ください。 ※ CRUD とは Create（生成）、Read（読み取り）、Update（更新）、Delete（削除）の略です。MySQL の場合Read に相当するのは主に Select 文
何でこんなくだらないもの書くの？ Youtubeにアップロードされた動画再生数だけ取得したい。 ……と、pythonのサンプルをいじってた時に思ったので覚書。 直接Youtubeで見れば良いじゃん！ですが、videoIdだけ取得出来てる状態の時に使えるかもしれない。 引数のidにはカンマ区切りで複数指定できます。 タイトルやチャンネルIDも表示させてますが、件数だけ欲しい人は、 part="id,snippet,statistics を part="statistics" このようにstatisticsだけ指定してください。 # !/usr/bin/python from apiclient.discovery import build from apiclient.errors import HttpError from oauth2client.tools import argpars
Python 3 から MySQL を操作する方法を調べると Python 2 の情報や古い情報が多くヒットしてわかりづらかったのでまとめる。 環境は Python 3.6 を利用している。 パッケージ mysqlclient というパッケージもあるが、MySQL 公式の mysql-connector-python-rf というパッケージがあるので今回はこちらを使う。 [2018-12-03 追記] mysql-connector-python-rf は更新が止まっており、同じく MySQL 公式の mysql-connector-python というパッケージがあるらしいので注意。詳しくはコメント欄を参照。 ふたつのパッケージのメリデメはあまりわかっていないが、mysqlclient でクエリの結果をディクショナリとして扱う方法を見つけられなかったので個人的には mysql-conne
Obtaining authorization credentials Stay organized with collections Save and categorize content based on your preferences. Your application must have authorization credentials to be able to use the YouTube Data API. This document describes the different types of authorization credentials that the Google API Console supports. It also explains how to find or create authorization credentials for your
はじめに このドキュメントは、YouTube と情報をやり取りするアプリケーションを作成するデベロッパーの方を対象としています。このドキュメントでは、YouTube および API 自体の基本的な概念について説明します。また、API がサポートするさまざまな機能の概要についても説明します。 始める前に Google API Console へのアクセス、API キーのリクエスト、アプリケーションの登録を行うには、Google アカウントが必要です。 Google Developers Console でプロジェクトを作成し、認証情報を取得して、アプリケーションが API リクエストを送信できるようにします。 プロジェクトを作成したら、YouTube Data API が、アプリケーションで使用するよう登録されているサービスのいずれかであることを確認します。 API Console に移動し
以外と原因に気づかなかったりするんですよねこれ。 MySQLを使っていて、たまに以下のようなエラーが起きる事があります。 [SQLで例外(Message=[Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation 'like'], ErrorCode=1267, SQLState=HY000)が発生しました。エラーメッセージ通りなら、文字コードが何か誤っている、という事なのですが、具体的に何が原因なのでしょう。 よくあるエラーケース MySQLのバージョンは5.5〜5.7が対象になります。この記事の事を実際に試したい場合は、docker-machineでmysqlのコンテナを作るとよいです。以前書いたこちらの記事も合わせてご覧下さい。 www.bu
mysqlの文字コードはチェックする場所が多いので原因を突き止めるのに毎回苦労します。 大きく二種類に分けられて、 クライアント側、サーバー側（mysqlサーバー）、及びそれらの接続の文字コード データベース/テーブル/カラムの文字コード です。 デフォルトをきちんと設定しておく そもそも作成したDBの文字コードが意図しない設定になっていたら、デフォルトの設定が間違っている可能性が高いので、再度同じ問題を起こさないためにも、設定見直し→DBをdrop→DBをcreateという順番で直しに行きます。 1も2もデフォルトの設定は下記を実行すればok。 +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+-----------
RDSではDefaultでcharacter-setにlatin1が割り当てられる為、日本語を利用する際はutf8などに変更してあげる必要がある。 ##Step1 RDSダッシュボードの左メニューからParameter Groupsを選択する。 Create DB Parameter Groupを選択し、 DB Parameter Group Family DB Parameter Group Name DB Parameter Group Description をそれぞれ選択し、設定を行うDBの種類、パラメータグループの名前と説明を入力し、"Yes, Create"で作成 ##Step2 パラメータグループが出来たことを確認したら、作成したグループの詳細ページからEdit Parametersを選択し、 character_set_client character_set_connec
AWSのRDSにMySQLのインスタンスを作成し、RailsからDBを作成した際に、日本語が文字化けしていた。 RDSは下記の手順で作成していた インスタンスの作成 パラメータグループの作成し、下記の項目にutf8を選択 character_set_client character_set_connection character_set_database character_set_results character_set_results 作成したインスタンスのパラメータグループを２．で作成したパラメータグループに変更 インスタンスの再起動 これで日本語対応完了と思っていた。 実際にRailsのアプリからデータを投入すると、投入したデータの日本語が文字化けしている。 EC2にSSHで接続し、EC2からRDSにmysqlCommandでアクセスしてDBの状態を確認する。 mysql -h
mapper の設定¶ この節では、 mapper() や relation() といった、オブジェクトとリレーションの間を マッピングする際に最もよく使う設定パターンについて解説します。この節を読む 前に、 オブジェクトリレーショナルマッパ チュートリアル を一通り終えて、 mapper や relation の初 歩的な使い方を学んでおいてください。 カラムプロパティ (column property) のカスタマイズ¶ mapper は、特に指定のない限り、マップ対象の Table クラス内に定義された全てのカラムを、マッ プ後のオブジェクトのアトリビュートに結びつけます。この挙動を変更するにはい くつか方法があり、 SQL 式を使ってより複雑なこともできます。 テーブルクラスが参照しているカラムのうち、一部だけをアトリビュートとして読 み出させるには、 include_proper
How can I use ORDER BY descending in a SQLAlchemy query like the following? This query works, but returns them in ascending order: query = (model.Session.query(model.Entry) .join(model.ClassificationItem) .join(model.EnumerationValue) .filter_by(id=c.row.id) .order_by(model.Entry.amount) # This row :) ) If I try: .order_by(desc(model.Entry.amount)) then I get: NameError: global name 'desc' is not
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く