Unverified details These details have not been verified by PyPI Project links Homepage Meta License: MIT License (MIT) Author: Jonathan Goldsmith Tags python, wikipedia, API Wikipedia is a Python library that makes it easy to access and parse data from Wikipedia. Search Wikipedia, get article summaries, get data like links and images from a page, and more. Wikipedia wraps the MediaWiki API so you
「Rによるスクレイピング入門」という本が3週間後に出る予定です。 日本のR界の出版王こと石田基広先生をはじめ、ホクソエム株式会社の名参謀・市川さん、人を死に至らしめる程のR力を誇るという瓜生さん、という豪華な著者陣に並んで、私もウェブAPIに関する節をいくつか担当させていただきました。 Rによるスクレイピング入門 作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/25メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る えっ、ウェブスクレイピングの本じゃないの？ と思ったかもしれませんが、この本は、ウェブスクレイピングの本でありウェブAPIの本でもあります。「広大なインターネット上のデータをRで扱う方法」みたいなことについて書かれた本です。たぶんタイトルでスクレイピングの本として認識する方が多いと思うので、
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
こんな事象に陥る人が他にいるのか分からないのですが、ググって解決しなかった問題が解決したので、せっかくだからメモしておきます。 Pandasのデータフレームに、整数型で値が入っている列があるとします。 >>> import pandas as pd >>> import numpy >>> >>> df1 = pd.DataFrame({ ... 'ID':[123456789012345678, 123456789012345673, 12345678901234567], ... 'Name':['Ichiro','Jiro','Saburo'] ... }, ... columns = ['ID', 'Name'] ... ) >>> >>> type(df1['ID'][0]) # 列ごと取り出すとPandasのSeriesですと言われるので <class 'numpy.int64
2013年のいま、API界隈が熱い！ 今年に入り、官公庁の統計データやNHKの番組情報など、今までなかなか利用できなかったデータがAPIとして扱えるようになってきました。このエントリでは現在公開されているAPIを一覧でまとめます。いま使えるAPIはこれだけ読めば大丈夫。2013年の最新マッシュアップ事情をあますとこなく網羅します！ HOT! API 総務省 次世代統計利用システム（国勢調査、人口推計、就業構造、企業統計、物価統計 etc.） NHK番組表（※未公開） 行政・自治体・公共サービス 郵便番号 郵便番号検索API（郵便番号 → 住所） 郵便専門ネット（郵便番号 → 住所、郵便番号の簡易存在チェック） ぽすたん（郵便番号 → 住所、住所 → 郵便番号） IW3 PROJECT（郵便番号 → 住所、住所 → 郵便番号） 宇宙 Google+ JAXA PR（※現在一部の学生に限定公開
先日公開したスコアアタックしりとりもまだ予定のすべての機能が完成したわけではないのですが、最近は次は何作ろうかなということを考えて様々なサービスのAPIを調べています。 今回WikipediaのAPIに接続して情報を取得するクラスを書いてみました。 Wikipediaの、と書きましたがWikipediaに使われているソフトであるMediawikiを使用したサイトであればAPIは共通なのでWikipedia専用というわけではありません。 Wikipedia APIの仕様についてはMediaWiki API ヘルプ - WikipediaなどAPIに引数なしでアクセスすることで見ることができます。 このクラスではURLのパラメータに当たる部分を辞書で引数に渡しインスタンスを作成すると、すぐにAPIに接続し受け取ったレスポンスをDOM化します。DOMはインスタンスのdomというプロパティからアク
wikipediaには公式APIがないため、ダンプしたものをこちらにダウンロードしてそれをパースしてDBにいれて使うのが一般的だった*1けど、いつのまにか公式APIが出来てた模様。 しかもログインや編集などかなりいろいろできる模様。ただしログインは暗号化せずにパスワードをやり取りするのであまり安全ではなさそうだ。 使い方はAPIのエンドポイントを見ればわかるのだけど、簡単にメモ。 ドキュメント エンドポイントにパラメータなしでアクセス。 →wikipedia 公式apiのドキュメント wikipediaはmediawikiというソフトで動いているのでそっちのヘルプも有用。 →API:Data formats/ja - MediaWiki 出来ること opensearch(検索。ブラウザの検索窓対応用) login/logout(ユーザのログイン・ログアウト) query(ページ情報表示)
はじめに 内容 MediaWiki APIを使うとWikipediaの情報をAPIを使って取得できる。 例えば次のようなことが可能。 記事の内容を取得 記事からのリンクや記事へのリンクの一覧を取得 記事を含むカテゴリを取得 記事で使われているテンプレートを取得 Wikipediaへのログイン・ログアウト 記事の編集 フォーマットはXML, JSON, YAMLなどに対応している。 今回は主に記事に関する情報を取得する方法を紹介する。 より詳しい内容は公式ドキュメントを参照。 2014-12-19 追記: ~~こちら~~でAPIサンドボックスが使えるようです。 @yukichi さん、ありがとうございます。 2018-07-14 追記: APIサンドボックスのURLが変更されたようです。 @mizoe@github さん、ありがとうございます。 注意 Wikipediaの提供するMediaW
はじめに 前回は、OAuth認証を利用する方法と、Twitterのアプリを開発するための登録までを説明しました。今回は前回に続いて、Excel VBAでOAuth認証を実装する方法を説明します。 動作確認は、Windows 7、Excel 2010、VBA 7.0およびWindows XP、Excel 2007、VBA 6.5で行っています。 Excel VBAでWebサービス - 天気予報を取得してみよう Excel VBAでWebサービス - MSNマネーから株価の推移を取得しよう Excel VBAでWebサービス - Excelで書籍情報を検索・取得してみよう Excel VBAでWebサービス - YouTube APIで動画を検索しよう Excel VBAでWebサービス - ExcelでTwitterと連携する OAuth認証部分の開発 Excel 2010を起動した後、以下
API設計を学ぶべき背景と前提知識、外部APIと内部API、エンドポイント、レスポンスデータの設計やHTTPリクエストを送る際のポイントについて解説する。おまけでAPIドキュメント作成ツール4選も。 【0分】API設計を学ぶべき背景 APIの公開が増えている 最近、自社で保有するデータや、システム、アプリケーション、Webサービスの機能を「API（Application Programming Interface）」として公開する企業が、増えてきています。これに伴い、「API経済圏（APIエコノミー）」という新たなビジネスモデルが確立されつつあります（参考：5分で絶対に分かるAPIマネジメント、API経済圏）。 「ProgrammableWeb」というAPIに関するニュースサイトや、さまざまな企業が提供するAPIのリンクがまとまったサイトもあり、APIの普及はものすごいスピードで進んでいる
私が著作権を放棄しているのは deztec.jp 内のコンテンツだけです。「矛盾」を指摘する前によく読んでほしい。また、いくつかのご意見に対して補足の記事を書きました。ぜひご一読を。 Togetter と Twitter API の利用規約：補足 1． 私は先月よりTwitter社のサポートに問い合わせをしてきました。 【問い合わせの要点】 「私がいったん公開した後に削除または非公開にしたツイート」を、 私に断りなく転載・公開し続けるサービスは、 Twitter の API の利用規約に違反しているか? 【私の希望】 「はい、違反しています」or「いいえ、違反していません」 いずれかの回答をいただきたい。 Twitterのサポート担当者は、削除済みツイートの無断転載を続けるサービスはTwitter APIの利用規約に違反していることを明言してくださいました。この応答はTwitterサポート
ついにコレを試すときが！ REST APIについては今まで何度か使ってたけど、こっちは初。 わくわくですね。 Streaming API REST APIと同じく、Developer登録すれば使えるようになります。 こっちからどういうものが欲しいかを決めて、そのエンドポイントへそれぞれリクエストして初めて結果が得られるRESTと違って、なんでもかんでも流しこまれるのがコチラ。 どんなデータが混じってくるのか、取得できるデータは下記リンク参照です。 参考：Streaming message types | Twitter Developers そのほか、 レートのリミットがないので、利用出来るならREST APIより優先的に利用せよ ただし、十分に帯域のある環境(モバイルは・・)で使いなさい 再接続の仕組みをしっかり組んだりしてください などなどドキュメントは一回読んでおくべきですね。 大き
近年、公共機関などでもAPI提供が行われてきており、格段にできることの幅が増えてきました。 今回は、様々なシーンで使える公共機関や関連サービスが提供するAPIをまとめてご紹介します。 自社サービスに活用できそうなものがあれば、ぜひ使ってみてください。 ※掲載中の利用料金、使用条件は2015年9月25日時点の情報です。今後情報が変更となる可能性がありますのでご了承ください。 なお、料金についての情報が記載していないものについては個別対応としております。 様々なサービスに活用できる公共施設のAPIまとめ 1.RailGo http://www.railgo.jp/guide.html イースト株式会社が提供する、経路探索APIです。 「駅すぱあと」をメソッド化したもので、駅情報を検索したり、駅配列から経路情報を検索したりできます。 また、ホームページ上で体験サービスも提供していますので、気軽に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く