2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共...
(logmi.jp)
ケンコー・トキナーは、Lensbaby製レンズ「Spark2.0」7種を3月26日より販売開始すると発表。対応マウントはキヤノンEF、キヤノンRF、ニコンF、ニコンZ、ソニーE、富士フイルムX、マイクロフォーサーズを用意する。
「流れるようなボケが得られる」とうたうレンズ。蛇腹で、ティルト（傾き）や画面内のピント位置のコントロールできる。レンズ部分は「Sweet 50」を採用した。また、同社は「どんな被写体もユニークに演出する」と発表している。
価格はいずれもオープン。
「Spark2.0」に関する他の記事
hscj2019_ishizaki_public 1. 石崎 一明 日本アイ・ビー・エム（株）東京基礎研究所 @kiszk DataFrameとDatasetの内部をのぞいてみる 1 2. About Me – Kazuaki Ishizaki ▪ IBM Research – Tokyoで研究...
(www.slideshare.net)
Looking back at Spark 2.x and forward to 3.0 1. Kazuaki Ishizaki (石崎 一明) IBM Research – Tokyo (日本アイ・ビー・エム（株）東京基礎研究所) @kiszk Looking back at Spark 2.x and forward t...
(www.slideshare.net)
この記事はOpt Technologies Advent Calendar 2017の11日目です。 概要 EMR、Hadoop、Sparkそれぞれの関係を、試しに動かしてみたりドキュメントに当たることで理解する。 それによって、何が起きてい...
(qiita.com)
目的 今回は海外コースについて焦点を当てておススメを紹介しています 英語ということで不安に思う方もいるかとは思いますがご安心を。 ある程度基礎的な技術があれば、英語が聞き取れなくても コード...
(qiita.com)
What's New in Upcoming Apache Spark 2.3 1. What's New in Upcoming Apache Spark 2.3? Xiao Li Feb 8, 2018 2. About Me • Software Engineerat Databricks • Apache Spark Committer and PMC Membe...
(www.slideshare.net)
Quick Start Security Interactive Analysis with the Spark Shell Basics More on Dataset Operations Caching Self-Contained Applications Where to Go from Here This tutorial provides a quick i...
(spark.apache.org)
Incubating Apache Hivemall 1. Incubating Apache Hivemall Research Engineer, Treasure Data Makoto YUI @myui @ApacheHivemall 12018/2/15 Plazma OSS day 2. Hivemall entered Apache Incubator o...
(www.slideshare.net)
AWS Big Data Blog How I built a data warehouse using Amazon Redshift and AWS services in record time This is a customer post by Stephen Borg, the Head of Big Data and BI at Cerberus Techn...
(aws.amazon.com)
With the transition to iPad Pro as my primary computer fully achieved in 2016 and not surprising anymore, in 2017 I turned my attention to three other key areas of my life: working with t...
(www.macstories.net)
This repo contains a library for loading and storing TensorFlow records with Apache Spark. The library implements data import from the standard TensorFlow record format (TFRecords) into S...
(github.com/tensorflow)
Apache Spark Streaming + Kafka 0.10 with Joan Viladrosariera 1. Joan Viladrosa, Billy Mobile Apache Spark Streaming + Kafka 0.10: An Integration Story #EUstr5 2. About me Joan Viladrosa R...
(www.slideshare.net)
PythonからSparkを利用するための機能、PySparkを使いこなすテクニックとノウハウを習得する書籍です。はじめに高速になったSpark 2.0の特徴とアーキテクチャを解説し、次に構造化及び非構造化データの...
(www.oreilly.co.jp)
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておき...
(qiita.com)
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 1. 1© Cloudera, Inc. All rights reserved. Apache Kuduは何がそんなに 「速い」DBなのか？ Takahiko Sato - Sales Engineer at Cloudera Sep ...
(www.slideshare.net)
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, ...
(qiita.com)
Today we are happy to announce the availability of Apache Spark 2.2.0 on Databricks as part of the Databricks Runtime 3.0. This release marks a major milestone for Structured Streaming by...
(databricks.com)
2018-03-06 追記: EMRFS S3-optimized Committer が新たにリリース]され，EMR 5.19.0 以降のリリースバージョンで利用可能になりました．また 5.20.0 からはデフォルトの Committer となっています．こ...
(smrmkt.hatenablog.jp)
Apache Spark上でBigDLのtutorialを動かしてみたのでメモ。BigDLの設定とtutorialを動かすところまでを書きます。BigDLのAPIとかプログラミング部分はノータッチです。 BigDLとは?Apache Spark上で動作...
(ishiis.net)
This is the fourth post in a multi-part series about how you can perform complex streaming analytics using Apache Spark. Continuous applications often require near real-time decisions on ...
(databricks.com)
ゼロから始めるSparkSQL徹底活用！ 1. / 76 ゼロから始めるSparkSQL徹底活用！ ～Sparkのインストールから、 SparkSQLの概要紹介、 実務で活用するためのノウハウまでを紹介します～ ビッグデータ部 加...
(www.slideshare.net)
TL;DR: Pure Java 実装な XGBoost 互換の予測専用モジュール xgboost-predictor を基に、Apache Spark 上で お手軽 に XGBoost の予測モデルをロードしたり予測を実現するモジュール xgboost-predictor...
(k11i.biz)
前回は、Apache SparkのQuick Guideを読み進めて、Sparkの動作を実際に確認してみました。 tmnj.hatenablog.com tmnj.hatenablog.com 今回は、Sparkのクラスタ構成に挑戦してみたいと思います。 まずは...
(tmnj.hatenablog.com)
AWS Black Belt Online Seminar 2016 Amazon EMR 1. 1 【AWS Black Belt Online Seminar】 Amazon EMR アマゾン ウェブ サービス ジャパン株式会社 2016.10.26 2. 2 自己紹介 名前：半場 光晴（はんば ...
(www.slideshare.net)
高度な機械学習アプリや分析アプリの構築、デプロイを支援：マイクロソフト、「Linuxデータサイエンス仮想マシン」の最新コンポーネントを公開 マイクロソフトは、Azureクラウド上のカスタムVMイメージ...
(www.atmarkit.co.jp)
こんにちは！Spark大好きな朴です。 本日はSpark 2.0で大幅の改善が行われてたSpark SQLについて書こうと思います。 弊社ではCDHのバージョンアップをこまめに行うことでSpark,HBaseなどのプロダクトの...
(lab.astamuse.co.jp)
Scalable Spark Deployment using Kubernetes - Part 5 : Building Spark 2.0 Docker Image In last few posts of our kubernetes series, we discussed about the various abstractions available in ...
(blog.madhukaraphatak.com)
米ボストンのハインズコンベンションセンターで米国時間2月7日～9日に開催された「Spark Summit East」には、開催施設の変更や、移動を邪魔する北米大陸北東部特有の嵐などの困難にもかかわらず、1500...
(japan.zdnet.com)
RStudio社が提供しているsparklyrを使うと、Sparkクラスターに格納されている大規模なデータに対して、普段お使いのR言語から簡単に処理をすることが出来ます。 sparklyrとは、大規模なデータに対して...
(blog.cloudera.co.jp)
Analyzing US flight data on Amazon S3 with sparklyr and Apache Spark 2.0 We posted several blog posts about sparklyr (introduction, automation), which enables you to analyze big data leve...
(blog.cloudera.com)
Spark 2.x Troubleshooting Guide 1. © 2017 IBM Corporation Spark 2.x Troubleshooting Guide IBM Big Data Performance Jesse Chen, jesse.f.chen@gmail.com 3/2017 2. © 2017 IBM Corporation2 Tro...
(www.slideshare.net)
山縣です。 新年あけましておめでとうございます。 本年もよろしくお願いいたします。 去年弊社の福田が CDH のアップグレードをしてくれてSpark が1.6系になるとともに、並行してSparkの2.0が使えるよ...
(lab.astamuse.co.jp)
はじめに 前回は、Sparkで処理を実行したときのボトルネック箇所と、その対策について解説しました。今回は、「本検証のシナリオではどのようなクラスタ構成が良いか」検証した結果を解説します。 Spar...
(thinkit.co.jp)
Spark Summit will be held in Boston on Feb 7–9, 2017. Check out the full agenda and get your ticket before it sells out! Try this notebook in Databricks We are well into the Big Data era,...
(databricks.com)
What's new in Elasticsearch v5 1. What’s New in v5 1 2. 2 2010 2012 2013 2014 2015 2016 First version of Elasticsearch released in February 3. 3 2010 2012 2013 2014 2015 2016 Elasticsearc...
(www.slideshare.net)
処理時間の増大という性能問題を解決するには、その問題が発生している箇所と処理過程を特定する必要があります。そのため、まずはSparkのデータ処理の概要を解説します（図1）。 Sparkでは、Map処理か...
(thinkit.co.jp)
Sparkの概要 Apache Sparkは高速で汎用的なクラスタコンピュータシステムです。Java, Scale, PythonおよびRの高レベルのAIPを提供し、一般的な実行グラフをサポートする最適化されたエンジンを提供しま...
(mogile.web.fc2.com)
Spark MLlibでリコメンドエンジンを作った話 1. Spark MLlibで リコメンドエンジンを 作った話 2016/12/21 株式会社オプト 柴田 幸輝 2. Agenda ・自己紹介 ・SparkをEMRで動かす話 ・MLlibでリコメン...
(www.slideshare.net)
“Distributed computing (Apache Hadoop, Spark, …) Advent Calendar 2016” の 12/19 担当ということで、Spark 2.0 on EMR で Spark Streaming と Structured Streaming をやってみた結果を書きます。 ...
(moomindani.wordpress.com)
Since the creation of Apache Spark, I/O throughput has increased at a faster pace than processing speed. In a lot of big data applications, the bottleneck is increasingly the CPU. With th...
(www.youtube.com)