Android / Java と OpenGL ES 2.0 の要点

以下のような人（要するに僕自身のケースと同じ）を対象にしている：

  • Android / Java のアプリ開発についての一般的な理解はある
  • ImageView.onDraw や SurfaceView による動画ならそれほど苦労せずに理解できた
  • しかし、OpenGL (ES 2.0) のことになると色んな解説やサンプルコードを見ても理解に苦しんで中々はかどらない

なぜ OpenGL はわざわざああいうことをするようになっているのか？

ImageView.onDraw や SurfaceView による動的グラフィックスなら理解しやすかった人にとって、動画とは、パラパラ漫画のようなものというほとんど無意識的な大前提があるわけだ。パラパラ漫画に限らず、映画やアニメなど、世の中の映像記録方式としては、こちらが圧倒的主流。ImageView.onDraw や SurfaceView の場合も、ループを回して、フレームバッファに次々とコマを描き込むだけ。

ところが、OpenGL はそれを許してくれないので、何か物凄く高度な、GPU のハードウェア的な性能を引き出すために、OpenGL の API を通じて描画する必要があるのかと、勘違いする。実際はそう（高度な GPU のハードウェア的な性能を引き出した上でレンダリングするのが目的の API 体系）ではないので、架空の妄想を相手に戦う羽目になり、決して勝利することができない戦いに挑む形になる。

OpenGL はそもそも、パラパラ漫画的なことをプログラマーが自らやることを想定していない（GPU 側の内部処理として行われる）。その一歩手前の部分（モデリング）を主にするのがプログラマーの仕事。モデルを基にしてラスタライズしてフレームバッファに落し込む処理は、GPU 側が（プログラマーが予め定義したフラグメントシェーダーに従って）内部的に行う形になっている。つまり、プログラマーがすべき仕事の領域がそもそも異っている点に気付かなければならない。

言ってみれば、フレームバッファ描き込みによるパラパラ漫画的動画はチカチカと瞬く GIF アニメみたいなもので、OpenGL はヌルヌル動く Flash アニメーションみたいなもの（Flash ももう過去の遺物だが……）。他にも、ペイント系グラフィック（ビットマップ画像、JPEG、PNG、Adobe Photoshop、GIMP）とドロー系グラフィック（ベクター画像、SVG、Adobe Illustrator、Inkscape）の違いと言えば話は早いだろうか。

ビットマップを定義ベクターモデルを定義
フレームバッファ書き込みOpenGL
GIF アニメFlash アニメ
JPEG、PNGSVG
Adobe PhotoshopAdobe Illustrator
GIMPInkscape

ドロー系グラフィックを考えると簡単

そこで、Inkscape（Adobe Illustrator でも同じようなものだろう）を考えてみよう。使ったことのない人は簡単な三角形のオブジェクトを作成して、輪郭線に色を塗り、さらに、内側に色を塗る程度の操作をしてみるといい（その程度のことをするためのチュートリアルは Web 上にいくらでも見つかるだろう）。

OpenGL でプログラマーが API を通じて GPU に与えなければならない情報は、まさしくそれ。ベクターモデルに関する情報を与えているのである。オブジェクトの形そのものは、頂点で定義できる。ただし、これではオブジェクトのモデルだけであり、結果としての画像出力は空白のままである。頂点を結んだ辺（Inkscape ではストロークと呼ばれている）の太さや色、さらに辺で囲まれたポリゴンの面の色やテクスチャー（Inkscape ではフィルと呼ばれている）を定義することで、ラスタライズされた最終出力としてのビットマップがフレームバッファに描き込まれるわけである。

シェーダーとは

ベクターモデルを立体空間の中に配置することによって、画面のどの位置にあるのかを決定するのが、バーテックスシェーダー。配置されたベクターモデルに対し、ストロークやフィルをどのようにするかを決定するのが、フラグメントシェーダーである。

このように、ドロー系のベクターグラフィックスアプリを想定すると、OpenGL がなぜあのような API 構成になっているのかが、明快に理解できるのではないだろうか。

Java 固有の問題

さらにもう一つ、OpenGL そのものではなく、Java 固有の問題というか、OpenGL 利用時に配慮しなければならないポイントがある。それがダイレクトバッファ（ByteBuffer）である。Java は本来 JavaVM で処理することを念頭に置いているので、メモリーも JavaVM 内のヒープ領域を使うことがデフォルトである。これでは、GPU とのデータのやりとりに効率が悪いので、Java で OpenGL を使う場合はダイレクトバッファを通じてデータを転送する。ByteBuffer を使った特有の処理の記述があるのはそれが理由であると考えておけばいい。

コメント

コメントを投稿

このブログの人気の投稿

清水俊史『上座部仏教における聖典論の研究』

清水俊史さんという仏教学者（佛教大学出身）が、東大教授（花園大学卒→東大編入 or 再入学？）の馬場紀寿氏と論争の末、アカハラ被害に遭い、さらには出版妨害に遭った（参考： 日本テーラワーダ仏教教会 事務局長 佐藤哲朗さんの YouTube 動画 ）という、問題作であるこの本を読んだ。 佐藤さんが紹介している Amazon の書評リンク にもある通り、この清水さんの本は、馬場氏の（今の東大教授としての地位へとつながる博士論文を母体とした）デビュー作『上座部仏教の思想形成――ブッダからブッダゴーサへ』の内容を完全否定するものである。 主に、清水さんの本の 3 部構成のうちの第 1 部がそれ（馬場説の完全否定劇）に該当する。 総括 第 1 部では、ブッダゴーサやダンマパーラに帰せられる著作群を主な材料として、小部の成立を軸とした三蔵の形成過程を考察した。以上をまとめれば、仏滅後からブッダゴーサを経てダンマパーラに至るまでに、三蔵は次のような段階を経て成立したと推定される。 仏滅後に残された様々な教えは、仏弟子たちによって、その内容に応じて律蔵と『長部』『中部』『相応部』『増支部』という経蔵四部とに収められ、僧団内にいる長部誦者や持律師と呼ばれる専門家たちがこれを伝承していった。この律蔵・四部から漏れた様々な種類の経典（主に偈頌経典）は、他の四部に比してより在家的・通俗的な蔵外文献として伝承され、『ジャータカ』と『ダンマパダ』の例外を除いて専門の誦者や伝持者は僧団内に存在しなかった。 これら四部の外側に累積していった蔵外文献（主に偈頌経典）は、 後に経蔵の第五部「小部」として三蔵内に組み込まれるが、経蔵が五部に再編成された後も小部の構成は固定的ではなく流動的であった。そのため、小部のうちには、成立が早いとされる『スッタニパータ』『ダンマパダ』といった韻文経典のみならず、成立が遅いと考えられ る『義釈』『無礙解道』といった教理書も収められている。このような編纂事情ゆえに、上座部における小部の伝持形態は、「小部」というーまとまりのセットで伝持するという意識が希薄であり、各々の文献単位で別個に伝持されていった。 また、小部の成立だけでなく、阿毘達磨蔵七書と律蔵附随の成立も遅いことが考えられるが、これら小部・阿毘達磨蔵・律蔵附随の成立の具体的な先後関係は不明であ
続きを読む

シークエンスパパともの先見の明

イメージ
先日、シンクロニシティ的に、故・シークエンスパパともが 2 年前に行った未解決事件に対する霊視が、ギャル霊媒師飯塚唯氏が最近行った霊視と、互いに補完し合うような内容であるということを ブログに 認 したた めた ばかりである。 ところで、さらにもう一つの、パパともの霊能力に関する（僕にとって）シンクロニシティ的なタイミングで到来した情報が発生した。 シークエンスはやとものチャンネルの動画などを観るようになったのがきっかけで、YouTube のお勧めに、オカルト系のチャンネルが多数表示されるようになってきたのだが、その一つに「都市ボーイズ」という都市伝説を中心としたオカルト系チャンネルがあった。こういうものを観だしたらキリがないので、基本はスルーしていたのだが、その都市ボーイズ（放送作家の岸本誠と早瀬康広のコンビ）がチャンネルにはやともがゲストで出演して生霊鑑定を行っていたのを観たので、そこから芋蔓式に都市ボーイズのチャンネルの動画も何本か観たりするようになった。 都市ボーイズはやせの黒魔術 当初は、はやせ（早瀬康広）に「黒い呪いのようなものがまとわりついている」という、はやともの生霊鑑定の結果を深掘りすべく、関連する動画を追った。はやせは、呪物コレクターであり、その上、最近（約 10 ヶ月前に公開された動画）、「呪いを飼い馴らして、黒魔術的な力を自分のものにする」という修行というか通過儀礼を行っていたというのである。 儀式を無事に終えて台湾系の呪術師に合格が認められたはやせは、「数年以内に自動的に能力が開花し、自分で自覚するだろう」と言われたという。 都市ボーイズはやせを怒らせた霊能者 そのようなはやせを擁する都市ボーイズだが、先日、「【テレビの闇】インチキ霊能力者にテレビ出演邪魔されました！【インチキ霊能者】」という刺激的なタイトルの動画が、たまたま僕が暇だった時、公開されたばかりのタイミングで見つけてしまったので、早速その動画を観た。 約 1 年前、とある霊能者の霊的な〝脅迫〟によって、はやせはテレビ出演を直前で降板させられてしまったそうである。 僕は、テレビは観なくなって久しい人間で、それこそ霊能者というとシークエンスはやともの言う「心霊第 3 世代」の宜保愛子で止まっていて、江原啓之ですら雑誌の見出しで名前を知っ
続きを読む

シークエンスパパとも 本物の霊能力

イメージ
シークエンスはやともを知ったきっかけ TV を見ない僕がシークエンスはやとも（YouTuber。吉本興業所属）の存在を知ったのは、今年の春（3 月か 4 月）の頃だったと思うが、YouTube でふと宜保愛子の動画を探していて、彼が宜保愛子を称賛するものを見つけて以来だったと思う。 それ以来いくつかの彼の動画をちょくちょく観るようになって、彼の霊能力が父親（シークエンスパパとも）譲りであり、パパともも息子のはやともに勧められて（癌闘病の傍ら）YouTuber として活躍していたのだが、残念ながら今年 1 月末に逝去していた、ということなどを知るようになった。 シークエンスパパともを知ったきっかけ はやとも流れでパパともの動画を観るきっかけになったのは、画面脇のお勧めに出ていた親子対談の動画を見たのが切っ掛けだった。 そこでのパパともの宮本武蔵に関するコメント（「晩年の宮本武蔵は一生懸命仏像を彫ったりしていたが、（若い頃）子供の道場主を殺したりしていたことによる怨霊は除霊できなかった」）に少しシビれた。息子のはやともが、まだ若いせいもあって、ちょっと話がマクロな（思想論や社会論的な）方向に行くと、厨二病的な傾向があるのには食傷気味な感じがあった。一方で、パパともの宗教・倫理観的な考えの方がその点、人間的な深さを感じるものがあったので、それがパパともに興味を引かれたきっかけだった。 パパともの霊能力に衝撃を受けた理由 そこで、初めて、パパとものチャンネルの動画もいくつか観たりしたのだが、「未解決事件を霊視する」という中々に攻めた企画を初期にやっていて興味深かったのだが、中に、上野の不忍池での事件（僕自身はこの 2006 年の事件については知らなかった）を扱ったものがあった： 「あっ！」と思ったのが、奇しくも前日（2023-06-28）、全く別のチャンネルの別の動画で、霊媒師が同じ事件を霊視するという企画のものを観ていたのだった： 千原せいじの YouTube チャンネルで、彼がコラボをしている飯島唯という通称・ギャル霊媒師の方が霊視をしている。 パパともの動画は 2021-05-12 と 2021-05-15 に公開されたものであるのに対し、ギャル霊媒師の動画は 2023-06-28 公開であり、僕はたまたま公開
続きを読む