Site updated at 2014-11-16 05:11:35 UTC

Author: algolov

atom.xml

@@ -9,7 +9,8 @@
   <meta name="author" content="Golovko Aleksander">
 
 
-  <meta name="description" content=" Blog Archive Recent Posts ">
+  <meta name="description" content=" Blog Archive 2014 Json and Scala
+Mar 09 2014 posted in argonaut, json, play json, scala, spray json Recent Posts Json and Scala ">
 
 
   <!-- http://t.co/dKP3o1e -->
@@ -30,8 +31,20 @@
 <link href="//fonts.googleapis.com/css?family=PT+Serif:regular,italic,bold,bolditalic" rel="stylesheet" type="text/css">
 <link href="//fonts.googleapis.com/css?family=PT+Sans:regular,italic,bold,bolditalic" rel="stylesheet" type="text/css">
 <link href="/stylesheets/screen.css" media="screen, projection" rel="stylesheet" type="text/css">
-
+<link href="/stylesheets/data-table.css" media="screen, projection" rel="stylesheet" type="text/css" />
 
+  <script type="text/javascript">
+    var _gaq = _gaq || [];
+    _gaq.push(['_setAccount', 'UA-56791437-1']);
+    _gaq.push(['_trackPageview']);
+
+    (function() {
+      var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true;
+      ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
+      var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ga, s);
+    })();
+  </script>
+
 
 </head>
 
@@ -74,6 +87,23 @@ <h1 class="entry-title">Blog Archive</h1>
 
   <div id="blog-archives">
 
+
+
+  
+  <h2>2014</h2>
+
+<article>
+  
+<h1><a href="/blog/2014/03/09/json-and-scala/">Json and Scala</a></h1>
+<time datetime="2014-03-09T18:13:48+11:00" pubdate><span class='month'>Mar</span> <span class='day'>09</span> <span class='year'>2014</span></time>
+
+<footer>
+  <span class="categories">posted in <a class='category' href='/blog/categories/argonaut/'>argonaut</a>, <a class='category' href='/blog/categories/json/'>json</a>, <a class='category' href='/blog/categories/play-json/'>play json</a>, <a class='category' href='/blog/categories/scala/'>scala</a>, <a class='category' href='/blog/categories/spray-json/'>spray json</a></span>
+</footer>
+
+
+</article>
+
 </div>
 
 
@@ -87,6 +117,10 @@ <h1 class="entry-title">Blog Archive</h1>
   <h1>Recent Posts</h1>
   <ul id="recent_posts">
 
+      <li class="post">
+        <a href="/blog/2014/03/09/json-and-scala/">Json and Scala</a>
+      </li>
+    
   </ul>
 </section>
 
@@ -108,6 +142,19 @@ <h1>Recent Posts</h1>
 </footer>
 
 
+<script type="text/javascript">
+      var disqus_shortname = 'scalalaz';
+      
+        
+        var disqus_script = 'count.js';
+      
+    (function () {
+      var dsq = document.createElement('script'); dsq.type = 'text/javascript'; dsq.async = true;
+      dsq.src = '//' + disqus_shortname + '.disqus.com/' + disqus_script;
+      (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
+    }());
+</script>
+
 
 
 <div id="fb-root"></div>

blog/2014/03/09/json-and-scala/index.html

@@ -0,0 +1,201 @@
+<?xml version="1.0" encoding="utf-8"?>
+<feed xmlns="http://www.w3.org/2005/Atom">
+
+  <title><![CDATA[Category: Argonaut | Александр Головко]]></title>
+  <link href="http://algolov.github.io/blog/categories/argonaut/atom.xml" rel="self"/>
+  <link href="http://algolov.github.io/"/>
+  <updated>2014-11-16T15:08:57+10:00</updated>
+  <id>http://algolov.github.io/</id>
+  <author>
+    <name><![CDATA[Golovko Aleksander]]></name>
+    
+  </author>
+  <generator uri="http://octopress.org/">Octopress</generator>
+
+  
+  <entry>
+    <title type="html"><![CDATA[Json and Scala]]></title>
+    <link href="http://algolov.github.io/blog/2014/03/09/json-and-scala/"/>
+    <updated>2014-03-09T18:13:48+11:00</updated>
+    <id>http://algolov.github.io/blog/2014/03/09/json-and-scala</id>
+    <content type="html"><![CDATA[<p>В экосистеме Scala довольно много библиотек для работы с json, включая стандартную и исключая java-библиотеки. Данный пост начинает серию статей по использованию различных библиотек для работы с json в Scala. Эта серия статей не претендует на полноценный охват всех возможных библиотек или всех возможностей в библиотеках. Основная цель - понять как работать с json при помощи нескольких популярных библиотек.</p>
+
+<!-- more -->
+
+
+<p>Для рассмотрения предполагается следующий список (порядок случайный):</p>
+
+<table>
+<thead>
+<tr>
+<th>Статья   </th>
+<th style="text-align:center;">   Библиотека        </th>
+<th>   Описание</th>
+</tr>
+</thead>
+<tbody>
+<tr>
+<td></td>
+<td style="text-align:center;"> <a href="http://www.playframework.com/documentation/2.2.x/ScalaJson">Play Json</a>           </td>
+<td> Библиотека для работы с json выделенная из популярного web framework&#8217;а - Play</td>
+</tr>
+<tr>
+<td></td>
+<td style="text-align:center;"> <a href="https://github.com/spray/spray-json">Spray Json</a>          </td>
+<td> Библиотека выделенная из проекта spray (инструментарий для организации REST/HTTP слоя поверх akka).</td>
+</tr>
+<tr>
+<td></td>
+<td style="text-align:center;"> <a href="http://argonaut.io">Argonaut</a>            </td>
+<td> Библиотека использующая в своей основе только функциональную парадигму, то есть pure functional by design, активно использует ScalaZ.</td>
+</tr>
+</tbody>
+</table>
+
+
+<p>В конце серии планируется заключительный пост со сравнением всех библиотек. В качестве сквозного примера будет использоваться список ссылок с сайта <a href="http://www.reddit.com/r/scala/.json">reddit.com в json</a>, конкретно <a href="http://www.reddit.com/r/scala">Scala subreddit</a>. В данном посте я опишу каркас, который будет использоваться при описании каждой из библиотек.</p>
+
+<h2>Каркас приложения</h2>
+
+<p>Если посмотреть на <a href="https://www.blogger.com/github.com/reddit/reddit/wiki/JSON">описание json объектов</a> возвращаемых JSON API reddit&#8217;a, то мы увидим, что для представления длинного содержимого используются объекты <code>Listing</code>, которые имеют три основных поля: <code>before</code>, <code>after</code> и <code>data</code>. Первые два служат для указания элемента в листинге с которого начинать разделение. А вот поле <code>data</code> как раз содержит список элементов, которые оборачивает данный листинг, в нашем примере это будут ссылки в сабреддите Scala. Так как основная цель это сравнить различные json библиотеки, а не написать свой клиент для reddit.com все модели предельно упрощены и заточены на то, чтобы показать различные сценарии работы с json. Итак, класс представляющий листинг:</p>
+
+<pre><code class="scala">case class Listing (
+  id: UUID = UUID.randomUUID(),
+  data: Seq[Link],
+  before: Option[String],
+  after: Option[String])
+</code></pre>
+
+<p>Поле id было добавлено просто для того, что бы смоделировать сценарий, когда в модели есть поля, которые не должны быть сериализованны, но должны быть заданы при десериализации. Можно представить, что мы хотели бы хранить экземпляры листингов для каких-нибудь своих загадочных целей и различать их по uuid.
+Следующий класс <code>Link</code>, представляющий ссылку:</p>
+
+<pre><code class="scala">case class Link(
+  title: String,
+  url: URL,
+  stats: Counters)
+</code></pre>
+
+<p>Оригинальный объект <code>Link</code> содержит гораздо большее количество полей, но нам вполне хватит нескольких. Последнее поле - stats, представляет собой различную количественную информацию о ссылке, выделенную в отдельный класс:</p>
+
+<pre><code class="scala">case class Counters (
+  ups: Int,
+  downs: Int,
+  score: Int,
+  num_comments: Int)
+</code></pre>
+
+<p>Итак, представленный набор классов позволит рассмотреть распространенные сценарии работы с json. Теперь перейдем к описанию рассматриваемой функциональности json библиотек. Вся функциональность выливается в четыре абстрактных метода трейта <code>JsonLibrary</code>:</p>
+
+<pre><code class="scala">trait JsonLibrary {
+  type JSON
+  def parseFromString (jsonStr: String): JSON
+  def parseToString (json: JSON): String
+  def serialize(listing: Listing): JSON
+  def deserialize(json: JSON): Option[Listing]
+}
+</code></pre>
+
+<p>Так как каждая библиотека для кодирования понятия JSON имеет свой конкретный тип, то в трейте присутствует абстрактное поле, представляющее этот тип (abstract type member): <code>type JSON</code>. Каждая рассматриваемая библиотека будет расширять данный трейт, конкретизируя какой тип будет использоваться в качестве представления JSON и реализовывать весь набор операций в соответствии со своим API.
+Для того, что бы получить начальное строковое представление json с которым будет вестись работа, напишем вспомогательный метод, который будет считывать соответствующие данные с сайта www.reddit.com или из заранее подготовленного локального файла, расположенного в ресурсах:</p>
+
+<pre><code class="scala">def loadListing(
+  count: Int = 0,
+  before: Option[String] = None,
+  after: Option[String] = None): String = {
+
+  val scalaSubredditUrl = "http://www.reeddit.com/r/scala/.json"
+
+  val resp = Try {
+    (before, after) match {
+      case (Some(b), _) =&gt;
+        Source.fromURL(scalaSubredditUrl + s"?count=$count&amp;before=$b")
+      case (_, Some(a)) =&gt;
+        Source.fromURL(scalaSubredditUrl + s"?count=$count&amp;after=$a")
+      case _ =&gt; Source.fromURL(scalaSubredditUrl)
+    }
+  } getOrElse Source.fromURL(getClass.getResource("/reddit.json"))
+
+  resp.getLines().mkString
+}
+</code></pre>
+
+<p>Параметры данного метода позволяют &ldquo;пролистать&rdquo; листинги, указав направление и количество просмотренных ссылок (см. <a href="http://www.reddit.com/dev/api">reddit api</a>). И для того что бы удостоверится, что все работает верно - напишем несколько тестов, для этого будет использоваться замечательный тестовый фреймворк ScalaTest.</p>
+
+<pre><code class="scala">trait UnitJsonSpec extends FlatSpec with Matchers with OptionValues with JsonLibrary {
+  val jsonString = loadListing()
+}
+</code></pre>
+
+<p>Трейт <code>UnitJsonSpec</code> является базовым трейтом. Он смешивает общие для всех спецификаций трейты и загружающий текст с json.</p>
+
+<pre><code class="scala">trait JsonLibraryFunctionalitySpec extends UnitJsonSpec {
+  def name: String
+
+  name should "parse a String representing a json, and return it as a json value and vice versa" in {
+    val strJson = """{"key1":1,"key2":[1,2,3,4,5]}"""
+
+    parseToString(parseFromString(strJson)) shouldBe strJson
+  }
+
+  it should "serialize and deserialize a json to scala classes and vice versa" in {
+
+    import com.github.algolov.Listing
+
+    val json = parseFromString(jsonString)
+    val listing = deserialize(json).value
+
+    listing shouldBe a [Listing]
+
+    val listing2 = deserialize(serialize(listing)).value
+
+    listing2 should have (
+      'before (listing.before),
+      'after (listing.after) )
+
+    listing2.data.length should be (listing.data.length)
+  }
+}
+</code></pre>
+
+<p>Трейт <code>JsonLibraryFunctionalitySpec</code> это спецификация содержащая тесты основной функциональности библиотек. Все спецификации рассматриваемых библиотек расширяют данную спецификацию, реализуя метод name и наследуя все тесты, а так же примешивают конкретную реализацию <code>JsonLibrary</code> для переопределения абстрактных методов.</p>
+
+<pre><code class="scala">trait JsonLibraryPerfomanceSpec extends UnitJsonSpec {
+  def name: String
+  val numIterations = 2000
+
+  def repeat[A](n: Int = 1)(f: =&gt; A) {
+    if(n &gt; 0) { f; repeat(n-1)(f) }
+  }
+
+  val json = parseFromString(jsonString)
+  val listing = deserialize(json).value
+
+  name should s"parse a json $numIterations times (iteration )" in {
+    repeat(numIterations) {
+      parseFromString(jsonString)
+    }
+  }
+
+  name should s"deserialize from a json $numIterations times" in {
+    repeat(numIterations) {
+      deserialize(json)
+    }
+  }
+
+  name should s"serialize to a json $numIterations times" in {
+    repeat(numIterations) {
+      serialize(listing)
+    }
+  }
+}
+</code></pre>
+
+<p><code>JsonLibraryPerfomanceSpec</code> спецификация, содержащая тесты производительности json библиотек. Данные тесты, как и тесты обзорной функциональности, не претендуют на какой-либо серьезный бэнчмаркинг и добавлены лишь для поверхностного сравнения. Так что, если интересует серьезный тест производительности json библиотек, то не стоит принимать в расчет цифры полученные в результате этих тестов.</p>
+
+<h2>Исходники и запуск</h2>
+
+<p>Исходные тексты можно найти в соответствующем <a href="https://github.com/algolov/JsonSeries.git">репозитории на github</a>. Для запуска необходимо клонировать репозиторий, зайти в директорию JsonSeries и в командной строке выполнить команду <code>sbt test</code>. Для того, что бы запустить только тесты производительности нужно выполнить следующую команду: <code>sbt "test-only *PerfomanceSpec"</code> по этому же принципу можно указать и тесты конкретных библиотек или просмотреть только тесты функциональности. Данные команды загрузят необходимые зависимости, скомпилируют исходные файлы и запустят тесты на выполнение.</p>
+]]></content>
+  </entry>
+  
+</feed>