Hex Artifact Content

Artifact 86cb2b92c873c7aa375a562417a51d1fdf1c0811:


0000: 23 21 20 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20  #! /usr/bin/env 
0010: 74 63 6c 73 68 0a 0a 70 61 63 6b 61 67 65 20 72  tclsh..package r
0020: 65 71 75 69 72 65 20 68 74 74 70 20 32 2e 37 0a  equire http 2.7.
0030: 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65 20  package require 
0040: 73 71 6c 69 74 65 33 0a 0a 69 66 20 7b 5b 63 61  sqlite3..if {[ca
0050: 74 63 68 20 7b 0a 09 70 61 63 6b 61 67 65 20 72  tch {..package r
0060: 65 71 75 69 72 65 20 73 68 61 31 0a 7d 5d 7d 20  equire sha1.}]} 
0070: 7b 0a 09 40 40 53 48 41 31 2e 54 43 4c 40 40 0a  {..@@SHA1.TCL@@.
0080: 09 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65  .package require
0090: 20 73 68 61 31 0a 7d 0a 0a 6e 61 6d 65 73 70 61   sha1.}..namespa
00a0: 63 65 20 65 76 61 6c 20 3a 3a 61 70 70 66 73 20  ce eval ::appfs 
00b0: 7b 0a 09 76 61 72 69 61 62 6c 65 20 63 61 63 68  {..variable cach
00c0: 65 64 69 72 20 22 2f 74 6d 70 2f 61 70 70 66 73  edir "/tmp/appfs
00d0: 2d 63 61 63 68 65 22 0a 09 76 61 72 69 61 62 6c  -cache"..variabl
00e0: 65 20 74 74 6c 20 33 36 30 30 0a 09 76 61 72 69  e ttl 3600..vari
00f0: 61 62 6c 65 20 6e 74 74 6c 20 36 30 0a 0a 09 70  able nttl 60...p
0100: 72 6f 63 20 5f 68 61 73 68 5f 73 65 70 20 7b 68  roc _hash_sep {h
0110: 61 73 68 20 7b 73 65 70 73 20 34 7d 7d 20 7b 0a  ash {seps 4}} {.
0120: 09 09 66 6f 72 20 7b 73 65 74 20 69 64 78 20 30  ..for {set idx 0
0130: 7d 20 7b 24 69 64 78 20 3c 20 24 73 65 70 73 7d  } {$idx < $seps}
0140: 20 7b 69 6e 63 72 20 69 64 78 7d 20 7b 0a 09 09   {incr idx} {...
0150: 09 61 70 70 65 6e 64 20 72 65 74 76 61 6c 20 22  .append retval "
0160: 5b 73 74 72 69 6e 67 20 72 61 6e 67 65 20 24 68  [string range $h
0170: 61 73 68 20 5b 65 78 70 72 20 7b 24 69 64 78 20  ash [expr {$idx 
0180: 2a 20 32 7d 5d 20 5b 65 78 70 72 20 7b 28 24 69  * 2}] [expr {($i
0190: 64 78 20 2a 20 32 29 20 2b 20 31 7d 5d 5d 2f 22  dx * 2) + 1}]]/"
01a0: 0a 09 09 7d 0a 09 09 61 70 70 65 6e 64 20 72 65  ...}...append re
01b0: 74 76 61 6c 20 22 5b 73 74 72 69 6e 67 20 72 61  tval "[string ra
01c0: 6e 67 65 20 24 68 61 73 68 20 5b 65 78 70 72 20  nge $hash [expr 
01d0: 7b 24 69 64 78 20 2a 20 32 7d 5d 20 65 6e 64 5d  {$idx * 2}] end]
01e0: 22 0a 0a 09 09 72 65 74 75 72 6e 20 24 72 65 74  "....return $ret
01f0: 76 61 6c 0a 09 7d 0a 0a 09 70 72 6f 63 20 5f 63  val..}...proc _c
0200: 61 63 68 65 66 69 6c 65 20 7b 75 72 6c 20 6b 65  achefile {url ke
0210: 79 20 7b 6b 65 79 49 73 48 61 73 68 20 31 7d 7d  y {keyIsHash 1}}
0220: 20 7b 0a 09 09 73 65 74 20 66 69 6c 65 6b 65 79   {...set filekey
0230: 20 24 6b 65 79 0a 09 09 69 66 20 7b 24 6b 65 79   $key...if {$key
0240: 49 73 48 61 73 68 7d 20 7b 0a 09 09 09 73 65 74  IsHash} {....set
0250: 20 66 69 6c 65 6b 65 79 20 5b 5f 68 61 73 68 5f   filekey [_hash_
0260: 73 65 70 20 24 66 69 6c 65 6b 65 79 5d 0a 09 09  sep $filekey]...
0270: 7d 0a 0a 09 09 73 65 74 20 66 69 6c 65 20 5b 66  }....set file [f
0280: 69 6c 65 20 6a 6f 69 6e 20 24 3a 3a 61 70 70 66  ile join $::appf
0290: 73 3a 3a 63 61 63 68 65 64 69 72 20 24 66 69 6c  s::cachedir $fil
02a0: 65 6b 65 79 5d 0a 0a 09 09 66 69 6c 65 20 6d 6b  ekey]....file mk
02b0: 64 69 72 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d  dir [file dirnam
02c0: 65 20 24 66 69 6c 65 5d 0a 0a 09 09 69 66 20 7b  e $file]....if {
02d0: 5b 66 69 6c 65 20 65 78 69 73 74 73 20 24 66 69  [file exists $fi
02e0: 6c 65 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e  le]} {....return
02f0: 20 24 66 69 6c 65 0a 09 09 7d 0a 0a 09 09 73 65   $file...}....se
0300: 74 20 74 6d 70 66 69 6c 65 20 22 24 7b 66 69 6c  t tmpfile "${fil
0310: 65 7d 2e 5b 65 78 70 72 20 7b 72 61 6e 64 28 29  e}.[expr {rand()
0320: 7d 5d 22 0a 0a 09 09 73 65 74 20 66 64 20 5b 6f  }]"....set fd [o
0330: 70 65 6e 20 24 74 6d 70 66 69 6c 65 20 22 77 22  pen $tmpfile "w"
0340: 5d 0a 09 09 66 63 6f 6e 66 69 67 75 72 65 20 24  ]...fconfigure $
0350: 66 64 20 2d 74 72 61 6e 73 6c 61 74 69 6f 6e 20  fd -translation 
0360: 62 69 6e 61 72 79 0a 0a 09 09 63 61 74 63 68 20  binary....catch 
0370: 7b 0a 09 09 09 73 65 74 20 74 6f 6b 65 6e 20 5b  {....set token [
0380: 3a 3a 68 74 74 70 3a 3a 67 65 74 75 72 6c 20 24  ::http::geturl $
0390: 75 72 6c 20 2d 63 68 61 6e 6e 65 6c 20 24 66 64  url -channel $fd
03a0: 20 2d 62 69 6e 61 72 79 20 74 72 75 65 5d 0a 09   -binary true]..
03b0: 09 7d 0a 0a 09 09 69 66 20 7b 5b 69 6e 66 6f 20  .}....if {[info 
03c0: 65 78 69 73 74 73 20 74 6f 6b 65 6e 5d 7d 20 7b  exists token]} {
03d0: 0a 09 09 09 73 65 74 20 6e 63 6f 64 65 20 5b 3a  ....set ncode [:
03e0: 3a 68 74 74 70 3a 3a 6e 63 6f 64 65 20 24 74 6f  :http::ncode $to
03f0: 6b 65 6e 5d 0a 09 09 09 3a 3a 68 74 74 70 3a 3a  ken]....::http::
0400: 72 65 73 65 74 20 24 74 6f 6b 65 6e 0a 09 09 7d  reset $token...}
0410: 20 65 6c 73 65 20 7b 0a 09 09 09 73 65 74 20 6e   else {....set n
0420: 63 6f 64 65 20 22 39 30 30 22 0a 09 09 7d 0a 0a  code "900"...}..
0430: 09 09 63 6c 6f 73 65 20 24 66 64 0a 0a 09 09 69  ..close $fd....i
0440: 66 20 7b 24 6b 65 79 49 73 48 61 73 68 7d 20 7b  f {$keyIsHash} {
0450: 0a 09 09 09 73 65 74 20 68 61 73 68 20 5b 73 74  ....set hash [st
0460: 72 69 6e 67 20 74 6f 6c 6f 77 65 72 20 5b 73 68  ring tolower [sh
0470: 61 31 3a 3a 73 68 61 31 20 2d 68 65 78 20 2d 66  a1::sha1 -hex -f
0480: 69 6c 65 20 24 74 6d 70 66 69 6c 65 5d 5d 0a 09  ile $tmpfile]]..
0490: 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 73 65 74  .} else {....set
04a0: 20 68 61 73 68 20 24 6b 65 79 0a 09 09 7d 0a 0a   hash $key...}..
04b0: 09 09 69 66 20 7b 24 6e 63 6f 64 65 20 3d 3d 20  ..if {$ncode == 
04c0: 22 32 30 30 22 20 26 26 20 24 68 61 73 68 20 3d  "200" && $hash =
04d0: 3d 20 24 6b 65 79 7d 20 7b 0a 09 09 09 66 69 6c  = $key} {....fil
04e0: 65 20 72 65 6e 61 6d 65 20 2d 66 6f 72 63 65 20  e rename -force 
04f0: 2d 2d 20 24 74 6d 70 66 69 6c 65 20 24 66 69 6c  -- $tmpfile $fil
0500: 65 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09  e...} else {....
0510: 66 69 6c 65 20 64 65 6c 65 74 65 20 2d 66 6f 72  file delete -for
0520: 63 65 20 2d 2d 20 24 74 6d 70 66 69 6c 65 0a 09  ce -- $tmpfile..
0530: 09 7d 0a 0a 09 09 72 65 74 75 72 6e 20 24 66 69  .}....return $fi
0540: 6c 65 0a 09 7d 0a 0a 0a 09 70 72 6f 63 20 5f 69  le..}....proc _i
0550: 73 48 61 73 68 20 7b 76 61 6c 75 65 7d 20 7b 0a  sHash {value} {.
0560: 09 09 73 65 74 20 76 61 6c 75 65 20 5b 73 74 72  ..set value [str
0570: 69 6e 67 20 74 6f 6c 6f 77 65 72 20 24 76 61 6c  ing tolower $val
0580: 75 65 5d 0a 0a 09 09 69 66 20 7b 5b 73 74 72 69  ue]....if {[stri
0590: 6e 67 20 6c 65 6e 67 74 68 20 24 76 61 6c 75 65  ng length $value
05a0: 5d 20 21 3d 20 34 30 7d 20 7b 0a 09 09 09 72 65  ] != 40} {....re
05b0: 74 75 72 6e 20 66 61 6c 73 65 0a 09 09 7d 0a 0a  turn false...}..
05c0: 09 09 69 66 20 7b 21 5b 72 65 67 65 78 70 20 7b  ..if {![regexp {
05d0: 5e 5b 30 2d 39 61 2d 66 5d 2a 24 7d 20 24 76 61  ^[0-9a-f]*$} $va
05e0: 6c 75 65 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72  lue]} {....retur
05f0: 6e 20 66 61 6c 73 65 0a 09 09 7d 0a 0a 09 09 72  n false...}....r
0600: 65 74 75 72 6e 20 74 72 75 65 0a 09 7d 0a 0a 09  eturn true..}...
0610: 70 72 6f 63 20 5f 64 62 20 7b 61 72 67 73 7d 20  proc _db {args} 
0620: 7b 0a 09 09 72 65 74 75 72 6e 20 5b 75 70 6c 65  {...return [uple
0630: 76 65 6c 20 31 20 5b 6c 69 73 74 20 3a 3a 61 70  vel 1 [list ::ap
0640: 70 66 73 3a 3a 64 62 20 7b 2a 7d 24 61 72 67 73  pfs::db {*}$args
0650: 5d 5d 0a 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f  ]]..}...proc _no
0660: 72 6d 61 6c 69 7a 65 4f 53 20 7b 6f 73 7d 20 7b  rmalizeOS {os} {
0670: 0a 09 09 73 65 74 20 6f 73 20 5b 73 74 72 69 6e  ...set os [strin
0680: 67 20 74 6f 6c 6f 77 65 72 20 5b 73 74 72 69 6e  g tolower [strin
0690: 67 20 74 72 69 6d 20 24 6f 73 5d 5d 0a 0a 09 09  g trim $os]]....
06a0: 73 77 69 74 63 68 20 2d 2d 20 24 6f 73 20 7b 0a  switch -- $os {.
06b0: 09 09 09 22 6c 69 6e 75 78 22 20 2d 20 22 66 72  ..."linux" - "fr
06c0: 65 65 62 73 64 22 20 2d 20 22 6f 70 65 6e 62 73  eebsd" - "openbs
06d0: 64 22 20 2d 20 22 6e 65 74 62 73 64 22 20 7b 0a  d" - "netbsd" {.
06e0: 09 09 09 09 72 65 74 75 72 6e 20 24 6f 73 0a 09  ....return $os..
06f0: 09 09 7d 0a 09 09 09 22 73 75 6e 6f 73 22 20 7b  ..}...."sunos" {
0700: 0a 09 09 09 09 72 65 74 75 72 6e 20 22 73 6f 6c  .....return "sol
0710: 61 72 69 73 22 0a 09 09 09 7d 0a 09 09 09 22 6e  aris"....}...."n
0720: 6f 61 72 63 68 22 20 2d 20 22 6e 6f 6e 65 22 20  oarch" - "none" 
0730: 2d 20 22 61 6e 79 22 20 2d 20 22 61 6c 6c 22 20  - "any" - "all" 
0740: 7b 0a 09 09 09 09 72 65 74 75 72 6e 20 22 6e 6f  {.....return "no
0750: 61 72 63 68 22 0a 09 09 09 7d 0a 09 09 7d 0a 0a  arch"....}...}..
0760: 09 09 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65  ..return -code e
0770: 72 72 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f 20  rror "Unable to 
0780: 6e 6f 72 6d 61 6c 69 7a 65 20 4f 53 3a 20 24 6f  normalize OS: $o
0790: 73 22 0a 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f  s"..}...proc _no
07a0: 72 6d 61 6c 69 7a 65 43 50 55 20 7b 63 70 75 7d  rmalizeCPU {cpu}
07b0: 20 7b 0a 09 09 73 65 74 20 63 70 75 20 5b 73 74   {...set cpu [st
07c0: 72 69 6e 67 20 74 6f 6c 6f 77 65 72 20 5b 73 74  ring tolower [st
07d0: 72 69 6e 67 20 74 72 69 6d 20 24 63 70 75 5d 5d  ring trim $cpu]]
07e0: 0a 0a 09 09 73 77 69 74 63 68 20 2d 67 6c 6f 62  ....switch -glob
07f0: 20 2d 2d 20 24 63 70 75 20 7b 0a 09 09 09 22 69   -- $cpu {...."i
0800: 3f 38 36 22 20 7b 0a 09 09 09 09 72 65 74 75 72  ?86" {.....retur
0810: 6e 20 22 69 78 38 36 22 0a 09 09 09 7d 0a 09 09  n "ix86"....}...
0820: 09 22 78 38 36 5f 36 34 22 20 7b 0a 09 09 09 09  ."x86_64" {.....
0830: 72 65 74 75 72 6e 20 24 63 70 75 0a 09 09 09 7d  return $cpu....}
0840: 0a 09 09 09 22 6e 6f 61 72 63 68 22 20 2d 20 22  ...."noarch" - "
0850: 6e 6f 6e 65 22 20 2d 20 22 61 6e 79 22 20 2d 20  none" - "any" - 
0860: 22 61 6c 6c 22 20 7b 0a 09 09 09 09 72 65 74 75  "all" {.....retu
0870: 72 6e 20 22 6e 6f 61 72 63 68 22 0a 09 09 09 7d  rn "noarch"....}
0880: 0a 09 09 7d 0a 0a 09 09 72 65 74 75 72 6e 20 2d  ...}....return -
0890: 63 6f 64 65 20 65 72 72 6f 72 20 22 55 6e 61 62  code error "Unab
08a0: 6c 65 20 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 20  le to normalize 
08b0: 43 50 55 3a 20 24 63 70 75 22 0a 09 7d 0a 0a 09  CPU: $cpu"..}...
08c0: 70 72 6f 63 20 69 6e 69 74 20 7b 7d 20 7b 0a 09  proc init {} {..
08d0: 09 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74  .if {[info exist
08e0: 73 20 3a 3a 61 70 70 66 73 3a 3a 69 6e 69 74 5f  s ::appfs::init_
08f0: 63 61 6c 6c 65 64 5d 7d 20 7b 0a 09 09 09 72 65  called]} {....re
0900: 74 75 72 6e 0a 09 09 7d 0a 0a 09 09 73 65 74 20  turn...}....set 
0910: 3a 3a 61 70 70 66 73 3a 3a 69 6e 69 74 5f 63 61  ::appfs::init_ca
0920: 6c 6c 65 64 20 31 0a 0a 09 09 69 66 20 7b 21 5b  lled 1....if {![
0930: 69 6e 66 6f 20 65 78 69 73 74 73 20 3a 3a 61 70  info exists ::ap
0940: 70 66 73 3a 3a 64 62 5d 7d 20 7b 0a 09 09 09 66  pfs::db]} {....f
0950: 69 6c 65 20 6d 6b 64 69 72 20 24 3a 3a 61 70 70  ile mkdir $::app
0960: 66 73 3a 3a 63 61 63 68 65 64 69 72 0a 0a 09 09  fs::cachedir....
0970: 09 73 71 6c 69 74 65 33 20 3a 3a 61 70 70 66 73  .sqlite3 ::appfs
0980: 3a 3a 64 62 20 5b 66 69 6c 65 20 6a 6f 69 6e 20  ::db [file join 
0990: 24 3a 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64  $::appfs::cached
09a0: 69 72 20 63 61 63 68 65 2e 64 62 5d 0a 09 09 7d  ir cache.db]...}
09b0: 0a 0a 09 09 23 20 43 72 65 61 74 65 20 74 61 62  ....# Create tab
09c0: 6c 65 73 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b  les..._db eval {
09d0: 43 52 45 41 54 45 20 54 41 42 4c 45 20 49 46 20  CREATE TABLE IF 
09e0: 4e 4f 54 20 45 58 49 53 54 53 20 73 69 74 65 73  NOT EXISTS sites
09f0: 28 68 6f 73 74 6e 61 6d 65 20 50 52 49 4d 41 52  (hostname PRIMAR
0a00: 59 20 4b 45 59 2c 20 6c 61 73 74 55 70 64 61 74  Y KEY, lastUpdat
0a10: 65 2c 20 74 74 6c 29 3b 7d 0a 09 09 5f 64 62 20  e, ttl);}..._db 
0a20: 65 76 61 6c 20 7b 43 52 45 41 54 45 20 54 41 42  eval {CREATE TAB
0a30: 4c 45 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53  LE IF NOT EXISTS
0a40: 20 70 61 63 6b 61 67 65 73 28 68 6f 73 74 6e 61   packages(hostna
0a50: 6d 65 2c 20 73 68 61 31 2c 20 70 61 63 6b 61 67  me, sha1, packag
0a60: 65 2c 20 76 65 72 73 69 6f 6e 2c 20 6f 73 2c 20  e, version, os, 
0a70: 63 70 75 41 72 63 68 2c 20 69 73 4c 61 74 65 73  cpuArch, isLates
0a80: 74 2c 20 68 61 76 65 4d 61 6e 69 66 65 73 74 29  t, haveManifest)
0a90: 3b 7d 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b 43  ;}..._db eval {C
0aa0: 52 45 41 54 45 20 54 41 42 4c 45 20 49 46 20 4e  REATE TABLE IF N
0ab0: 4f 54 20 45 58 49 53 54 53 20 66 69 6c 65 73 28  OT EXISTS files(
0ac0: 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20 74 79  package_sha1, ty
0ad0: 70 65 2c 20 74 69 6d 65 2c 20 73 6f 75 72 63 65  pe, time, source
0ae0: 2c 20 73 69 7a 65 2c 20 70 65 72 6d 73 2c 20 66  , size, perms, f
0af0: 69 6c 65 5f 73 68 61 31 2c 20 66 69 6c 65 5f 6e  ile_sha1, file_n
0b00: 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72 65 63 74  ame, file_direct
0b10: 6f 72 79 29 3b 7d 0a 0a 09 09 23 20 43 72 65 61  ory);}....# Crea
0b20: 74 65 20 69 6e 64 65 78 65 73 0a 09 09 5f 64 62  te indexes..._db
0b30: 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20 49 4e   eval {CREATE IN
0b40: 44 45 58 20 49 46 20 4e 4f 54 20 45 58 49 53 54  DEX IF NOT EXIST
0b50: 53 20 73 69 74 65 73 5f 69 6e 64 65 78 20 4f 4e  S sites_index ON
0b60: 20 73 69 74 65 73 20 28 68 6f 73 74 6e 61 6d 65   sites (hostname
0b70: 29 3b 7d 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b  );}..._db eval {
0b80: 43 52 45 41 54 45 20 49 4e 44 45 58 20 49 46 20  CREATE INDEX IF 
0b90: 4e 4f 54 20 45 58 49 53 54 53 20 70 61 63 6b 61  NOT EXISTS packa
0ba0: 67 65 73 5f 69 6e 64 65 78 20 4f 4e 20 70 61 63  ges_index ON pac
0bb0: 6b 61 67 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c  kages (hostname,
0bc0: 20 70 61 63 6b 61 67 65 2c 20 76 65 72 73 69 6f   package, versio
0bd0: 6e 2c 20 6f 73 2c 20 63 70 75 41 72 63 68 29 3b  n, os, cpuArch);
0be0: 7d 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b 43 52  }..._db eval {CR
0bf0: 45 41 54 45 20 49 4e 44 45 58 20 49 46 20 4e 4f  EATE INDEX IF NO
0c00: 54 20 45 58 49 53 54 53 20 66 69 6c 65 73 5f 69  T EXISTS files_i
0c10: 6e 64 65 78 20 4f 4e 20 66 69 6c 65 73 20 28 70  ndex ON files (p
0c20: 61 63 6b 61 67 65 5f 73 68 61 31 2c 20 66 69 6c  ackage_sha1, fil
0c30: 65 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72  e_name, file_dir
0c40: 65 63 74 6f 72 79 29 3b 7d 0a 09 7d 0a 0a 09 70  ectory);}..}...p
0c50: 72 6f 63 20 64 6f 77 6e 6c 6f 61 64 20 7b 68 6f  roc download {ho
0c60: 73 74 6e 61 6d 65 20 68 61 73 68 20 7b 6d 65 74  stname hash {met
0c70: 68 6f 64 20 73 68 61 31 7d 7d 20 7b 0a 09 09 73  hod sha1}} {...s
0c80: 65 74 20 75 72 6c 20 22 68 74 74 70 3a 2f 2f 24  et url "http://$
0c90: 68 6f 73 74 6e 61 6d 65 2f 61 70 70 66 73 2f 24  hostname/appfs/$
0ca0: 6d 65 74 68 6f 64 2f 24 68 61 73 68 22 0a 09 09  method/$hash"...
0cb0: 73 65 74 20 66 69 6c 65 20 5b 5f 63 61 63 68 65  set file [_cache
0cc0: 66 69 6c 65 20 24 75 72 6c 20 24 68 61 73 68 5d  file $url $hash]
0cd0: 0a 0a 09 09 69 66 20 7b 21 5b 66 69 6c 65 20 65  ....if {![file e
0ce0: 78 69 73 74 73 20 24 66 69 6c 65 5d 7d 20 7b 0a  xists $file]} {.
0cf0: 09 09 09 72 65 74 75 72 6e 20 2d 63 6f 64 65 20  ...return -code 
0d00: 65 72 72 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f  error "Unable to
0d10: 20 66 65 74 63 68 20 28 66 69 6c 65 20 64 6f 65   fetch (file doe
0d20: 73 20 6e 6f 74 20 65 78 69 73 74 3a 20 24 66 69  s not exist: $fi
0d30: 6c 65 29 22 0a 09 09 7d 0a 0a 09 09 72 65 74 75  le)"...}....retu
0d40: 72 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a 09 70 72  rn $file..}...pr
0d50: 6f 63 20 67 65 74 69 6e 64 65 78 20 7b 68 6f 73  oc getindex {hos
0d60: 74 6e 61 6d 65 7d 20 7b 0a 09 09 73 65 74 20 6e  tname} {...set n
0d70: 6f 77 20 5b 63 6c 6f 63 6b 20 73 65 63 6f 6e 64  ow [clock second
0d80: 73 5d 0a 0a 09 09 73 65 74 20 6c 61 73 74 55 70  s]....set lastUp
0d90: 64 61 74 65 73 20 5b 5f 64 62 20 65 76 61 6c 20  dates [_db eval 
0da0: 7b 53 45 4c 45 43 54 20 6c 61 73 74 55 70 64 61  {SELECT lastUpda
0db0: 74 65 2c 20 74 74 6c 20 46 52 4f 4d 20 73 69 74  te, ttl FROM sit
0dc0: 65 73 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d  es WHERE hostnam
0dd0: 65 20 3d 20 24 68 6f 73 74 6e 61 6d 65 20 4c 49  e = $hostname LI
0de0: 4d 49 54 20 31 3b 7d 5d 0a 09 09 69 66 20 7b 5b  MIT 1;}]...if {[
0df0: 6c 6c 65 6e 67 74 68 20 24 6c 61 73 74 55 70 64  llength $lastUpd
0e00: 61 74 65 73 5d 20 3d 3d 20 30 7d 20 7b 0a 09 09  ates] == 0} {...
0e10: 09 73 65 74 20 6c 61 73 74 55 70 64 61 74 65 20  .set lastUpdate 
0e20: 30 0a 09 09 09 73 65 74 20 74 74 6c 20 30 0a 09  0....set ttl 0..
0e30: 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 73 65 74  .} else {....set
0e40: 20 6c 61 73 74 55 70 64 61 74 65 20 5b 6c 69 6e   lastUpdate [lin
0e50: 64 65 78 20 24 6c 61 73 74 55 70 64 61 74 65 73  dex $lastUpdates
0e60: 20 30 5d 0a 09 09 09 73 65 74 20 74 74 6c 20 5b   0]....set ttl [
0e70: 6c 69 6e 64 65 78 20 24 6c 61 73 74 55 70 64 61  lindex $lastUpda
0e80: 74 65 73 20 31 5d 0a 09 09 7d 0a 0a 09 09 69 66  tes 1]...}....if
0e90: 20 7b 24 6e 6f 77 20 3c 20 28 24 6c 61 73 74 55   {$now < ($lastU
0ea0: 70 64 61 74 65 20 2b 20 24 74 74 6c 29 7d 20 7b  pdate + $ttl)} {
0eb0: 0a 09 09 09 72 65 74 75 72 6e 20 43 4f 4d 50 4c  ....return COMPL
0ec0: 45 54 45 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 5b  ETE...}....if {[
0ed0: 73 74 72 69 6e 67 20 6d 61 74 63 68 20 22 2a 5c  string match "*\
0ee0: 5b 2f 7e 5c 5d 2a 22 20 24 68 6f 73 74 6e 61 6d  [/~\]*" $hostnam
0ef0: 65 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20  e]} {....return 
0f00: 2d 63 6f 64 65 20 65 72 72 6f 72 20 22 49 6e 76  -code error "Inv
0f10: 61 6c 69 64 20 68 6f 73 74 6e 61 6d 65 22 0a 09  alid hostname"..
0f20: 09 7d 0a 0a 09 09 73 65 74 20 75 72 6c 20 22 68  .}....set url "h
0f30: 74 74 70 3a 2f 2f 24 68 6f 73 74 6e 61 6d 65 2f  ttp://$hostname/
0f40: 61 70 70 66 73 2f 69 6e 64 65 78 22 0a 0a 09 09  appfs/index"....
0f50: 63 61 74 63 68 20 7b 0a 09 09 09 73 65 74 20 74  catch {....set t
0f60: 6f 6b 65 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65  oken [::http::ge
0f70: 74 75 72 6c 20 24 75 72 6c 5d 0a 09 09 09 69 66  turl $url]....if
0f80: 20 7b 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f 64 65   {[::http::ncode
0f90: 20 24 74 6f 6b 65 6e 5d 20 3d 3d 20 22 32 30 30   $token] == "200
0fa0: 22 7d 20 7b 0a 09 09 09 09 73 65 74 20 69 6e 64  "} {.....set ind
0fb0: 65 78 68 61 73 68 5f 64 61 74 61 20 5b 3a 3a 68  exhash_data [::h
0fc0: 74 74 70 3a 3a 64 61 74 61 20 24 74 6f 6b 65 6e  ttp::data $token
0fd0: 5d 0a 09 09 09 7d 0a 09 09 09 3a 3a 68 74 74 70  ]....}....::http
0fe0: 3a 3a 72 65 73 65 74 20 24 74 6f 6b 65 6e 0a 09  ::reset $token..
0ff0: 09 09 3a 3a 68 74 74 70 3a 3a 63 6c 65 61 6e 75  ..::http::cleanu
1000: 70 20 24 74 6f 6b 65 6e 0a 09 09 7d 0a 0a 09 09  p $token...}....
1010: 69 66 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 74  if {![info exist
1020: 73 20 69 6e 64 65 78 68 61 73 68 5f 64 61 74 61  s indexhash_data
1030: 5d 7d 20 7b 0a 09 09 09 23 20 43 61 63 68 65 20  ]} {....# Cache 
1040: 74 68 69 73 20 72 65 73 75 6c 74 20 66 6f 72 20  this result for 
1050: 36 30 20 73 65 63 6f 6e 64 73 0a 09 09 09 5f 64  60 seconds...._d
1060: 62 20 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 4f  b eval {INSERT O
1070: 52 20 52 45 50 4c 41 43 45 20 49 4e 54 4f 20 73  R REPLACE INTO s
1080: 69 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20  ites (hostname, 
1090: 6c 61 73 74 55 70 64 61 74 65 2c 20 74 74 6c 29  lastUpdate, ttl)
10a0: 20 56 41 4c 55 45 53 20 28 24 68 6f 73 74 6e 61   VALUES ($hostna
10b0: 6d 65 2c 20 24 6e 6f 77 2c 20 24 3a 3a 61 70 70  me, $now, $::app
10c0: 66 73 3a 3a 6e 74 74 6c 29 3b 7d 0a 0a 09 09 09  fs::nttl);}.....
10d0: 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72  return -code err
10e0: 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f 20 66 65  or "Unable to fe
10f0: 74 63 68 20 24 75 72 6c 22 0a 09 09 7d 0a 0a 09  tch $url"...}...
1100: 09 73 65 74 20 69 6e 64 65 78 68 61 73 68 20 5b  .set indexhash [
1110: 6c 69 6e 64 65 78 20 5b 73 70 6c 69 74 20 24 69  lindex [split $i
1120: 6e 64 65 78 68 61 73 68 5f 64 61 74 61 20 22 2c  ndexhash_data ",
1130: 22 5d 20 30 5d 0a 0a 09 09 69 66 20 7b 21 5b 5f  "] 0]....if {![_
1140: 69 73 48 61 73 68 20 24 69 6e 64 65 78 68 61 73  isHash $indexhas
1150: 68 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20  h]} {....return 
1160: 2d 63 6f 64 65 20 65 72 72 6f 72 20 22 49 6e 76  -code error "Inv
1170: 61 6c 69 64 20 68 61 73 68 3a 20 24 69 6e 64 65  alid hash: $inde
1180: 78 68 61 73 68 22 0a 09 09 7d 0a 0a 09 09 73 65  xhash"...}....se
1190: 74 20 66 69 6c 65 20 5b 64 6f 77 6e 6c 6f 61 64  t file [download
11a0: 20 24 68 6f 73 74 6e 61 6d 65 20 24 69 6e 64 65   $hostname $inde
11b0: 78 68 61 73 68 5d 0a 09 09 73 65 74 20 66 64 20  xhash]...set fd 
11c0: 5b 6f 70 65 6e 20 24 66 69 6c 65 5d 0a 09 09 73  [open $file]...s
11d0: 65 74 20 64 61 74 61 20 5b 72 65 61 64 20 24 66  et data [read $f
11e0: 64 5d 0a 09 09 63 6c 6f 73 65 20 24 66 64 0a 0a  d]...close $fd..
11f0: 09 09 73 65 74 20 63 75 72 72 5f 70 61 63 6b 61  ..set curr_packa
1200: 67 65 73 20 5b 6c 69 73 74 5d 0a 09 09 66 6f 72  ges [list]...for
1210: 65 61 63 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74  each line [split
1220: 20 24 64 61 74 61 20 22 5c 6e 22 5d 20 7b 0a 09   $data "\n"] {..
1230: 09 09 73 65 74 20 6c 69 6e 65 20 5b 73 74 72 69  ..set line [stri
1240: 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65 5d 0a 0a  ng trim $line]..
1250: 09 09 09 69 66 20 7b 5b 73 74 72 69 6e 67 20 6d  ...if {[string m
1260: 61 74 63 68 20 22 2a 2f 2a 22 20 24 6c 69 6e 65  atch "*/*" $line
1270: 5d 7d 20 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75  ]} {.....continu
1280: 65 0a 09 09 09 7d 0a 0a 09 09 09 69 66 20 7b 24  e....}.....if {$
1290: 6c 69 6e 65 20 3d 3d 20 22 22 7d 20 7b 0a 09 09  line == ""} {...
12a0: 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 7d 0a  ..continue....}.
12b0: 0a 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 73 70  ....set work [sp
12c0: 6c 69 74 20 24 6c 69 6e 65 20 22 2c 22 5d 0a 0a  lit $line ","]..
12d0: 09 09 09 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70  ...unset -nocomp
12e0: 6c 61 69 6e 20 70 6b 67 49 6e 66 6f 0a 09 09 09  lain pkgInfo....
12f0: 69 66 20 7b 5b 63 61 74 63 68 20 7b 0a 09 09 09  if {[catch {....
1300: 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 70 61 63  .set pkgInfo(pac
1310: 6b 61 67 65 29 20 20 5b 6c 69 6e 64 65 78 20 24  kage)  [lindex $
1320: 77 6f 72 6b 20 30 5d 0a 09 09 09 09 73 65 74 20  work 0].....set 
1330: 70 6b 67 49 6e 66 6f 28 76 65 72 73 69 6f 6e 29  pkgInfo(version)
1340: 20 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20    [lindex $work 
1350: 31 5d 0a 09 09 09 09 73 65 74 20 70 6b 67 49 6e  1].....set pkgIn
1360: 66 6f 28 6f 73 29 20 20 20 20 20 20 20 5b 5f 6e  fo(os)       [_n
1370: 6f 72 6d 61 6c 69 7a 65 4f 53 20 5b 6c 69 6e 64  ormalizeOS [lind
1380: 65 78 20 24 77 6f 72 6b 20 32 5d 5d 0a 09 09 09  ex $work 2]]....
1390: 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 63 70 75  .set pkgInfo(cpu
13a0: 41 72 63 68 29 20 20 5b 5f 6e 6f 72 6d 61 6c 69  Arch)  [_normali
13b0: 7a 65 43 50 55 20 5b 6c 69 6e 64 65 78 20 24 77  zeCPU [lindex $w
13c0: 6f 72 6b 20 33 5d 5d 0a 09 09 09 09 73 65 74 20  ork 3]].....set 
13d0: 70 6b 67 49 6e 66 6f 28 68 61 73 68 29 20 20 20  pkgInfo(hash)   
13e0: 20 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65    [string tolowe
13f0: 72 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20  r [lindex $work 
1400: 34 5d 5d 0a 09 09 09 09 73 65 74 20 70 6b 67 49  4]].....set pkgI
1410: 6e 66 6f 28 68 61 73 68 5f 74 79 70 65 29 20 22  nfo(hash_type) "
1420: 73 68 61 31 22 0a 09 09 09 09 73 65 74 20 70 6b  sha1".....set pk
1430: 67 49 6e 66 6f 28 69 73 4c 61 74 65 73 74 29 20  gInfo(isLatest) 
1440: 5b 65 78 70 72 20 7b 21 21 5b 6c 69 6e 64 65 78  [expr {!![lindex
1450: 20 24 77 6f 72 6b 20 35 5d 7d 5d 0a 09 09 09 7d   $work 5]}]....}
1460: 5d 7d 20 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75  ]} {.....continu
1470: 65 0a 09 09 09 7d 0a 0a 09 09 09 69 66 20 7b 21  e....}.....if {!
1480: 5b 5f 69 73 48 61 73 68 20 24 70 6b 67 49 6e 66  [_isHash $pkgInf
1490: 6f 28 68 61 73 68 29 5d 7d 20 7b 0a 09 09 09 09  o(hash)]} {.....
14a0: 63 6f 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09  continue....}...
14b0: 09 09 6c 61 70 70 65 6e 64 20 63 75 72 72 5f 70  ..lappend curr_p
14c0: 61 63 6b 61 67 65 73 20 24 70 6b 67 49 6e 66 6f  ackages $pkgInfo
14d0: 28 68 61 73 68 29 0a 0a 09 09 09 23 20 44 6f 20  (hash).....# Do 
14e0: 6e 6f 74 20 64 6f 20 61 6e 79 20 61 64 64 69 74  not do any addit
14f0: 69 6f 6e 61 6c 20 77 6f 72 6b 20 69 66 20 77 65  ional work if we
1500: 20 61 6c 72 65 61 64 79 20 68 61 76 65 20 74 68   already have th
1510: 69 73 20 70 61 63 6b 61 67 65 0a 09 09 09 73 65  is package....se
1520: 74 20 65 78 69 73 74 69 6e 67 5f 70 61 63 6b 61  t existing_packa
1530: 67 65 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53  ges [_db eval {S
1540: 45 4c 45 43 54 20 70 61 63 6b 61 67 65 20 46 52  ELECT package FR
1550: 4f 4d 20 70 61 63 6b 61 67 65 73 20 57 48 45 52  OM packages WHER
1560: 45 20 68 6f 73 74 6e 61 6d 65 20 3d 20 24 68 6f  E hostname = $ho
1570: 73 74 6e 61 6d 65 20 41 4e 44 20 73 68 61 31 20  stname AND sha1 
1580: 3d 20 24 70 6b 67 49 6e 66 6f 28 68 61 73 68 29  = $pkgInfo(hash)
1590: 3b 7d 5d 0a 09 09 09 69 66 20 7b 5b 6c 73 65 61  ;}]....if {[lsea
15a0: 72 63 68 20 2d 65 78 61 63 74 20 24 65 78 69 73  rch -exact $exis
15b0: 74 69 6e 67 5f 70 61 63 6b 61 67 65 73 20 24 70  ting_packages $p
15c0: 6b 67 49 6e 66 6f 28 70 61 63 6b 61 67 65 29 5d  kgInfo(package)]
15d0: 20 21 3d 20 2d 31 7d 20 7b 0a 09 09 09 09 63 6f   != -1} {.....co
15e0: 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09  ntinue....}.....
15f0: 69 66 20 7b 24 70 6b 67 49 6e 66 6f 28 69 73 4c  if {$pkgInfo(isL
1600: 61 74 65 73 74 29 7d 20 7b 0a 09 09 09 09 5f 64  atest)} {....._d
1610: 62 20 65 76 61 6c 20 7b 55 50 44 41 54 45 20 70  b eval {UPDATE p
1620: 61 63 6b 61 67 65 73 20 53 45 54 20 69 73 4c 61  ackages SET isLa
1630: 74 65 73 74 20 3d 20 30 20 57 48 45 52 45 20 68  test = 0 WHERE h
1640: 6f 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e  ostname = $hostn
1650: 61 6d 65 20 41 4e 44 20 70 61 63 6b 61 67 65 20  ame AND package 
1660: 3d 20 24 70 6b 67 49 6e 66 6f 28 24 70 61 63 6b  = $pkgInfo($pack
1670: 61 67 65 29 20 41 4e 44 20 6f 73 20 3d 20 24 70  age) AND os = $p
1680: 6b 67 49 6e 66 6f 28 24 70 61 63 6b 61 67 65 29  kgInfo($package)
1690: 20 41 4e 44 20 63 70 75 41 72 63 68 20 3d 20 24   AND cpuArch = $
16a0: 70 6b 67 49 6e 66 6f 28 63 70 75 41 72 63 68 29  pkgInfo(cpuArch)
16b0: 3b 7d 0a 09 09 09 7d 0a 0a 09 09 09 5f 64 62 20  ;}....}....._db 
16c0: 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 49 4e 54  eval {INSERT INT
16d0: 4f 20 70 61 63 6b 61 67 65 73 20 28 68 6f 73 74  O packages (host
16e0: 6e 61 6d 65 2c 20 73 68 61 31 2c 20 70 61 63 6b  name, sha1, pack
16f0: 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c 20 6f 73  age, version, os
1700: 2c 20 63 70 75 41 72 63 68 2c 20 69 73 4c 61 74  , cpuArch, isLat
1710: 65 73 74 2c 20 68 61 76 65 4d 61 6e 69 66 65 73  est, haveManifes
1720: 74 29 20 56 41 4c 55 45 53 20 28 24 68 6f 73 74  t) VALUES ($host
1730: 6e 61 6d 65 2c 20 24 70 6b 67 49 6e 66 6f 28 68  name, $pkgInfo(h
1740: 61 73 68 29 2c 20 24 70 6b 67 49 6e 66 6f 28 70  ash), $pkgInfo(p
1750: 61 63 6b 61 67 65 29 2c 20 24 70 6b 67 49 6e 66  ackage), $pkgInf
1760: 6f 28 76 65 72 73 69 6f 6e 29 2c 20 24 70 6b 67  o(version), $pkg
1770: 49 6e 66 6f 28 6f 73 29 2c 20 24 70 6b 67 49 6e  Info(os), $pkgIn
1780: 66 6f 28 63 70 75 41 72 63 68 29 2c 20 24 70 6b  fo(cpuArch), $pk
1790: 67 49 6e 66 6f 28 69 73 4c 61 74 65 73 74 29 2c  gInfo(isLatest),
17a0: 20 30 29 3b 7d 0a 09 09 7d 0a 0a 09 09 23 20 4c   0);}...}....# L
17b0: 6f 6f 6b 20 66 6f 72 20 70 61 63 6b 61 67 65 73  ook for packages
17c0: 20 74 68 61 74 20 68 61 76 65 20 62 65 65 6e 20   that have been 
17d0: 64 65 6c 65 74 65 64 0a 09 09 73 65 74 20 66 6f  deleted...set fo
17e0: 75 6e 64 5f 70 61 63 6b 61 67 65 73 20 5b 5f 64  und_packages [_d
17f0: 62 20 65 76 61 6c 20 7b 53 45 4c 45 43 54 20 73  b eval {SELECT s
1800: 68 61 31 20 46 52 4f 4d 20 70 61 63 6b 61 67 65  ha1 FROM package
1810: 73 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65  s WHERE hostname
1820: 20 3d 20 24 68 6f 73 74 6e 61 6d 65 3b 7d 5d 0a   = $hostname;}].
1830: 09 09 66 6f 72 65 61 63 68 20 70 61 63 6b 61 67  ..foreach packag
1840: 65 20 24 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65  e $found_package
1850: 73 20 7b 0a 09 09 09 73 65 74 20 66 6f 75 6e 64  s {....set found
1860: 5f 70 61 63 6b 61 67 65 73 5f 61 72 72 28 24 70  _packages_arr($p
1870: 61 63 6b 61 67 65 29 20 31 0a 09 09 7d 0a 0a 09  ackage) 1...}...
1880: 09 66 6f 72 65 61 63 68 20 70 61 63 6b 61 67 65  .foreach package
1890: 20 24 63 75 72 72 5f 70 61 63 6b 61 67 65 73 20   $curr_packages 
18a0: 7b 0a 09 09 09 75 6e 73 65 74 20 2d 6e 6f 63 6f  {....unset -noco
18b0: 6d 70 6c 61 69 6e 20 66 6f 75 6e 64 5f 70 61 63  mplain found_pac
18c0: 6b 61 67 65 73 5f 61 72 72 28 24 70 61 63 6b 61  kages_arr($packa
18d0: 67 65 29 0a 09 09 7d 0a 0a 09 09 66 6f 72 65 61  ge)...}....forea
18e0: 63 68 20 70 61 63 6b 61 67 65 20 5b 61 72 72 61  ch package [arra
18f0: 79 20 6e 61 6d 65 73 20 66 6f 75 6e 64 5f 70 61  y names found_pa
1900: 63 6b 61 67 65 73 5f 61 72 72 5d 20 7b 0a 09 09  ckages_arr] {...
1910: 09 5f 64 62 20 65 76 61 6c 20 7b 44 45 4c 45 54  ._db eval {DELET
1920: 45 20 46 52 4f 4d 20 70 61 63 6b 61 67 65 73 20  E FROM packages 
1930: 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65 20 3d  WHERE hostname =
1940: 20 24 68 6f 73 74 6e 61 6d 65 20 41 4e 44 20 73   $hostname AND s
1950: 68 61 31 20 3d 20 24 70 61 63 6b 61 67 65 3b 7d  ha1 = $package;}
1960: 0a 09 09 7d 0a 0a 09 09 5f 64 62 20 65 76 61 6c  ...}...._db eval
1970: 20 7b 49 4e 53 45 52 54 20 4f 52 20 52 45 50 4c   {INSERT OR REPL
1980: 41 43 45 20 49 4e 54 4f 20 73 69 74 65 73 20 28  ACE INTO sites (
1990: 68 6f 73 74 6e 61 6d 65 2c 20 6c 61 73 74 55 70  hostname, lastUp
19a0: 64 61 74 65 2c 20 74 74 6c 29 20 56 41 4c 55 45  date, ttl) VALUE
19b0: 53 20 28 24 68 6f 73 74 6e 61 6d 65 2c 20 24 6e  S ($hostname, $n
19c0: 6f 77 2c 20 24 3a 3a 61 70 70 66 73 3a 3a 74 74  ow, $::appfs::tt
19d0: 6c 29 3b 7d 0a 0a 09 09 72 65 74 75 72 6e 20 43  l);}....return C
19e0: 4f 4d 50 4c 45 54 45 0a 09 7d 0a 0a 09 70 72 6f  OMPLETE..}...pro
19f0: 63 20 67 65 74 70 6b 67 6d 61 6e 69 66 65 73 74  c getpkgmanifest
1a00: 20 7b 68 6f 73 74 6e 61 6d 65 20 70 61 63 6b 61   {hostname packa
1a10: 67 65 5f 73 68 61 31 7d 20 7b 0a 09 09 73 65 74  ge_sha1} {...set
1a20: 20 68 61 76 65 4d 61 6e 69 66 65 73 74 73 20 5b   haveManifests [
1a30: 5f 64 62 20 65 76 61 6c 20 7b 53 45 4c 45 43 54  _db eval {SELECT
1a40: 20 68 61 76 65 4d 61 6e 69 66 65 73 74 20 46 52   haveManifest FR
1a50: 4f 4d 20 70 61 63 6b 61 67 65 73 20 57 48 45 52  OM packages WHER
1a60: 45 20 73 68 61 31 20 3d 20 24 70 61 63 6b 61 67  E sha1 = $packag
1a70: 65 5f 73 68 61 31 20 4c 49 4d 49 54 20 31 3b 7d  e_sha1 LIMIT 1;}
1a80: 5d 0a 09 09 73 65 74 20 68 61 76 65 4d 61 6e 69  ]...set haveMani
1a90: 66 65 73 74 20 5b 6c 69 6e 64 65 78 20 24 68 61  fest [lindex $ha
1aa0: 76 65 4d 61 6e 69 66 65 73 74 73 20 30 5d 0a 0a  veManifests 0]..
1ab0: 09 09 69 66 20 7b 24 68 61 76 65 4d 61 6e 69 66  ..if {$haveManif
1ac0: 65 73 74 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e  est} {....return
1ad0: 20 43 4f 4d 50 4c 45 54 45 0a 09 09 7d 0a 0a 09   COMPLETE...}...
1ae0: 09 69 66 20 7b 21 5b 5f 69 73 48 61 73 68 20 24  .if {![_isHash $
1af0: 70 61 63 6b 61 67 65 5f 73 68 61 31 5d 7d 20 7b  package_sha1]} {
1b00: 0a 09 09 09 72 65 74 75 72 6e 20 46 41 49 4c 0a  ....return FAIL.
1b10: 09 09 7d 0a 0a 09 09 73 65 74 20 66 69 6c 65 20  ..}....set file 
1b20: 5b 64 6f 77 6e 6c 6f 61 64 20 24 68 6f 73 74 6e  [download $hostn
1b30: 61 6d 65 20 24 70 61 63 6b 61 67 65 5f 73 68 61  ame $package_sha
1b40: 31 5d 0a 09 09 73 65 74 20 66 64 20 5b 6f 70 65  1]...set fd [ope
1b50: 6e 20 24 66 69 6c 65 5d 0a 09 09 73 65 74 20 70  n $file]...set p
1b60: 6b 67 64 61 74 61 20 5b 72 65 61 64 20 24 66 64  kgdata [read $fd
1b70: 5d 0a 09 09 63 6c 6f 73 65 20 24 66 64 0a 0a 09  ]...close $fd...
1b80: 09 5f 64 62 20 74 72 61 6e 73 61 63 74 69 6f 6e  ._db transaction
1b90: 20 7b 0a 09 09 09 66 6f 72 65 61 63 68 20 6c 69   {....foreach li
1ba0: 6e 65 20 5b 73 70 6c 69 74 20 24 70 6b 67 64 61  ne [split $pkgda
1bb0: 74 61 20 22 5c 6e 22 5d 20 7b 0a 09 09 09 09 73  ta "\n"] {.....s
1bc0: 65 74 20 6c 69 6e 65 20 5b 73 74 72 69 6e 67 20  et line [string 
1bd0: 74 72 69 6d 20 24 6c 69 6e 65 5d 0a 0a 09 09 09  trim $line].....
1be0: 09 69 66 20 7b 24 6c 69 6e 65 20 3d 3d 20 22 22  .if {$line == ""
1bf0: 7d 20 7b 0a 09 09 09 09 09 63 6f 6e 74 69 6e 75  } {......continu
1c00: 65 0a 09 09 09 09 7d 0a 0a 09 09 09 09 73 65 74  e.....}......set
1c10: 20 77 6f 72 6b 20 5b 73 70 6c 69 74 20 24 6c 69   work [split $li
1c20: 6e 65 20 22 2c 22 5d 0a 0a 09 09 09 09 75 6e 73  ne ","]......uns
1c30: 65 74 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20 66  et -nocomplain f
1c40: 69 6c 65 49 6e 66 6f 0a 09 09 09 09 73 65 74 20  ileInfo.....set 
1c50: 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20 5b  fileInfo(type) [
1c60: 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 30 5d 0a  lindex $work 0].
1c70: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1c80: 28 74 69 6d 65 29 20 5b 6c 69 6e 64 65 78 20 24  (time) [lindex $
1c90: 77 6f 72 6b 20 31 5d 0a 0a 09 09 09 09 73 65 74  work 1]......set
1ca0: 20 77 6f 72 6b 20 5b 6c 72 61 6e 67 65 20 24 77   work [lrange $w
1cb0: 6f 72 6b 20 32 20 65 6e 64 5d 0a 09 09 09 09 73  ork 2 end].....s
1cc0: 77 69 74 63 68 20 2d 2d 20 24 66 69 6c 65 49 6e  witch -- $fileIn
1cd0: 66 6f 28 74 79 70 65 29 20 7b 0a 09 09 09 09 09  fo(type) {......
1ce0: 22 66 69 6c 65 22 20 7b 0a 09 09 09 09 09 09 73  "file" {.......s
1cf0: 65 74 20 66 69 6c 65 49 6e 66 6f 28 73 69 7a 65  et fileInfo(size
1d00: 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20  ) [lindex $work 
1d10: 30 5d 0a 09 09 09 09 09 09 73 65 74 20 66 69 6c  0].......set fil
1d20: 65 49 6e 66 6f 28 70 65 72 6d 73 29 20 5b 6c 69  eInfo(perms) [li
1d30: 6e 64 65 78 20 24 77 6f 72 6b 20 31 5d 0a 09 09  ndex $work 1]...
1d40: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1d50: 28 73 68 61 31 29 20 5b 6c 69 6e 64 65 78 20 24  (sha1) [lindex $
1d60: 77 6f 72 6b 20 32 5d 0a 0a 09 09 09 09 09 09 73  work 2]........s
1d70: 65 74 20 77 6f 72 6b 20 5b 6c 72 61 6e 67 65 20  et work [lrange 
1d80: 24 77 6f 72 6b 20 33 20 65 6e 64 5d 0a 09 09 09  $work 3 end]....
1d90: 09 09 7d 0a 09 09 09 09 09 22 73 79 6d 6c 69 6e  ..}......"symlin
1da0: 6b 22 20 7b 0a 09 09 09 09 09 09 73 65 74 20 66  k" {.......set f
1db0: 69 6c 65 49 6e 66 6f 28 73 6f 75 72 63 65 29 20  ileInfo(source) 
1dc0: 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 30 5d  [lindex $work 0]
1dd0: 0a 09 09 09 09 09 09 73 65 74 20 77 6f 72 6b 20  .......set work 
1de0: 5b 6c 72 61 6e 67 65 20 24 77 6f 72 6b 20 31 20  [lrange $work 1 
1df0: 65 6e 64 5d 0a 09 09 09 09 09 7d 0a 09 09 09 09  end]......}.....
1e00: 7d 0a 0a 09 09 09 09 73 65 74 20 66 69 6c 65 49  }......set fileI
1e10: 6e 66 6f 28 6e 61 6d 65 29 20 5b 6a 6f 69 6e 20  nfo(name) [join 
1e20: 24 77 6f 72 6b 20 22 2c 22 5d 0a 09 09 09 09 73  $work ","].....s
1e30: 65 74 20 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65  et fileInfo(name
1e40: 29 20 5b 73 70 6c 69 74 20 5b 73 74 72 69 6e 67  ) [split [string
1e50: 20 74 72 69 6d 20 24 66 69 6c 65 49 6e 66 6f 28   trim $fileInfo(
1e60: 6e 61 6d 65 29 20 22 2f 22 5d 20 22 2f 22 5d 0a  name) "/"] "/"].
1e70: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1e80: 28 64 69 72 65 63 74 6f 72 79 29 20 5b 6a 6f 69  (directory) [joi
1e90: 6e 20 5b 6c 72 61 6e 67 65 20 24 66 69 6c 65 49  n [lrange $fileI
1ea0: 6e 66 6f 28 6e 61 6d 65 29 20 30 20 65 6e 64 2d  nfo(name) 0 end-
1eb0: 31 5d 20 22 2f 22 5d 0a 09 09 09 09 73 65 74 20  1] "/"].....set 
1ec0: 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 5b  fileInfo(name) [
1ed0: 6c 69 6e 64 65 78 20 24 66 69 6c 65 49 6e 66 6f  lindex $fileInfo
1ee0: 28 6e 61 6d 65 29 20 65 6e 64 5d 0a 0a 09 09 09  (name) end].....
1ef0: 09 5f 64 62 20 65 76 61 6c 20 7b 49 4e 53 45 52  ._db eval {INSER
1f00: 54 20 49 4e 54 4f 20 66 69 6c 65 73 20 28 70 61  T INTO files (pa
1f10: 63 6b 61 67 65 5f 73 68 61 31 2c 20 74 79 70 65  ckage_sha1, type
1f20: 2c 20 74 69 6d 65 2c 20 73 6f 75 72 63 65 2c 20  , time, source, 
1f30: 73 69 7a 65 2c 20 70 65 72 6d 73 2c 20 66 69 6c  size, perms, fil
1f40: 65 5f 73 68 61 31 2c 20 66 69 6c 65 5f 6e 61 6d  e_sha1, file_nam
1f50: 65 2c 20 66 69 6c 65 5f 64 69 72 65 63 74 6f 72  e, file_director
1f60: 79 29 20 56 41 4c 55 45 53 20 28 24 70 61 63 6b  y) VALUES ($pack
1f70: 61 67 65 5f 73 68 61 31 2c 20 24 66 69 6c 65 49  age_sha1, $fileI
1f80: 6e 66 6f 28 74 79 70 65 29 2c 20 24 66 69 6c 65  nfo(type), $file
1f90: 49 6e 66 6f 28 74 69 6d 65 29 2c 20 24 66 69 6c  Info(time), $fil
1fa0: 65 49 6e 66 6f 28 73 6f 75 72 63 65 29 2c 20 24  eInfo(source), $
1fb0: 66 69 6c 65 49 6e 66 6f 28 73 69 7a 65 29 2c 20  fileInfo(size), 
1fc0: 24 66 69 6c 65 49 6e 66 6f 28 70 65 72 6d 73 29  $fileInfo(perms)
1fd0: 2c 20 24 66 69 6c 65 49 6e 66 6f 28 73 68 61 31  , $fileInfo(sha1
1fe0: 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 6e 61 6d  ), $fileInfo(nam
1ff0: 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 64 69  e), $fileInfo(di
2000: 72 65 63 74 6f 72 79 29 20 29 3b 7d 0a 09 09 09  rectory) );}....
2010: 09 5f 64 62 20 65 76 61 6c 20 7b 55 50 44 41 54  ._db eval {UPDAT
2020: 45 20 70 61 63 6b 61 67 65 73 20 53 45 54 20 68  E packages SET h
2030: 61 76 65 4d 61 6e 69 66 65 73 74 20 3d 20 31 20  aveManifest = 1 
2040: 57 48 45 52 45 20 73 68 61 31 20 3d 20 24 70 61  WHERE sha1 = $pa
2050: 63 6b 61 67 65 5f 73 68 61 31 3b 7d 0a 09 09 09  ckage_sha1;}....
2060: 7d 0a 09 09 7d 0a 0a 09 09 72 65 74 75 72 6e 20  }...}....return 
2070: 43 4f 4d 50 4c 45 54 45 0a 09 7d 0a 7d 0a        COMPLETE..}.}.