Linux file watcher: do not dive into flat roots
[idea/community.git] / native / fsNotifier / linux / main.c
1 /*
2  * Copyright 2000-2012 JetBrains s.r.o.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #include "fsnotifier.h"
18
19 #include <errno.h>
20 #include <limits.h>
21 #include <stdarg.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <sys/inotify.h>
25 #include <sys/select.h>
26 #include <syslog.h>
27 #include <unistd.h>
28
29 #define LOG_ENV "FSNOTIFIER_LOG_LEVEL"
30 #define LOG_ENV_DEBUG "debug"
31 #define LOG_ENV_INFO "info"
32 #define LOG_ENV_WARNING "warning"
33 #define LOG_ENV_ERROR "error"
34 #define LOG_ENV_OFF "off"
35
36 #define VERSION "1.1"
37 #define VERSION_MSG "fsnotifier " VERSION "\n"
38
39 #define USAGE_MSG \
40     "fsnotifier - IntelliJ IDEA companion program for watching and reporting file and directory structure modifications.\n\n" \
41     "fsnotifier utilizes \"user\" facility of syslog(3) - messages usually can be found in /var/log/user.log.\n" \
42     "Verbosity is regulated via " LOG_ENV " environment variable, possible values are: " \
43     LOG_ENV_DEBUG ", " LOG_ENV_INFO ", " LOG_ENV_WARNING ", " LOG_ENV_ERROR ", " LOG_ENV_OFF "; latter is the default.\n\n" \
44     "Use 'fsnotifier --selftest' to perform some self-diagnostics (output will be logged and printed to console).\n"
45
46 #define HELP_MSG \
47     "Try 'fsnotifier --help' for more information.\n"
48
49 #define INOTIFY_LIMIT_MSG \
50     "The current <b>inotify</b>(7) watch limit of %d is too low. " \
51     "<a href=\"http://confluence.jetbrains.net/display/IDEADEV/Inotify+Watches+Limit\">More details.</a>\n"
52
53 typedef struct {
54   char* name;
55   int id;
56 } watch_root;
57
58 static array* roots = NULL;
59
60 static bool show_warning = true;
61 static bool self_test = false;
62
63 static void init_log();
64 static void run_self_test();
65 static void main_loop();
66 static bool read_input();
67 static bool update_roots(array* new_roots);
68 static void unregister_roots();
69 static bool register_roots(array* new_roots, array* unwatchable);
70 static bool unwatchable_mounts(array* mounts);
71 static void inotify_callback(char* path, int event);
72 static void output(const char* format, ...);
73
74
75 int main(int argc, char** argv) {
76   if (argc > 1) {
77     if (strcmp(argv[1], "--help") == 0) {
78       printf(USAGE_MSG);
79       return 0;
80     }
81     else if (strcmp(argv[1], "--version") == 0) {
82       printf(VERSION_MSG);
83       return 0;
84     }
85     else if (strcmp(argv[1], "--selftest") == 0) {
86       self_test = true;
87     }
88     else {
89       printf("unrecognized option: %s\n", argv[1]);
90       printf(HELP_MSG);
91       return 1;
92     }
93   }
94
95   init_log();
96   if (!self_test) {
97     userlog(LOG_INFO, "started (v." VERSION ")");
98   }
99   else {
100     userlog(LOG_INFO, "started (self-test mode) (v." VERSION ")");
101   }
102
103   setvbuf(stdin, NULL, _IONBF, 0);
104   setvbuf(stdout, NULL, _IONBF, 0);
105
106   roots = array_create(20);
107   if (init_inotify() && roots != NULL) {
108     set_inotify_callback(&inotify_callback);
109
110     if (!self_test) {
111       main_loop();
112     }
113     else {
114       run_self_test();
115     }
116
117     unregister_roots();
118   }
119   else {
120     printf("GIVEUP\n");
121   }
122   close_inotify();
123   array_delete(roots);
124
125   userlog(LOG_INFO, "finished");
126   closelog();
127
128   return 0;
129 }
130
131
132 static void init_log() {
133   char* env_level = getenv(LOG_ENV);
134   int level = LOG_EMERG;
135   if (env_level != NULL) {
136     if (strcmp(env_level, LOG_ENV_DEBUG) == 0)  level = LOG_DEBUG;
137     else if (strcmp(env_level, LOG_ENV_INFO) == 0)  level = LOG_INFO;
138     else if (strcmp(env_level, LOG_ENV_WARNING) == 0)  level = LOG_WARNING;
139     else if (strcmp(env_level, LOG_ENV_ERROR) == 0)  level = LOG_ERR;
140   }
141
142   if (self_test) {
143     level = LOG_DEBUG;
144   }
145
146   char ident[32];
147   snprintf(ident, sizeof(ident), "fsnotifier[%d]", getpid());
148   openlog(ident, 0, LOG_USER);
149   setlogmask(LOG_UPTO(level));
150 }
151
152
153 void userlog(int priority, const char* format, ...) {
154   va_list ap;
155
156   va_start(ap, format);
157   vsyslog(priority, format, ap);
158   va_end(ap);
159
160   if (self_test) {
161     const char* level = "debug";
162     switch (priority) {
163       case LOG_ERR:  level = "error"; break;
164       case LOG_WARNING:  level = " warn"; break;
165       case LOG_INFO:  level = " info"; break;
166     }
167     printf("fsnotifier[%d] %s: ", getpid(), level);
168
169     va_start(ap, format);
170     vprintf(format, ap);
171     va_end(ap);
172
173     printf("\n");
174   }
175 }
176
177
178 static void run_self_test() {
179   array* test_roots = array_create(1);
180   char* cwd = malloc(PATH_MAX);
181   if (getcwd(cwd, PATH_MAX) == NULL) {
182     strncpy(cwd, ".", PATH_MAX);
183   }
184   array_push(test_roots, cwd);
185   update_roots(test_roots);
186 }
187
188
189 static void main_loop() {
190   int input_fd = fileno(stdin), inotify_fd = get_inotify_fd();
191   int nfds = (inotify_fd > input_fd ? inotify_fd : input_fd) + 1;
192   fd_set rfds;
193   bool go_on = true;
194
195   while (go_on) {
196     FD_ZERO(&rfds);
197     FD_SET(input_fd, &rfds);
198     FD_SET(inotify_fd, &rfds);
199     if (select(nfds, &rfds, NULL, NULL, NULL) < 0) {
200       userlog(LOG_ERR, "select: %s", strerror(errno));
201       go_on = false;
202     }
203     else if (FD_ISSET(input_fd, &rfds)) {
204       go_on = read_input();
205     }
206     else if (FD_ISSET(inotify_fd, &rfds)) {
207       go_on = process_inotify_input();
208     }
209   }
210 }
211
212
213 static bool read_input() {
214   char* line = read_line(stdin);
215   userlog(LOG_DEBUG, "input: %s", (line ? line : "<null>"));
216
217   if (line == NULL || strcmp(line, "EXIT") == 0) {
218     return false;
219   }
220
221   if (strcmp(line, "ROOTS") == 0) {
222     array* new_roots = array_create(20);
223     CHECK_NULL(new_roots, false);
224
225     while (1) {
226       line = read_line(stdin);
227       userlog(LOG_DEBUG, "input: %s", (line ? line : "<null>"));
228       if (line == NULL || strlen(line) == 0) {
229         return false;
230       }
231       else if (strcmp(line, "#") == 0) {
232         break;
233       }
234       else {
235         int l = strlen(line);
236         if (l > 1 && line[l-1] == '/')  line[l-1] = '\0';
237         CHECK_NULL(array_push(new_roots, strdup(line)), false);
238       }
239     }
240
241     return update_roots(new_roots);
242   }
243
244   return true;
245 }
246
247
248 static bool update_roots(array* new_roots) {
249   userlog(LOG_INFO, "updating roots (curr:%d, new:%d)", array_size(roots), array_size(new_roots));
250
251   unregister_roots();
252   if (array_size(new_roots) == 0) {
253     return true;
254   }
255   else if (array_size(new_roots) == 1 && strcmp(array_get(new_roots, 0), "/") == 0) {  // refuse to watch entire tree
256     output("UNWATCHEABLE\n/\n#\n");
257     userlog(LOG_INFO, "unwatchable: /");
258     array_delete_vs_data(new_roots);
259     return true;
260   }
261
262   array* unwatchable = array_create(20);
263   CHECK_NULL(unwatchable, false);
264   if (!unwatchable_mounts(unwatchable)) {
265     return false;
266   }
267
268   if (!register_roots(new_roots, unwatchable)) {
269     return false;
270   }
271
272   // todo: sort/optimize list
273   output("UNWATCHEABLE\n");
274   for (int i=0; i<array_size(unwatchable); i++) {
275     char* s = array_get(unwatchable, i);
276     output("%s\n", s);
277     userlog(LOG_INFO, "unwatchable: %s", s);
278   }
279   output("#\n");
280
281   array_delete_vs_data(unwatchable);
282   array_delete(new_roots);
283
284   return true;
285 }
286
287
288 static void unregister_roots() {
289   watch_root* root;
290   while ((root = array_pop(roots)) != NULL) {
291     userlog(LOG_INFO, "unregistering root: %s", root->name);
292     unwatch(root->id);
293     free(root->name);
294     free(root);
295   };
296 }
297
298
299 static bool register_roots(array* new_roots, array* unwatchable) {
300   for (int i=0; i<array_size(new_roots); i++) {
301     char* new_root = array_get(new_roots, i);
302     userlog(LOG_INFO, "registering root: %s", new_root);
303     int id = watch(new_root, unwatchable);
304     if (id == ERR_ABORT) {
305       return false;
306     }
307     else if (id >= 0) {
308       watch_root* root = malloc(sizeof(watch_root));
309       CHECK_NULL(root, false);
310       root->id = id;
311       root->name = new_root;
312       CHECK_NULL(array_push(roots, root), false);
313     }
314     else {
315       if (show_warning && watch_limit_reached()) {
316         int limit = get_watch_count();
317         userlog(LOG_WARNING, "watch limit (%d) reached", limit);
318         output("MESSAGE\n" INOTIFY_LIMIT_MSG, limit);
319         show_warning = false;  // warn only once
320       }
321       CHECK_NULL(array_push(unwatchable, new_root), false);
322     }
323   }
324
325   return true;
326 }
327
328 static bool is_watchable(const char* dev, const char* mnt, const char* fs) {
329   // don't watch special and network filesystems
330   return !(strncmp(mnt, "/dev", 4) == 0 || strncmp(mnt, "/proc", 5) == 0 || strncmp(mnt, "/sys", 4) == 0 ||
331            strcmp(fs, "fuse.gvfs-fuse-daemon") == 0 || strcmp(fs, "cifs") == 0 || strcmp(fs, "nfs") == 0);
332 }
333
334 #define MTAB_DELIMS " \t"
335
336 static bool unwatchable_mounts(array* mounts) {
337   FILE* mtab = fopen("/etc/mtab", "r");
338   if (mtab == NULL) {
339     mtab = fopen("/proc/mounts", "r");
340   }
341   if (mtab == NULL) {
342     userlog(LOG_ERR, "neither /etc/mtab nor /proc/mounts can be read");
343     return false;
344   }
345
346   char* line;
347   while ((line = read_line(mtab)) != NULL) {
348     userlog(LOG_DEBUG, "mtab: %s", line);
349     char* dev = strtok(line, MTAB_DELIMS);
350     char* point = strtok(NULL, MTAB_DELIMS);
351     char* fs = strtok(NULL, MTAB_DELIMS);
352
353     if (dev == NULL || point == NULL || fs == NULL) {
354       userlog(LOG_ERR, "can't parse mount line");
355       return false;
356     }
357
358     if (!is_watchable(dev, point, fs)) {
359       CHECK_NULL(array_push(mounts, strdup(point)), false);
360     }
361   }
362
363   fclose(mtab);
364   return true;
365 }
366
367
368 static void inotify_callback(char* path, int event) {
369   if (event & IN_CREATE || event & IN_MOVED_TO) {
370     output("CREATE\n%s\nCHANGE\n%s\n", path, path);
371     userlog(LOG_DEBUG, "CREATE: %s", path);
372     return;
373   }
374
375   if (event & IN_MODIFY) {
376     output("CHANGE\n%s\n", path);
377     userlog(LOG_DEBUG, "CHANGE: %s", path);
378     return;
379   }
380
381   if (event & IN_ATTRIB) {
382     output("STATS\n%s\n", path);
383     userlog(LOG_DEBUG, "STATS: %s", path);
384     return;
385   }
386
387   if (event & IN_DELETE || event & IN_MOVED_FROM) {
388     output("DELETE\n%s\n", path);
389     userlog(LOG_DEBUG, "DELETE: %s", path);
390     return;
391   }
392
393   if (event & IN_UNMOUNT) {
394     output("RESET\n");
395     userlog(LOG_DEBUG, "RESET");
396     return;
397   }
398 }
399
400
401 static void output(const char* format, ...) {
402   if (self_test) {
403     return;
404   }
405
406   va_list ap;
407   va_start(ap, format);
408   vprintf(format, ap);
409   va_end(ap);
410 }